中國科學(xué)院自動化研究所聯(lián)合武漢人工智能研究院，正式發(fā)布了紫東太初多模態(tài)檢索增強(qiáng)生成框架 ——Taichu-mRAG。這一創(chuàng)新框架的問世，為多模態(tài)AI技術(shù)的發(fā)展注入了新的活力，有望在內(nèi)容理解與生成領(lǐng)域?qū)崿F(xiàn)重大突破。?

Taichu-mRAG 框架建立在統(tǒng)一多模態(tài)細(xì)粒度檢索引擎和紫東太初多模態(tài)大模型的基礎(chǔ)之上。統(tǒng)一多模態(tài)細(xì)粒度檢索引擎能夠高效整合圖像、文本、音頻等不同形式的信息，打破模態(tài)之間的壁壘，實(shí)現(xiàn)跨模態(tài)的信息協(xié)同感知。以圖像檢索為例，以往傳統(tǒng)的圖像檢索系統(tǒng)可能僅能根據(jù)圖像的視覺特征進(jìn)行匹配，而 Taichu-mRAG 的檢索引擎不僅能識別圖像中的視覺元素，還能關(guān)聯(lián)與之相關(guān)的文本描述、語義信息等，極大地提高了檢索的精準(zhǔn)度與全面性，讓用戶能夠快速獲取到真正符合需求的圖像資源。

紫東太初多模態(tài)大模型作為框架的另一核心支撐，其在多模態(tài)信息處理方面具備強(qiáng)大的能力。該模型能夠?qū)Χ喾N模態(tài)的數(shù)據(jù)進(jìn)行深度理解與分析，在此基礎(chǔ)上，Taichu-mRAG致力于提升內(nèi)容理解與生成質(zhì)量，實(shí)現(xiàn)對多模態(tài)信息的協(xié)同感知、精準(zhǔn)檢索與深度推理問答。在深度推理問答環(huán)節(jié)，當(dāng)用戶提出一個涉及多模態(tài)信息的復(fù)雜問題時，比如 “請描述這幅畫中場景在文學(xué)作品中的常見描繪方式，并分析相關(guān)音樂作品可能營造的氛圍”，Taichu-mRAG可以利用多模態(tài)大模型對圖像、文學(xué)文本、音樂等多方面知識的理解，進(jìn)行邏輯推理，給出條理清晰、內(nèi)容豐富的回答，其生成的內(nèi)容更加符合人類的思維邏輯，切實(shí)滿足用戶的復(fù)雜需求。?

紫東太初項(xiàng)目是中國科學(xué)院自動化研究所與武漢人工智能研究院的合作結(jié)晶。自紫東太初多模態(tài)大模型推出以來，便在多模態(tài)信息處理領(lǐng)域嶄露頭角，2024年3月5日推出的紫東太初2.0升級版，更是在原有文本、圖像、語音三模態(tài)的基礎(chǔ)上，新增視頻、傳感信號、3D點(diǎn)云等模態(tài)數(shù)據(jù)，極大地拓展了模型的應(yīng)用范圍，使其在文本創(chuàng)作、多輪問答、繪畫作詩、代碼生成、數(shù)學(xué)計算、邏輯推理等多個方面表現(xiàn)出色，具備更強(qiáng)的全模態(tài)理解、生成、關(guān)聯(lián)能力。此次Taichu-mRAG框架的發(fā)布，是雙方在多模態(tài)技術(shù)領(lǐng)域的又一重大進(jìn)展，標(biāo)志著我國在多模態(tài)AI技術(shù)研發(fā)上持續(xù)走在前列。?

從應(yīng)用場景來看，Taichu-mRAG具有廣闊的應(yīng)用前景。在教育領(lǐng)域，教師可以借助該框架，根據(jù)不同模態(tài)的教學(xué)資源，如文字教材、教學(xué)視頻、音頻講解等，為學(xué)生精準(zhǔn)定制個性化的學(xué)習(xí)方案，幫助學(xué)生更好地理解復(fù)雜知識；醫(yī)療行業(yè)中，醫(yī)生能夠利用Taichu-mRAG快速檢索患者的病歷資料，包括影像圖像、文字診斷記錄、語音醫(yī)囑等多模態(tài)信息，從而更全面、準(zhǔn)確地做出診斷決策；在智能客服場景下，客服機(jī)器人可以通過對用戶輸入的文本、語音，甚至上傳的圖片等多模態(tài)信息的協(xié)同感知與深度理解，為用戶提供更加貼心、高效的服務(wù)，快速解決用戶問題。?