英偉達(dá)發(fā)布了強(qiáng)大的開源人工智能模型，可與OpenAI和谷歌等行業(yè)領(lǐng)導(dǎo)者的專有模型競(jìng)爭(zhēng)。

該公司新推出的NVLM 1.0系列大型多模態(tài)語(yǔ)言模型，以720億參數(shù)的NVLM-D-72B為首，在視覺和語(yǔ)言任務(wù)中表現(xiàn)卓越，同時(shí)還增強(qiáng)了純文本功能。

研究人員解釋：“我們推出了NVLM 1.0，這是一系列前沿級(jí)多模態(tài)大型語(yǔ)言模型，在視覺語(yǔ)言任務(wù)上取得了最先進(jìn)的成果，可與領(lǐng)先的專有模型（例如GPT-4o）和開放獲取模型相媲美?！?/p>

通過(guò)公開模型權(quán)重并承諾發(fā)布訓(xùn)練代碼，英偉達(dá)打破了先進(jìn)AI系統(tǒng)封閉的趨勢(shì)。這一決定讓研究人員和開發(fā)者獲得了前所未有的接觸尖端技術(shù)的機(jī)會(huì)。

NVLM-D-72B模型在處理復(fù)雜的視覺和文本輸入方面表現(xiàn)出了令人印象深刻的適應(yīng)性。研究人員提供了一些示例，突出了該模型解釋模因、分析圖像和逐步解決數(shù)學(xué)問題的能力。

值得注意的是，NVLM-D-72B在經(jīng)過(guò)多模態(tài)訓(xùn)練后，在純文本任務(wù)上的表現(xiàn)有所提高。雖然許多類似模型的文本性能有所下降，但NVLM-D-72B在關(guān)鍵文本基準(zhǔn)測(cè)試中將其準(zhǔn)確率平均提高了4.3分。

研究人員指出：“NVLM-D-1.0-72B在純文本數(shù)學(xué)和編碼基準(zhǔn)測(cè)試中比其文本主干有了顯著的改進(jìn)”，并強(qiáng)調(diào)了一個(gè)關(guān)鍵優(yōu)勢(shì)。

英偉達(dá)決定公開如此強(qiáng)大的模型，這可能會(huì)加速整個(gè)領(lǐng)域的AI研究和開發(fā)。通過(guò)提供可與資金雄厚的科技公司專有模型相媲美的模型，英偉達(dá)可能會(huì)讓較小的公司和獨(dú)立研究人員為AI進(jìn)步做出更大貢獻(xiàn)。

此外NVLM項(xiàng)目還引入了創(chuàng)新的架構(gòu)設(shè)計(jì)，包括結(jié)合不同多模態(tài)處理技術(shù)的混合方法，這一發(fā)展可能會(huì)影響該領(lǐng)域未來(lái)的研究方向。