在人工智能持續(xù)深入發(fā)展的當(dāng)下，如何讓AI系統(tǒng)更好地與現(xiàn)實(shí)物理世界交互成為關(guān)鍵挑戰(zhàn)。近日，英偉達(dá)團(tuán)隊(duì)在GTC大會(huì)后重磅發(fā)布了全新的物理世界大模型Cosmos – Reason1，該模型將焦點(diǎn)鎖定在推理能力上，旨在全力攻克人工智能系統(tǒng)與物理世界交互的難題。?

英偉達(dá)此次推出的Cosmos – Reason1并非單一模型，而是一套涵蓋模型、本體以及基準(zhǔn)的綜合性套件。其核心目標(biāo)是賦能多模態(tài)大語(yǔ)言模型（LLM），使其能夠生成貼合物理實(shí)際的響應(yīng)，讓AI真正理解并適應(yīng)物理世界的規(guī)律。目前，英偉達(dá)團(tuán)隊(duì)已經(jīng)成功開(kāi)發(fā)出兩個(gè)不同參數(shù)規(guī)模的多模態(tài)LLM，分別為80億參數(shù)的Cosmos – Reason1 – 8B和560億參數(shù)的Cosmos – Reason1 – 56B。?

為了讓模型具備強(qiáng)大的物理世界交互能力，英偉達(dá)團(tuán)隊(duì)精心設(shè)計(jì)了一套嚴(yán)謹(jǐn)?shù)挠?xùn)練流程，整個(gè)訓(xùn)練過(guò)程分為四個(gè)關(guān)鍵階段。首先是視覺(jué)預(yù)訓(xùn)練階段，模型在此過(guò)程中大量學(xué)習(xí)視覺(jué)信息，構(gòu)建起對(duì)物理世界視覺(jué)層面的初步認(rèn)知。緊接著進(jìn)入通用監(jiān)督微調(diào)（SFT）階段，通過(guò)廣泛的數(shù)據(jù)微調(diào)，提升模型對(duì)各類通用知識(shí)和任務(wù)的處理能力。

隨后，物理AI SFT階段成為訓(xùn)練的關(guān)鍵轉(zhuǎn)折點(diǎn)，模型聚焦于物理領(lǐng)域知識(shí)，深入學(xué)習(xí)空間、時(shí)間以及基本物理定律等物理世界的基礎(chǔ)知識(shí)，理解物理世界運(yùn)行的基本規(guī)則，為后續(xù)的推理和決策奠定基礎(chǔ)。最后，物理AI強(qiáng)化學(xué)習(xí)階段進(jìn)一步優(yōu)化模型在物理環(huán)境中的決策和執(zhí)行能力，通過(guò)不斷與模擬的物理環(huán)境進(jìn)行交互，讓模型學(xué)會(huì)在復(fù)雜物理場(chǎng)景下做出合理且高效的決策。?

在數(shù)據(jù)收集方面，英偉達(dá)團(tuán)隊(duì)也下足了功夫。為了讓模型能夠?qū)W習(xí)到全面且真實(shí)的物理世界知識(shí)，團(tuán)隊(duì)從多種渠道收集數(shù)據(jù)。一方面，通過(guò)大量的現(xiàn)實(shí)場(chǎng)景視頻采集，讓模型學(xué)習(xí)真實(shí)世界中物體的運(yùn)動(dòng)、相互作用以及環(huán)境變化等情況；另一方面，利用先進(jìn)的仿真技術(shù)生成大量模擬物理場(chǎng)景數(shù)據(jù)，補(bǔ)充現(xiàn)實(shí)數(shù)據(jù)難以覆蓋的特殊情況和極端場(chǎng)景，確保模型在豐富多樣的數(shù)據(jù)環(huán)境中進(jìn)行學(xué)習(xí)。