上海人工智能實驗室聯(lián)合多家單位提出了一種全新的通用具身智能大腦框架：Visual Embodied Brain，簡稱VeBrain。該模型通過同時集成視覺感知、空間推理和機(jī)器人控制能力，可實現(xiàn)多模態(tài)大模型（MLLM）對物理實體的直接操控，使機(jī)器人能像人類一樣“看到-思考-行動”。相關(guān)成果已被計算機(jī)視覺領(lǐng)域國際頂級學(xué)術(shù)會議CVPR2025收錄。?

相比現(xiàn)有的MLLM和視覺-語言-動作(VLA)模型，VeBrain具備以下亮點：將機(jī)器人控制轉(zhuǎn)化為MLLM中常規(guī)的2D空間文本任務(wù)，通過關(guān)鍵點檢測與具身技能識別等任務(wù)，打通感知、推理、控制三大能力的建模路徑；提出“機(jī)器人適配器”實現(xiàn)閉環(huán)控制，由關(guān)鍵點追蹤、動作控制、技能執(zhí)行和動態(tài)接管模塊組成，實現(xiàn)從文本決策到真實動作的精準(zhǔn)映射；構(gòu)建高質(zhì)量多能力數(shù)據(jù)集VeBrain-600k，涵蓋60萬條指令數(shù)據(jù)，覆蓋多模態(tài)理解、視覺-空間推理、機(jī)器人操作三類任務(wù)，輔以多模態(tài)鏈?zhǔn)剿季S（Multimodal CoT）標(biāo)注，提升模型組合推理能力；卓越的多模態(tài)和真機(jī)性能，同時實現(xiàn)匹配同參數(shù)量下最強(qiáng)開源模型QwenVL-2.5的多模態(tài)能力，同參數(shù)量下最優(yōu)的空間推理能力，以及分別在機(jī)械臂和機(jī)器狗兩個實體上驗證的真機(jī)控制能力。測試結(jié)果表明，VeBrain在視覺感知、空間推理和機(jī)器人控制能力上同時取得了最先進(jìn)的性能。?

VeBrain架構(gòu)：統(tǒng)一感知-推理-控制建模范式?

當(dāng)前MLLM在多模態(tài)感知方面表現(xiàn)卓越，但難以直接遷移到機(jī)器人控制等物理任務(wù)中，主要瓶頸在于任務(wù)目標(biāo)空間的不一致。而VeBrain打破這一限制，提出將機(jī)器人控制重構(gòu)為兩個通用MLLM子任務(wù)：一是關(guān)鍵點檢測（KeypointDetection），以圖像為輸入，預(yù)測二維目標(biāo)位置，作為運動錨點；二是基于上下文生成語義動作，如“前進(jìn)”“夾取”“轉(zhuǎn)身”等。通過此類語言化的建模方式，VeBrain控制任務(wù)得以與理解和推理任務(wù)共享統(tǒng)一的輸入輸出空間，能夠有效對抗多任務(wù)沖突與災(zāi)難性遺忘。

VeBrain的另一個核心創(chuàng)新是機(jī)器人適配器模塊，其組成包括實時更新四足機(jī)器人在運動過程中的視角下關(guān)鍵點；結(jié)合RGBD相機(jī)獲取深度信息，將2D坐標(biāo)轉(zhuǎn)換為3D控制指令；調(diào)用預(yù)訓(xùn)練的低層控制策略（如行走、夾?。┩瓿扇蝿?wù)執(zhí)行；在出現(xiàn)目標(biāo)丟失或策略失敗時，自動回調(diào)語言模型進(jìn)行重規(guī)劃。該模塊實現(xiàn)了MLLM與機(jī)器人之間的閉環(huán)通信，提升了機(jī)器人在動態(tài)環(huán)境中的穩(wěn)定性與魯棒性。

構(gòu)建高質(zhì)量數(shù)據(jù)集VeBrain-600k?

為支撐模型的統(tǒng)一訓(xùn)練，VeBrain團(tuán)隊還配套了VeBrain-600k數(shù)據(jù)集，包含20萬條多模態(tài)理解數(shù)據(jù)，整合圖像、視頻與文本，來源于ShareGPT4V、MMInstruct等；31.2萬條空間推理數(shù)據(jù)，結(jié)合ScanNet點云數(shù)據(jù)，生成涉及計數(shù)、距離、尺寸等空間理解任務(wù)；8.8萬條機(jī)器人控制數(shù)據(jù)，由人工采集、標(biāo)注的真實機(jī)器人操作數(shù)據(jù)，覆蓋四足機(jī)器人與機(jī)械臂兩類平臺。此外，大量任務(wù)引入鏈?zhǔn)剿季S（Chain-of-Thought，CoT）結(jié)構(gòu)，由GPT-4o與Gemini自動生成推理過程并經(jīng)專家復(fù)核，極大提升了數(shù)據(jù)質(zhì)量與任務(wù)復(fù)雜度。通過消融實驗，VeBrain團(tuán)隊驗證了VeBrain-600k數(shù)據(jù)集的豐富性和必要性。?

從表格中可以看到，盡管在多模態(tài)理解方面表現(xiàn)良好，現(xiàn)有的MLLM在視覺空間推理和機(jī)器人控制方面往往表現(xiàn)不足，“復(fù)雜尋找”任務(wù)的成功率僅為0%。而在為模型配備我們的機(jī)器人適配器后，Qwen2.5-VL在兩個機(jī)器人控制任務(wù)上的成功率明顯提高。?

將VeBrain與兩個常用框架，即MLLM和VLA進(jìn)行比較，發(fā)現(xiàn)MLLM由于控制能力較弱，在兩項任務(wù)中難以直接控制機(jī)器人；而VLA雖然在機(jī)器人控制任務(wù)中表現(xiàn)良好，但大大犧牲了多模態(tài)能力。與這些框架相比，VeBrain在所有任務(wù)中實現(xiàn)了最佳權(quán)衡性能，相較于其他框架平均提升了31.5%。?

VeBrain團(tuán)隊在13個多模態(tài)benchmark和5個空間推理benchmark上測試了VeBrain的性能。結(jié)果表明，VeBrain實現(xiàn)了比肩當(dāng)前最強(qiáng)開源模型Qwen2.5-VL的多模態(tài)能力，以及同參數(shù)量下最優(yōu)的視覺空間推理能力?？梢钥吹?，VeBrain在MMVet（+5.6%）、DocVQA（94.4分）等13個基準(zhǔn)上超越GPT-4o和Qwen2.5-VL，并取得了77.1的最佳歸一化平均性能，這表明其具有更強(qiáng)的多模態(tài)能力。?

模型需要強(qiáng)大的3D空間感知和推理能力來回答不同類型的問題，大多數(shù)先前方法采用了基于3D的MLLM結(jié)構(gòu)，并在四個基準(zhǔn)測試上取得了有希望的結(jié)果。相比之下，直接將2DMLLM遷移到這些任務(wù)會導(dǎo)致性能差，例如Qwen2.5-VL-7B的-50.1Acc@0.25，這表明它們在3D空間理解和推理方面的不足。

與這些方法相比，GPT4Scene-HDM通過基于視頻的2DMLLM和對象標(biāo)記取得了更好的結(jié)果，但作為一個專業(yè)模型，GPT4Scene-HDM難以應(yīng)用于常見的2D多模態(tài)任務(wù)。而VeBrain作為一個通才MLLM，在3D場景問答（ScanQACIDEr101.5）和物體定位（ScanReferAcc@0.2566.4%）上刷新了紀(jì)錄，甚至在所有任務(wù)上都能超越GPT4Scene-HDM。進(jìn)一步診斷現(xiàn)有MLLM和VeBrain的視覺空間推理能力，可以看出，VeBrain在VSI基準(zhǔn)測試中的平均得分優(yōu)于所有現(xiàn)有的MLLM，例如，比Qwen2.5-VL-7B高出+4.0%。與GPT-4o等更大的MLLM相比，VeBrain也能表現(xiàn)更出色。