字節(jié)跳動發(fā)布通用機器人模型GR-3及配套機器人ByteMini

?? 由 文心大模型 生成的文章摘要

7月22日,字節(jié)跳動Seed團隊在機器人技術(shù)領(lǐng)域邁出了重要一步,發(fā)布了通用機器人模型GR-3,同時推出了配套的通用雙臂移動機器人ByteMini。這一創(chuàng)新組合有望顯著提升機器人在復雜環(huán)境中執(zhí)行任務(wù)的能力,并為機器人技術(shù)的未來發(fā)展指明了新方向。?

GR-3是一種全新的Vision-Language-Action(VLA)模型,其設(shè)計旨在理解和執(zhí)行人類指令,同時適應(yīng)新的物體和環(huán)境。與傳統(tǒng)的VLA模型不同,GR-3通過少量的人類數(shù)據(jù)即可實現(xiàn)高效微調(diào),從而快速且低成本地遷移至新任務(wù),以及認識新物體。這種方法不僅提高了模型的適應(yīng)性,還大大降低了訓練所需的時間和資源成本。?

此外,GR-3在處理長程任務(wù)和高靈巧度操作方面表現(xiàn)出色,包括雙手協(xié)同操作、柔性物體操作,以及融合底盤移動的全身操作等。這些能力通過一種多樣的模型訓練方法實現(xiàn),團隊融合了遙操作機器人收集的真機數(shù)據(jù)、基于VR設(shè)備的人類軌跡數(shù)據(jù),以及公開可用的大規(guī)模視覺語言數(shù)據(jù),這種多源數(shù)據(jù)的結(jié)合是GR-3區(qū)別于現(xiàn)有VLA模型的關(guān)鍵特征之一。?

為了將GR-3的潛力轉(zhuǎn)化為實際應(yīng)用,字節(jié)跳動Seed團隊開發(fā)了通用雙臂移動機器人ByteMini。這款機器人專為與GR-3模型協(xié)同工作而設(shè)計,具備22個全身自由度以及獨特的手腕球角設(shè)計,使其能夠在狹小空間中完成各種精細操作。ByteMini搭載GR-3模型后,能夠在真實環(huán)境中高效處理復雜任務(wù),為智能家居、物流、醫(yī)療等多個領(lǐng)域的應(yīng)用提供了可能。?

在一系列測試中,GR-3展現(xiàn)出了卓越的性能。在超長序列(子任務(wù)數(shù)≥10)的餐桌整理任務(wù)中,GR-3能夠高魯棒性、高成功率地完成任務(wù),并嚴格跟隨人類發(fā)出的分步指令。在復雜靈巧的掛衣服任務(wù)中,GR-3能夠控制雙臂協(xié)同操作可形變的柔性物體,識別并整理不同擺放方式的衣物。此外,GR-3在抓取放置任務(wù)中表現(xiàn)出良好的泛化能力,能夠處理未見過的物體,并理解包含復雜抽象概念的指令。?

經(jīng)過上千次系統(tǒng)性實驗測試,GR-3的表現(xiàn)超過了業(yè)界此前可測試具體性能的VLA頭部模型π0。在應(yīng)對未見過的物體時,通過VR設(shè)備采集少量(10條)軌跡數(shù)據(jù),GR-3操作這些物體的成功率可從不到60%提升到超過80%。在跟隨分步指令的能力測試中,GR-3也顯著領(lǐng)先于基準模型,能夠準確判斷并執(zhí)行復雜指令,或在指令無效時保持不動。?

展望未來,Seed團隊計劃進一步擴大GR-3的模型規(guī)模和訓練數(shù)據(jù)量,并引入強化學習訓練,以持續(xù)提升模型的性能和適應(yīng)性。隨著技術(shù)的不斷進步,GR-3和ByteMini有望成為推動通用機器人發(fā)展的重要力量,為更多領(lǐng)域帶來創(chuàng)新解決方案。

「93913原創(chuàng)內(nèi)容,轉(zhuǎn)載請注明出處」