受限于手部遮擋和手部移動(dòng)復(fù)雜方式，目前機(jī)器理解手部與物體的交互仍然是一個(gè)挑戰(zhàn)。

為此，Meta Reality Labs研究人員發(fā)布了一個(gè)名為HOT3D（“手和物體跟蹤”縮寫(xiě)）的數(shù)據(jù)集，旨在幫助研究人員開(kāi)發(fā)基于視覺(jué)的系統(tǒng)，以更好理解手與物體的交互，從而集成于新的應(yīng)用。

“例如，這樣的系統(tǒng)將能夠?qū)崿F(xiàn)用戶之間的手動(dòng)技能轉(zhuǎn)移，首先捕捉專家用戶執(zhí)行一系列手部與物體交互的動(dòng)作（組裝家具、發(fā)網(wǎng)球等），然后使用捕獲的信息指導(dǎo)經(jīng)驗(yàn)不足的用戶，例如通過(guò)AR眼鏡， ”研究人員在論文中寫(xiě)道?！斑@些技能也可以從人類轉(zhuǎn)移到機(jī)器人身上，使自主機(jī)器人能夠即時(shí)學(xué)習(xí)。該系統(tǒng)還可以幫助人工智能助手更好理解用戶行為，或?yàn)?AR/VR用戶提供新的輸入功能，例如，將任何物理表面變成虛擬鍵盤(pán)，或?qū)U筆變成多功能手柄?！?/p>

該數(shù)據(jù)集包含超過(guò)800分鐘的以自我為中心的視頻記錄，展示了與33種日常物品的互動(dòng)。除了拿起、看和放下物品的簡(jiǎn)單場(chǎng)景，該數(shù)據(jù)集還包括廚房、辦公室和客廳環(huán)境中的典型動(dòng)作。

在此系統(tǒng)組成部分，兩款Meta設(shè)備用于捕獲視頻數(shù)據(jù)：Project Aria眼鏡和Quest 3。由于 Meta使用這些設(shè)備，因此數(shù)據(jù)集可能主要用于訓(xùn)練Meta現(xiàn)有和未來(lái)的AI/AR/VR眼鏡和頭顯AI系統(tǒng)。