
Meta Quest SDK最新版本增添了拇指微手勢功能,用戶能夠進(jìn)行食指的滑動(dòng)與點(diǎn)擊操作。同時(shí),該版本還提升了Audio To Expression的質(zhì)量。
在此次更新中,還涵蓋了用于直通攝像頭訪問的輔助實(shí)用程序。這一功能是Meta剛剛向開發(fā)人員發(fā)布的,若用戶授予權(quán)限,應(yīng)用程序便能訪問頭顯的前置彩色攝像頭,同時(shí)獲取包括鏡頭內(nèi)在函數(shù)和頭顯姿勢等元數(shù)據(jù)信息,開發(fā)人員可借此運(yùn)行自定義計(jì)算機(jī)視覺模型。
拇指微手勢借助Quest手部追蹤功能,當(dāng)用戶的手側(cè)向且手指彎曲時(shí),該功能能夠檢測到用戶在食指上的拇指點(diǎn)擊與滑動(dòng)操作,其操作體驗(yàn)類似于Steam控制器D-pad。
在Unity環(huán)境下,微手勢功能需要Meta XR Core SDK支持。而對(duì)于其他引擎,則可通過OpenXR 擴(kuò)展XR_META_hand_tracking_microgestures來實(shí)現(xiàn)。
Meta表示,這些微手勢可用于實(shí)現(xiàn)無需控制器的快速轉(zhuǎn)動(dòng)遠(yuǎn)距傳送,但具體的應(yīng)用方式則由開發(fā)人員自行決定。比如,開發(fā)人員可將其作為一種更為便捷省力的方式,用于瀏覽界面,用戶無需伸手或指向界面元素即可完成操作。
值得關(guān)注的是,Meta還將這種拇指微手勢方法應(yīng)用于其正在研發(fā)的sEMG神經(jīng)腕帶,以及最終的AR眼鏡輸入設(shè)備。據(jù)報(bào)道,該技術(shù)還有望應(yīng)用于其計(jì)劃在今年晚些時(shí)候推出的HUD 眼鏡。這意味著Quest可作為這些未來眼鏡的開發(fā)平臺(tái)運(yùn)用拇指微手勢功能,不過要實(shí)現(xiàn)與 Orion原型全部輸入功能相匹配,還需借助眼動(dòng)追蹤技術(shù)。
改進(jìn)音頻表達(dá)方面,Audio To Expression是SDK v71中引入的設(shè)備端AI模型,它僅依靠麥克風(fēng)音頻輸入,就能生成合理的面部肌肉運(yùn)動(dòng),在無需任何面部追蹤硬件的情況下,便可提供面部表情的估計(jì)。
Audio To Expression取代了已有十年歷史的Oculus Lipsync SDK。Oculus Lipsync SDK僅支持嘴唇動(dòng)作,無法支持其他面部肌肉運(yùn)動(dòng),而Meta稱Audio To Expression實(shí)際上比Oculus Lipsync 占用更少的CPU資源。
如今,Meta表示,Meta XR Core SDK v74帶來了升級(jí)后的模型,與早期模型相比,在情感表達(dá)力、嘴部運(yùn)動(dòng)以及非語音發(fā)聲的準(zhǔn)確性等各個(gè)方面均有顯著改善。然而,Meta自身的 Avatars SDK依舊沒有采用Audio To Expression,也未使用由內(nèi)而外的身體追蹤技術(shù)。











