Meta Quest SDK最新版本增添了拇指微手勢功能,用戶能夠進行食指的滑動與點擊操作。同時,該版本還提升了Audio To Expression的質(zhì)量。
在此次更新中,還涵蓋了用于直通攝像頭訪問的輔助實用程序。這一功能是Meta剛剛向開發(fā)人員發(fā)布的,若用戶授予權(quán)限,應(yīng)用程序便能訪問頭顯的前置彩色攝像頭,同時獲取包括鏡頭內(nèi)在函數(shù)和頭顯姿勢等元數(shù)據(jù)信息,開發(fā)人員可借此運行自定義計算機視覺模型。
拇指微手勢借助Quest手部追蹤功能,當用戶的手側(cè)向且手指彎曲時,該功能能夠檢測到用戶在食指上的拇指點擊與滑動操作,其操作體驗類似于Steam控制器D-pad。
在Unity環(huán)境下,微手勢功能需要Meta XR Core SDK支持。而對于其他引擎,則可通過OpenXR 擴展XR_META_hand_tracking_microgestures來實現(xiàn)。
Meta表示,這些微手勢可用于實現(xiàn)無需控制器的快速轉(zhuǎn)動遠距傳送,但具體的應(yīng)用方式則由開發(fā)人員自行決定。比如,開發(fā)人員可將其作為一種更為便捷省力的方式,用于瀏覽界面,用戶無需伸手或指向界面元素即可完成操作。
值得關(guān)注的是,Meta還將這種拇指微手勢方法應(yīng)用于其正在研發(fā)的sEMG神經(jīng)腕帶,以及最終的AR眼鏡輸入設(shè)備。據(jù)報道,該技術(shù)還有望應(yīng)用于其計劃在今年晚些時候推出的HUD 眼鏡。這意味著Quest可作為這些未來眼鏡的開發(fā)平臺運用拇指微手勢功能,不過要實現(xiàn)與 Orion原型全部輸入功能相匹配,還需借助眼動追蹤技術(shù)。
改進音頻表達方面,Audio To Expression是SDK v71中引入的設(shè)備端AI模型,它僅依靠麥克風(fēng)音頻輸入,就能生成合理的面部肌肉運動,在無需任何面部追蹤硬件的情況下,便可提供面部表情的估計。
Audio To Expression取代了已有十年歷史的Oculus Lipsync SDK。Oculus Lipsync SDK僅支持嘴唇動作,無法支持其他面部肌肉運動,而Meta稱Audio To Expression實際上比Oculus Lipsync 占用更少的CPU資源。
如今,Meta表示,Meta XR Core SDK v74帶來了升級后的模型,與早期模型相比,在情感表達力、嘴部運動以及非語音發(fā)聲的準確性等各個方面均有顯著改善。然而,Meta自身的 Avatars SDK依舊沒有采用Audio To Expression,也未使用由內(nèi)而外的身體追蹤技術(shù)。