Meta身體追蹤API（Body Tracking API）作為運(yùn)動(dòng)SDK的一部分已于上周四發(fā)布，該SDK還包括了Quest Pro眼動(dòng)追蹤API（Eye Tracking API）和面部追蹤API（Face Tracking API）。

Oculus開發(fā)者官方Twitter宣布了該版本的發(fā)布，文檔中的插圖顯示了用戶的全身姿勢，這一消息正被廣泛分享——導(dǎo)致許多人認(rèn)為Quest已獲得了身體追蹤支持——但其實(shí)該API 名稱和插圖都具有誤導(dǎo)性。

Meta手部跟蹤API可支持手部和手指的實(shí)際位置追蹤，其眼動(dòng)追蹤API和面部追蹤API則提供了實(shí)際注視方向和面部肌肉運(yùn)動(dòng)，由 Quest Pro 的內(nèi)向攝像頭跟蹤。但Meta發(fā)言人證實(shí)，身體追蹤API僅提供基于頭部和手部位置的“模擬上身骨架”，這并不是真正的追蹤（也不包括腿部）。

我們認(rèn)為Body Tracking API更好名稱應(yīng)為“身體態(tài)勢預(yù)估”（Body Pose Estimation），發(fā)言人將這項(xiàng)技術(shù)描述為逆運(yùn)動(dòng)學(xué)（IK）和機(jī)器學(xué)習(xí)（ML）的結(jié)合。IK是指根據(jù)已知位置估計(jì)骨骼（或機(jī)器人）各部分未知位置的一類方程。這些方程式為當(dāng)今應(yīng)用程序中的所有全身VR化身提供了動(dòng)力。開發(fā)者不需要實(shí)現(xiàn)（甚至理解）IK背后的數(shù)學(xué)原理，因?yàn)閁nity和 Unreal等游戲引擎都內(nèi)置了IK，而流行的Final IK等軟件包以不到100美元的價(jià)格出提供了完整實(shí)現(xiàn)。

除非你使用身體追蹤硬件，例如HTC Vive Trackers，否則IK for VR往往是不準(zhǔn)確的——對(duì)于每組給定的頭部和手部位置，都有許多潛在解決方案。Meta的賣點(diǎn)在于，它的機(jī)器學(xué)習(xí)模型可以免費(fèi)生成更準(zhǔn)確的身體姿勢。以下演示視頻似乎支持了這一說法，盡管沒有下半身——而且支持僅限于Quest——大多數(shù)開發(fā)者可能不會(huì)接受這個(gè)提議。

不過，Meta Connect 2022期間，Meta給出的提示以及該公司的研究表明，未來身體追蹤將增加腿部支持。

Body Tracking產(chǎn)品經(jīng)理Vibhor Saxena在針對(duì)開發(fā)者的一次演講中表示：

“未來幾年身體追蹤的新改進(jìn)將通過相同的API提供，肯定的是，用戶可以確保獲得更優(yōu)質(zhì)的身體追蹤體驗(yàn)，而無需切換不同的界面?！?/p>

另外，在主要主題演講中，扎克伯格宣布Meta Avatars將獲得腿部支持，這同樣也是一個(gè)誤導(dǎo)性演示，據(jù)悉虛擬化身腿部支持將在今年晚些時(shí)候上線Horizon，然后在明年引入其他應(yīng)用SDK。Saxena證實(shí)身體追蹤API利用了支持Meta Avatars的相同底層技術(shù)——這似乎表明該API也將獲得支持。

你可能想知道：如果身體追蹤API只是基于頭部和手部位置的估計(jì)，它怎么可能包含腿部？上個(gè)月，Meta采用機(jī)器學(xué)習(xí)技術(shù)最新進(jìn)展演示了這方面的研究，盡管顯示的系統(tǒng)并不完全準(zhǔn)確（延遲為160毫秒，在72Hz下超過11幀），這種計(jì)時(shí)速度太慢，輸出也不完美，對(duì)此，Meta首席技術(shù)官評(píng)論，Meta可能會(huì)采用類似技術(shù)在其他人虛擬化身展示腿部：

“在自身化身上出現(xiàn)與真實(shí)腿部不匹配的腿會(huì)讓人們感到不安，于是，我們可以把腿部顯示表現(xiàn)在其他化身身上，這樣就可以解決用戶的困擾?！?/p>

“因此，我們正在研究對(duì)旁觀者來說看起來自然的腿部顯示——因?yàn)樗麄儾恢滥阏嬲耐炔繉?shí)際上是如何定位的，這是我們目前的策略?！?/p>

來源：UploadVR