Meta研究人員展示了基于人工智能驅(qū)動(dòng)的身體姿勢(shì)系統(tǒng)最新成果。

目前的VR系統(tǒng)開箱即用，卻只能追蹤頭部和手部位置。盡管基于稱為逆運(yùn)動(dòng)學(xué)(IK)的算法可估計(jì)肘部、軀干和腿部位置，但有時(shí)僅對(duì)肘部準(zhǔn)確，而對(duì)腿部則很少正確。對(duì)于每組給定的頭部和手部位置，都有太多潛在的解決方案，考慮到IK的局限性，現(xiàn)在的一些VR應(yīng)用程序僅顯示手部，更多的應(yīng)用程序僅顯示上半身。

如今，智能手機(jī)應(yīng)用已能基于計(jì)算機(jī)視覺進(jìn)行VR身體追蹤，但這需要將手機(jī)安裝在角落，并且只有當(dāng)用戶面對(duì)它時(shí)才能正常工作；采用SteamVR追蹤的PC VR頭顯基于額外追蹤器（例如HTC Vive Tracker）支持更高質(zhì)量的身體追蹤，但購(gòu)買足夠多的身體追蹤設(shè)備需要花費(fèi)數(shù)百美元。

去年，三名Meta研究人員展示了QuestSim，這是一種強(qiáng)化學(xué)習(xí)模型，可以僅使用Meta Quest 2及其手柄追蹤數(shù)據(jù)來估計(jì)合理的全身姿勢(shì)。不需要額外的追蹤器或外部傳感器，生成的化身運(yùn)動(dòng)與用戶的真實(shí)運(yùn)動(dòng)相當(dāng)接近。研究人員甚至聲稱，由此產(chǎn)生的精度和抖動(dòng)優(yōu)于IMU追蹤器，例如索尼Mocopi。

但導(dǎo)致QuestSim失靈的一個(gè)極端情況是，當(dāng)用戶與現(xiàn)實(shí)世界交互時(shí)，例如坐在椅子或沙發(fā)上時(shí)。處理這個(gè)問題，尤其是坐姿和站立之間的過渡，對(duì)于社交VR中的逼真完整身體至關(guān)重要。

在一篇名為Quest Env Sim的新論文中，這三位研究人員和另外兩位研究人員提出了一個(gè)更新的模型，并考慮了環(huán)境中的家具和其他物體：

盡管研究結(jié)果令人印象深刻。但是，QuestEnvSim不會(huì)很快兼容Quest 2，與最初的QuestSim一樣，這里有幾個(gè)重要的注意事項(xiàng)。

首先，本文沒有提及所描述系統(tǒng)的運(yùn)行時(shí)性能。機(jī)器學(xué)習(xí)研究論文往往以相對(duì)較低的幀率在功能強(qiáng)大的PC GPU上運(yùn)行。

其次，對(duì)家具和物品進(jìn)行人工掃描，并在虛擬環(huán)境中進(jìn)行定位。雖然Quest 3也許能夠通過深度傳感器自動(dòng)掃描家具，但Quest 2和Quest Pro沒有關(guān)鍵的傳感器數(shù)據(jù)。

最后，這些系統(tǒng)旨在產(chǎn)生合理的整體全身姿勢(shì)，而不是與你雙手的確切位置相匹配。系統(tǒng)的延遲也相當(dāng)于VR中的許多幀。因此，即使這些方法可以實(shí)時(shí)運(yùn)行，但在VR中俯視自己身體時(shí)效果并不理想。

但是，假設(shè)系統(tǒng)最終能夠得到優(yōu)化，那么看到其他人化身的全身運(yùn)動(dòng)將比Meta當(dāng)前無腿上半身化身要好得多。

來源：UploadVR