能夠?qū)崟r追蹤人體運(yùn)動對于AR/VR應(yīng)用的浸入體驗來說是至關(guān)重要的。尤其在社交方面，能夠使用全身來進(jìn)行情感的表達(dá)與交互比使用表情符號要有效許多。在游戲方面，能夠更準(zhǔn)確的表現(xiàn)全身動作也是對浸入感的一大提升。

但是，一般頭戴顯示器能夠提供的傳感數(shù)據(jù)非常有限。

為了解決這個難題，Meta旗下的Reality Labs在近期展示了一項非常有意思的新研究：使用強(qiáng)化學(xué)習(xí)框架取得頭戴顯示器與兩個手柄的信號，對可能進(jìn)行的全身運(yùn)動進(jìn)行模擬。

簡單來說，運(yùn)用高質(zhì)量的全身運(yùn)動動捕數(shù)據(jù)進(jìn)行訓(xùn)練，一個簡單的策略網(wǎng)絡(luò)可以在緊跟移動輸入信號的同時，用適當(dāng)?shù)牧貋韼椭巧磉M(jìn)行平衡、走動與跑動。

通過開發(fā)者展示的結(jié)果視頻來看，運(yùn)動中的化身與用戶高度匹配，即便沒有下肢的數(shù)據(jù)，運(yùn)用頭顯傳來的6D移動信息，化身移動起來也能夠緊貼地面。同時，在視頻中開發(fā)者還展示了不同體型和地形上的化身移動表現(xiàn)。

更多詳情可以查看以下視頻（附帶字幕）：

不過，這項技術(shù)目前尚未完美，化身的動作模擬依然存在著一些不足。因為化身的動作是在沒有額外的非物理基力下模擬而出的，在試圖移動角色基點時需要一系列特殊的關(guān)節(jié)力矩。

不僅如此，物理模擬無法進(jìn)行傳送，所以當(dāng)角色不斷偏離用戶之后，會變得很難跟上動作。因此，模擬角色在試圖模仿一些高活躍度動作（跳舞、跳躍）時會摔倒，因為它們還沒有接受相關(guān)扭矩控制的強(qiáng)化學(xué)習(xí)訓(xùn)練。

另外一個難點在上下肢的非常規(guī)性動作上，這會導(dǎo)致不同的運(yùn)動被相同的上肢身體傳感數(shù)據(jù)所代表，在這種情況下，策略會合成一個比較自然、符合物理性的下肢姿勢，但這可能與用戶所做出的姿態(tài)不契合。

更詳細(xì)的技術(shù)內(nèi)容，可以點擊下方連接查看開發(fā)者發(fā)布的技術(shù)論文：

https://arxiv.org/abs/2209.09391