關(guān)于選擇Inside-Out和Outside-In定位技術(shù)的爭論似乎隨著一款款I(lǐng)nside-Out頭顯推出而告一段落。但隨著用戶需求的變化、技術(shù)對虛擬世界的探索，Inside-Out技術(shù)仍舊留下一些「無法解決」的問題，比如，全身追蹤。

乃至Quest——使用Inside-Out技術(shù)VR一體機的佼佼者，也一直受到「Avatar沒有腿」的調(diào)侃困擾。同時Meta也一直在尋找解決辦法，在此前的Quest 2 SDK中也泄露了關(guān)于全身追蹤的相關(guān)開發(fā)選項。

那么，全身追蹤對于Inside-Out當?shù)赖慕裉焓欠癯蔀橐粋€問題？未解決的問題會造成什么影響？未來的VR交互走向何方呢？

Meta XR高管：Inside-Out頭顯可能無法實現(xiàn)全身追蹤

日前，Meta XR部門副總裁、現(xiàn)任CTO（首席技術(shù)官）Andrew Bosworth在其個人INS的快問快答環(huán)節(jié)談到了全身追蹤的問題。

他表示，全身追蹤的問題非常棘手。

“頭顯前置的攝像頭受限于角度，無法很好地捕捉用戶腿部。同時，我們又想縮小頭顯尺寸，這就導(dǎo)致全身追蹤的問題難度更大。攝像頭的角度甚至很難看到用戶的臉頰和上半身。現(xiàn)在可以很好地呈現(xiàn)上半身，因為攝像頭能夠捕捉手臂、肘部、手部，并且我們也了解背后人體骨骼肌肉的運行原理，但腳（由于不能捕捉也不夠了解）就顯得很僵硬?！?/p>

“所以說，我們看到一些全身追蹤的案例，也不得不選擇Outside-In而不是Inside-Out，這也是我們正在研究的事情之一。”

“之前就媒體泄露過關(guān)于Quest全身追蹤技術(shù)的事情，我個人認為這為時尚早。這項技術(shù)背后沒有任何實質(zhì)性的東西，不過它仍然是我們投入精力并關(guān)注的重點?！?/p>

作為CTO，Andrew Boswort從攝像頭角度和捕捉技術(shù)兩方面，講清楚了他認為無法使用Inside-Out實現(xiàn)全身追蹤的原理。隨后，他也站在用戶的角度指出目前實現(xiàn)VR全身追蹤的不合理之處（或者說Quest短期內(nèi)不會加入全身追蹤的原因）。

首先，額外的成本。

Andrew Boswort談到：“準確地追蹤用戶的腿是非常困難的，并且僅從物理的角度來看，使用現(xiàn)有的Inside-Out頭顯基本上是不可行的。不過，你可以使用Outside-In進行身體追蹤——但這需要額外的配件、額外成本還需要花精力配置，這是一筆不小的開銷?！?/p>

其次，糟糕的用戶體驗。

他表示，如果用戶看到腿，但它不是很合適，表現(xiàn)很畸形，“這是一種非常糟糕的體驗?！?/p>

不過，他也提出了一些個人想法（或者說Meta的做法）：“你可以沒有腿，但其他人看到你時，你是有腿的。也就是說，假裝有腿，（在虛擬世界里）沒有人知道其中的區(qū)別。這是一個更好的方向?！?/p>

“如果我們在腿部空缺補上某種東西，讓它看起來很合理，用戶的感受就會是，腿就應(yīng)該在這里?！?/p>

某種程度上這代表著Meta對全身追蹤的態(tài)度，即便Inside-Out頭顯無法實現(xiàn)全身追蹤、在游戲中可能也不會專門支持，但有下半身有合理的「腿」，對交互和用戶社交體驗是有所提升的。

簡單來說，Andrew Boswort認為Inside-Out不可能實現(xiàn)全身追蹤主要考慮到技術(shù)本身、成本和用戶體驗三方面問題。而這也不僅僅是Meta的「一家之言」。

國內(nèi)專注于VR交互技術(shù)的廠商NOLO告訴93913，“主要是攝像頭FOV的限制，以及即使在FOV內(nèi)，也是視距傳播，不能遮擋。以上限制了通過Inside-Out的Camera方案，無法實現(xiàn)全身追蹤。”

面向C端的愛奇藝奇遇也表達了類似的看法：“（不能實現(xiàn)全身追蹤）因為攝像頭沒辦法覆蓋人的腿，人一走路或者一抬頭的時候，可能看不到腿了。導(dǎo)致攝像頭沒辦法準確的定位到腿的姿態(tài)，所以不太好實現(xiàn)。另外，VR設(shè)備呈現(xiàn)越來越薄的趨勢，攝像頭其實離人眼會更近，這樣的話，能拍到腿的概率就會更低了，所以這個技術(shù)會越來越難?！?/p>

國內(nèi)外的相關(guān)技術(shù)廠商看法結(jié)論都比較一致，主要還是由于技術(shù)限制，Inside-Out頭顯實現(xiàn)全身追蹤的課題暫時無法實現(xiàn)。無法實現(xiàn)就誕生了新的問題：不能全身追蹤，是否會限制VR體驗的提升？

VR全身追蹤，是「偽需求」嗎？

關(guān)于沒有全身追蹤是否限制VR體驗的提升，要從這一問題的提出開始討論。

Andrew Boswort最開始也不僅僅是回答具體的某一個問題，而更像是直面社區(qū)內(nèi)比較熱門的討論——為什么Quest社交里虛擬形象都是「下半身失蹤」，直白點說，頭顯加入全身追蹤來源于用戶的需求。從這個角度看，最初的問題應(yīng)該是，現(xiàn)階段VR頭顯有沒有必要配備全身追蹤呢？

▲社區(qū)中關(guān)于全身追蹤的討論

NOLO方面表示全身追蹤「非常有必要」：“在VR社交、健身、協(xié)作等場景中使用全身追蹤技術(shù)，人的肢體動作可傳達的信息更多，更豐富?！?/p>

愛奇藝奇遇方面認為，這個問題需要分場景看待：“如果是那種體感類的游戲，包括腿部運動的游戲，以及《Horizon》這種社交類的，那肯定是需要全身追蹤。如果像《Beat Saber》、《樂動未來-音計劃》這樣的游戲，可能就沒有必要?！?/p>

二者與前文提到Meta的態(tài)度有些相似，作為頭顯開發(fā)商，如果在頭顯中加入某個功能可以提升用戶體驗，它就是值得去挖掘的。

但奮戰(zhàn)在國內(nèi)一線的游戲開發(fā)者，則持有一些不同的意見。

來自合金貓互動的瞿嘉向93913表示，全身追蹤對目前主流游戲品類的影響非常有限。他說：“全身動捕的技術(shù)，可以讓玩家在VR世界中獲得一個更加真實可信的Avatar形象。尤其是對于一些聯(lián)機或MMO游戲全身動捕的效果將讓玩家角色在他人視野中更加真實可信?！?/p>

“目前大部分游戲中開發(fā)者會通過IK反向動力學(xué)技術(shù)，讓頭顯和雙手柄構(gòu)建一個上半身的身體形象。而下半身則通過動畫來處理，亦或是沒有下半身。對于大部分游戲來說，這樣的配置是足夠構(gòu)建一個可信的虛擬角色的。如果沒有這樣的技術(shù)支持，一些需要下半身參與的游戲則無法構(gòu)建基本游戲玩法，例如：跳舞游戲、足球游戲等方向的嘗試就相對困難。但就目前主要的熱門游戲來看，全身動捕技術(shù)的使用場景還是很小。”

“如果確實需要有全身動捕的需求，玩家一般會選擇額外購買設(shè)備的方式。比如基于慣性的傳感器，或者類似Kincet一類的額外外設(shè)來單獨處理。但是前提是游戲和硬件本身要對其支持（比如一體機就無法接受一些特殊外設(shè)的數(shù)據(jù)）。也可以通過類似跑步機這樣的外設(shè)來對雙腳情況進行感知，從而反算腿部姿態(tài)?！?/p>

▲Xbox Kincet

“算法層的話解決方案也有很多，例如之前有了解過用AI學(xué)習(xí)的方式來計算IK ，通過大量數(shù)據(jù)計算人在頭雙手處于各種狀態(tài)下下半身的姿態(tài)來反算。形成一個姿勢庫來補充腿部姿勢?！?/p>

“但總體來說，投入?yún)R報比不高。除非一些特殊游戲，大部分情況下VR游戲在這階段對全身的動捕的需求度其實不高?！?/p>

同時，瞿嘉表示，“作為游戲開發(fā)者，根據(jù)以往的經(jīng)驗說來說，（沒有全身追蹤）負面影響相對較小。我們認為目前階段普通玩家其實并不會特別在乎全身動作的效果?！?/p>

“其主要原因在于，一，玩家大部分的自身視野是在手臂和胸口附近。幾乎沒有太多機會看到腿部。二，需要腳來交互的游戲類型幾乎沒有，并且如果游戲采用搖桿移動的方式，動捕的加入反而會讓玩家角色看起來非常奇怪。腳的動捕并沒有動，但是玩家卻會高速移動。三，如果引入一個額外的交互設(shè)備，勢必增加玩家的硬件成本。注定讓這部分的玩家處于一個小眾狀態(tài)，那么游戲開發(fā)者更不太容易做出這樣服務(wù)小眾玩家的主要玩法。因為大部分體驗會是錦上添花的存在。”

▲博主DIY的身體追蹤

也就是說，如果一些游戲要加入全身追蹤，不僅沒有太大的市場需求，而且無論對于用戶還是開發(fā)者來說，都是一筆額外的成本，這一點與Meta所提到的成本問題思路一致。

經(jīng)過一些了解和采訪，可以明顯感覺到，無論硬件廠商、游戲開發(fā)者甚至是論壇上的用戶，對VR全身追蹤這件事情態(tài)度比較游離，屬于「有也行、沒有也罷」的狀態(tài)。更深一層，從技術(shù)的角度看，目前要在VR一體機上加入全身追蹤的能力，不僅會增加整體重量，還會帶來額外的成本，與我們追求的輕薄、價廉相悖。

由此可以看出，正如Andrew Boswort所言，Inside-Out頭顯可能無法實現(xiàn)全身追蹤，甚至可以說目前還沒有必要實現(xiàn)全身追蹤。

VR交互，先從做好「把玩感」開始

無論是用戶對全身追蹤的需求，還是對手勢識別的討論，最后落腳點都在于如何完善VR交互上。

瞿嘉在討論時，從游戲開發(fā)者的視角提出了一個關(guān)鍵問題：怎么把手的交互做好？

他說：“「把玩感」是VR中一個非常重要的體驗，雙手IK的鏈接、分量感的體驗、觸覺力反饋及壓成本等等，這才是重點?！?/p>

愛奇藝奇遇方面表示：“交互這一塊基本上就是手勢識別、眼動、腦機接口、語音控制，以及表情識別等等。”

雙方看似舉例的內(nèi)容不同，但是核心思想是一樣的，即在現(xiàn)有的基礎(chǔ)上把交互做到相對完美，再去考慮加入更多部分的體驗。就像瞿嘉所說：“我覺得對游戲來說，在統(tǒng)一交互模式的基礎(chǔ)上先能把品類都發(fā)展開來，然后解決完美的手和視覺體驗，再下一個階段才會輪到腳?！?/p>