據(jù)報(bào)道，蘋果仍在開發(fā)Apple Vision Pro全身追蹤功能，以便該設(shè)備最終可以支持健身應(yīng)用。
上周，The Information的Wayne Ma報(bào)道稱，蘋果“幾年前”就取消了Vision Pro全身追蹤功能，因?yàn)樘O果工程師“無(wú)法使該功能足夠可靠”，但他的報(bào)道并未提及蘋果是否仍在研究全身追蹤以為Vision Pro的發(fā)布做準(zhǔn)備。Wayne Ma去年報(bào)道稱，Vision Pro將使用朝下的攝像頭追蹤腿部，該報(bào)道還準(zhǔn)確描述了Vision Pro OpticID虹膜身份驗(yàn)證系統(tǒng)。
現(xiàn)在，彭博社格爾曼報(bào)道稱，蘋果仍在“努力完善”全身追蹤（包括腿部追蹤）功能，以支持健身應(yīng)用。格爾曼表示，第一方Apple Fitness+ VisionOS應(yīng)用“仍在考慮中”。
WWDC23上，蘋果并沒有討論健身話題，也沒有展示任何具有快速身體運(yùn)動(dòng)的應(yīng)用示例。而在Meta Quest平臺(tái)，健身應(yīng)用已成為主要用例之一，Meta在今年早些時(shí)候收購(gòu)了VR應(yīng)用「Supernatural」開發(fā)商Within，該平臺(tái)其他流行VR健身應(yīng)用還包括了「FitXR」和「Les Mills Bodycombat」。
Meta計(jì)劃在12月Quest軟件更新中添加基于由內(nèi)而外機(jī)制的Meta Quest 3上身追蹤功能，不過(guò)，此功能還不能追蹤用戶腿部，Meta計(jì)劃在同一更新中發(fā)布“Generative Legs”，采用AI以預(yù)估用戶腿部運(yùn)動(dòng)。
格爾曼表示，蘋果告訴開發(fā)者，Vision Pro不具備全身追蹤功能（仍定于2024年初發(fā)布），因此，如果蘋果能夠“完善”全身追蹤以達(dá)到質(zhì)量標(biāo)準(zhǔn)，預(yù)計(jì)將會(huì)在之后的更新中推出該功能。
來(lái)源：UploadVR
索尼全身追蹤系統(tǒng)Mocopi與「VRChat」Meta Quest版本兼容，即將在美國(guó)推出。
Mocopi追蹤器是一套全身追蹤器，售價(jià)450美元，現(xiàn)已上架索尼在線商店。該套件將于7月14日面向美國(guó)買家發(fā)貨，充電盒內(nèi)含六個(gè)基于IMU的多色編碼傳感器。
索尼明確表示Mocopi追蹤器不兼容PS VR2集成，但并未排除在某個(gè)時(shí)候整合的可能性。Mocopi傳感器可通過(guò)藍(lán)牙功能與iPhone 12（及更高版本）以及基于索尼Xperia Android的手機(jī)進(jìn)行通信（不排除其他適用手機(jī)）。Mocopi追蹤器生成的運(yùn)動(dòng)數(shù)據(jù)可以轉(zhuǎn)發(fā)到「VRChat」等平臺(tái)以及Unity等游戲工具。
索尼去年公布了這款身體追蹤套件，聲稱其“具有專有算法、只需六個(gè)傳感器即可實(shí)現(xiàn)精確動(dòng)作捕捉”。據(jù)稱，這些傳感器具備防水、防塵功能，并且“支持魔術(shù)貼帶和夾子配件”。
值得一提的是，隨著時(shí)間的推移，Mocopi內(nèi)置加速度計(jì)和角速率傳感器功能可能會(huì)受到限制，那么，索尼會(huì)采取什么樣的對(duì)策？目前，一些PC VR用戶采用Valve SteamVR追蹤系統(tǒng)（配備激光基站和Vive追蹤器）以實(shí)現(xiàn)「VRChat」等應(yīng)用的全身追蹤，但該系統(tǒng)的準(zhǔn)確性可能會(huì)讓鐵桿粉絲難以接受。因此，相比之下，基于手機(jī)驅(qū)動(dòng)的Mocopi或能吸引VR一體機(jī)用戶。
來(lái)源：UploadVR
據(jù)UploadVR報(bào)道，美國(guó)卡內(nèi)基梅隆大學(xué)研究人員基于VR手柄攝像頭建立了身體追蹤系統(tǒng)。
如今，消費(fèi)者VR系統(tǒng)只能追蹤用戶頭部和手部位置，市場(chǎng)上還沒有可追蹤用戶軀體或四肢的追蹤系統(tǒng)，為解決追蹤問(wèn)題，PCVR玩家便基于HTC Vive Trackers以連接身體腰臀部和腳部搭建全身追蹤系統(tǒng)，但由于Vive Trackers單個(gè)售價(jià)139美元，且如果用戶沒有配置SteamVR基站，則總搭建費(fèi)用超過(guò)700美元；另外，還有一些非官方的身體追蹤解決方案采用舊硬件和自制驅(qū)動(dòng)程序，例如微軟Kinect，則只能從前置角度工作，且追蹤質(zhì)量不是很好。
從理論上講，頭顯指向身體的額外攝像頭可以追蹤四肢，但腿部視野通常會(huì)被軀體或手臂遮擋，特別是在頭顯越來(lái)越輕薄的時(shí)下，而像Meta這樣的大廠也可以通過(guò)發(fā)布整合了攝像頭、電池和集成計(jì)算機(jī)視覺算法移動(dòng)芯片組的無(wú)線外部跟蹤站，但很明顯，讓用戶購(gòu)買和設(shè)置如此昂貴的追蹤配件并不現(xiàn)實(shí)。
而“ControllerPose”則是一個(gè)全身追蹤原型解決方案，其基于兩個(gè)與VR手柄連接的魚眼攝像頭進(jìn)行身體追蹤，該軟件可將兩個(gè)攝像頭拍攝的視圖拼接，以實(shí)現(xiàn)更寬廣視野，盡可能實(shí)現(xiàn)全身追蹤，研究人員表示，身體追蹤可精確到8.59厘米以內(nèi)。
為了解決攝像頭追蹤問(wèn)題，研究人員嘗試了兩種方法：將數(shù)據(jù)流式傳輸?shù)礁浇黀C，以及基于Raspberry Pi Compute Module 4和Google Coral進(jìn)行處理，而通過(guò)PC（或VR一體機(jī)）搭建追蹤系統(tǒng)相對(duì)便宜，但板載處理則會(huì)降低延遲。
去年9月，泄露的Project Cambria手柄圖顯示手柄擁有三個(gè)板載攝像頭（支持inside-out?追蹤），同時(shí)泄露的教程視頻也確認(rèn)了身體追蹤的可行性，由此預(yù)見，Project Cambria或未來(lái)Meta頭顯可能都將采用類似于“ControllerPose”的解決方案進(jìn)行身體追蹤。
研究人員稱，“ControllerPose”的缺點(diǎn)是，“有32%的操控時(shí)間處于視野盲區(qū)”，未來(lái)，手柄或頭顯都將搭載支持全身追蹤的集成攝像頭，但似乎只有外部解決方案才能實(shí)現(xiàn)完全可靠身體追蹤，更為重要的是，該解決方案的市場(chǎng)前景如何，也需要時(shí)間證明。
乃至Quest——使用Inside-Out技術(shù)VR一體機(jī)的佼佼者，也一直受到「Avatar沒有腿」的調(diào)侃困擾。同時(shí)Meta也一直在尋找解決辦法，在此前的Quest 2 SDK中也泄露了關(guān)于全身追蹤的相關(guān)開發(fā)選項(xiàng)。
那么，全身追蹤對(duì)于Inside-Out當(dāng)?shù)赖慕裉焓欠癯蔀橐粋€(gè)問(wèn)題？未解決的問(wèn)題會(huì)造成什么影響？未來(lái)的VR交互走向何方呢？
Meta XR高管：Inside-Out頭顯可能無(wú)法實(shí)現(xiàn)全身追蹤
日前，Meta XR部門副總裁、現(xiàn)任CTO（首席技術(shù)官）Andrew Bosworth在其個(gè)人INS的快問(wèn)快答環(huán)節(jié)談到了全身追蹤的問(wèn)題。
他表示，全身追蹤的問(wèn)題非常棘手。
“頭顯前置的攝像頭受限于角度，無(wú)法很好地捕捉用戶腿部。同時(shí)，我們又想縮小頭顯尺寸，這就導(dǎo)致全身追蹤的問(wèn)題難度更大。攝像頭的角度甚至很難看到用戶的臉頰和上半身?，F(xiàn)在可以很好地呈現(xiàn)上半身，因?yàn)閿z像頭能夠捕捉手臂、肘部、手部，并且我們也了解背后人體骨骼肌肉的運(yùn)行原理，但腳（由于不能捕捉也不夠了解）就顯得很僵硬。”
“所以說(shuō)，我們看到一些全身追蹤的案例，也不得不選擇Outside-In而不是Inside-Out，這也是我們正在研究的事情之一。”
“之前就媒體泄露過(guò)關(guān)于Quest全身追蹤技術(shù)的事情，我個(gè)人認(rèn)為這為時(shí)尚早。這項(xiàng)技術(shù)背后沒有任何實(shí)質(zhì)性的東西，不過(guò)它仍然是我們投入精力并關(guān)注的重點(diǎn)?！?/p>
作為CTO，Andrew Boswort從攝像頭角度和捕捉技術(shù)兩方面，講清楚了他認(rèn)為無(wú)法使用Inside-Out實(shí)現(xiàn)全身追蹤的原理。隨后，他也站在用戶的角度指出目前實(shí)現(xiàn)VR全身追蹤的不合理之處（或者說(shuō)Quest短期內(nèi)不會(huì)加入全身追蹤的原因）。
首先，額外的成本。
Andrew Boswort談到：“準(zhǔn)確地追蹤用戶的腿是非常困難的，并且僅從物理的角度來(lái)看，使用現(xiàn)有的Inside-Out頭顯基本上是不可行的。不過(guò)，你可以使用Outside-In進(jìn)行身體追蹤——但這需要額外的配件、額外成本還需要花精力配置，這是一筆不小的開銷?！?/p>
其次，糟糕的用戶體驗(yàn)。
他表示，如果用戶看到腿，但它不是很合適，表現(xiàn)很畸形，“這是一種非常糟糕的體驗(yàn)?！?/p>
不過(guò)，他也提出了一些個(gè)人想法（或者說(shuō)Meta的做法）：“你可以沒有腿，但其他人看到你時(shí)，你是有腿的。也就是說(shuō)，假裝有腿，（在虛擬世界里）沒有人知道其中的區(qū)別。這是一個(gè)更好的方向。”
“如果我們?cè)谕炔靠杖毖a(bǔ)上某種東西，讓它看起來(lái)很合理，用戶的感受就會(huì)是，腿就應(yīng)該在這里。”
某種程度上這代表著Meta對(duì)全身追蹤的態(tài)度，即便Inside-Out頭顯無(wú)法實(shí)現(xiàn)全身追蹤、在游戲中可能也不會(huì)專門支持，但有下半身有合理的「腿」，對(duì)交互和用戶社交體驗(yàn)是有所提升的。
簡(jiǎn)單來(lái)說(shuō)，Andrew Boswort認(rèn)為Inside-Out不可能實(shí)現(xiàn)全身追蹤主要考慮到技術(shù)本身、成本和用戶體驗(yàn)三方面問(wèn)題。而這也不僅僅是Meta的「一家之言」。
國(guó)內(nèi)專注于VR交互技術(shù)的廠商N(yùn)OLO告訴93913，“主要是攝像頭FOV的限制，以及即使在FOV內(nèi)，也是視距傳播，不能遮擋。以上限制了通過(guò)Inside-Out的Camera方案，無(wú)法實(shí)現(xiàn)全身追蹤?！?/p>
面向C端的愛奇藝奇遇也表達(dá)了類似的看法：“（不能實(shí)現(xiàn)全身追蹤）因?yàn)閿z像頭沒辦法覆蓋人的腿，人一走路或者一抬頭的時(shí)候，可能看不到腿了。導(dǎo)致攝像頭沒辦法準(zhǔn)確的定位到腿的姿態(tài)，所以不太好實(shí)現(xiàn)。另外，VR設(shè)備呈現(xiàn)越來(lái)越薄的趨勢(shì)，攝像頭其實(shí)離人眼會(huì)更近，這樣的話，能拍到腿的概率就會(huì)更低了，所以這個(gè)技術(shù)會(huì)越來(lái)越難?！?/p>
國(guó)內(nèi)外的相關(guān)技術(shù)廠商看法結(jié)論都比較一致，主要還是由于技術(shù)限制，Inside-Out頭顯實(shí)現(xiàn)全身追蹤的課題暫時(shí)無(wú)法實(shí)現(xiàn)。無(wú)法實(shí)現(xiàn)就誕生了新的問(wèn)題：不能全身追蹤，是否會(huì)限制VR體驗(yàn)的提升？
VR全身追蹤，是「?jìng)涡枨蟆箚幔?/strong>
關(guān)于沒有全身追蹤是否限制VR體驗(yàn)的提升，要從這一問(wèn)題的提出開始討論。
Andrew Boswort最開始也不僅僅是回答具體的某一個(gè)問(wèn)題，而更像是直面社區(qū)內(nèi)比較熱門的討論——為什么Quest社交里虛擬形象都是「下半身失蹤」，直白點(diǎn)說(shuō)，頭顯加入全身追蹤來(lái)源于用戶的需求。從這個(gè)角度看，最初的問(wèn)題應(yīng)該是，現(xiàn)階段VR頭顯有沒有必要配備全身追蹤呢？
▲社區(qū)中關(guān)于全身追蹤的討論
NOLO方面表示全身追蹤「非常有必要」：“在VR社交、健身、協(xié)作等場(chǎng)景中使用全身追蹤技術(shù)，人的肢體動(dòng)作可傳達(dá)的信息更多，更豐富。”
愛奇藝奇遇方面認(rèn)為，這個(gè)問(wèn)題需要分場(chǎng)景看待：“如果是那種體感類的游戲，包括腿部運(yùn)動(dòng)的游戲，以及《Horizon》這種社交類的，那肯定是需要全身追蹤。如果像《Beat Saber》、《樂動(dòng)未來(lái)-音計(jì)劃》這樣的游戲，可能就沒有必要?！?/p>
二者與前文提到Meta的態(tài)度有些相似，作為頭顯開發(fā)商，如果在頭顯中加入某個(gè)功能可以提升用戶體驗(yàn)，它就是值得去挖掘的。
但奮戰(zhàn)在國(guó)內(nèi)一線的游戲開發(fā)者，則持有一些不同的意見。
來(lái)自合金貓互動(dòng)的瞿嘉向93913表示，全身追蹤對(duì)目前主流游戲品類的影響非常有限。他說(shuō)：“全身動(dòng)捕的技術(shù)，可以讓玩家在VR世界中獲得一個(gè)更加真實(shí)可信的Avatar形象。尤其是對(duì)于一些聯(lián)機(jī)或MMO游戲全身動(dòng)捕的效果將讓玩家角色在他人視野中更加真實(shí)可信?！?/p>
“目前大部分游戲中開發(fā)者會(huì)通過(guò)IK反向動(dòng)力學(xué)技術(shù)，讓頭顯和雙手柄構(gòu)建一個(gè)上半身的身體形象。而下半身則通過(guò)動(dòng)畫來(lái)處理，亦或是沒有下半身。對(duì)于大部分游戲來(lái)說(shuō)，這樣的配置是足夠構(gòu)建一個(gè)可信的虛擬角色的。如果沒有這樣的技術(shù)支持，一些需要下半身參與的游戲則無(wú)法構(gòu)建基本游戲玩法，例如：跳舞游戲、足球游戲等方向的嘗試就相對(duì)困難。但就目前主要的熱門游戲來(lái)看，全身動(dòng)捕技術(shù)的使用場(chǎng)景還是很小。”
“如果確實(shí)需要有全身動(dòng)捕的需求，玩家一般會(huì)選擇額外購(gòu)買設(shè)備的方式。比如基于慣性的傳感器，或者類似Kincet一類的額外外設(shè)來(lái)單獨(dú)處理。但是前提是游戲和硬件本身要對(duì)其支持（比如一體機(jī)就無(wú)法接受一些特殊外設(shè)的數(shù)據(jù)）。也可以通過(guò)類似跑步機(jī)這樣的外設(shè)來(lái)對(duì)雙腳情況進(jìn)行感知，從而反算腿部姿態(tài)?！?/p>
▲Xbox Kincet
“算法層的話解決方案也有很多，例如之前有了解過(guò)用AI學(xué)習(xí)的方式來(lái)計(jì)算IK ，通過(guò)大量數(shù)據(jù)計(jì)算人在頭雙手處于各種狀態(tài)下下半身的姿態(tài)來(lái)反算。形成一個(gè)姿勢(shì)庫(kù)來(lái)補(bǔ)充腿部姿勢(shì)?！?/p>
“但總體來(lái)說(shuō)，投入?yún)R報(bào)比不高。除非一些特殊游戲，大部分情況下VR游戲在這階段對(duì)全身的動(dòng)捕的需求度其實(shí)不高?！?/p>
同時(shí)，瞿嘉表示，“作為游戲開發(fā)者，根據(jù)以往的經(jīng)驗(yàn)說(shuō)來(lái)說(shuō)，（沒有全身追蹤）負(fù)面影響相對(duì)較小。我們認(rèn)為目前階段普通玩家其實(shí)并不會(huì)特別在乎全身動(dòng)作的效果?！?/p>
“其主要原因在于，一，玩家大部分的自身視野是在手臂和胸口附近。幾乎沒有太多機(jī)會(huì)看到腿部。二，需要腳來(lái)交互的游戲類型幾乎沒有，并且如果游戲采用搖桿移動(dòng)的方式，動(dòng)捕的加入反而會(huì)讓玩家角色看起來(lái)非常奇怪。腳的動(dòng)捕并沒有動(dòng)，但是玩家卻會(huì)高速移動(dòng)。三，如果引入一個(gè)額外的交互設(shè)備，勢(shì)必增加玩家的硬件成本。注定讓這部分的玩家處于一個(gè)小眾狀態(tài)，那么游戲開發(fā)者更不太容易做出這樣服務(wù)小眾玩家的主要玩法。因?yàn)榇蟛糠煮w驗(yàn)會(huì)是錦上添花的存在?！?/p>
▲博主DIY的身體追蹤
也就是說(shuō)，如果一些游戲要加入全身追蹤，不僅沒有太大的市場(chǎng)需求，而且無(wú)論對(duì)于用戶還是開發(fā)者來(lái)說(shuō)，都是一筆額外的成本，這一點(diǎn)與Meta所提到的成本問(wèn)題思路一致。
經(jīng)過(guò)一些了解和采訪，可以明顯感覺到，無(wú)論硬件廠商、游戲開發(fā)者甚至是論壇上的用戶，對(duì)VR全身追蹤這件事情態(tài)度比較游離，屬于「有也行、沒有也罷」的狀態(tài)。更深一層，從技術(shù)的角度看，目前要在VR一體機(jī)上加入全身追蹤的能力，不僅會(huì)增加整體重量，還會(huì)帶來(lái)額外的成本，與我們追求的輕薄、價(jià)廉相悖。
由此可以看出，正如Andrew Boswort所言，Inside-Out頭顯可能無(wú)法實(shí)現(xiàn)全身追蹤，甚至可以說(shuō)目前還沒有必要實(shí)現(xiàn)全身追蹤。
VR交互，先從做好「把玩感」開始
無(wú)論是用戶對(duì)全身追蹤的需求，還是對(duì)手勢(shì)識(shí)別的討論，最后落腳點(diǎn)都在于如何完善VR交互上。
瞿嘉在討論時(shí)，從游戲開發(fā)者的視角提出了一個(gè)關(guān)鍵問(wèn)題：怎么把手的交互做好？
他說(shuō)：“「把玩感」是VR中一個(gè)非常重要的體驗(yàn)，雙手IK的鏈接、分量感的體驗(yàn)、觸覺力反饋及壓成本等等，這才是重點(diǎn)?！?/p>
愛奇藝奇遇方面表示：“交互這一塊基本上就是手勢(shì)識(shí)別、眼動(dòng)、腦機(jī)接口、語(yǔ)音控制，以及表情識(shí)別等等?！?/p>
雙方看似舉例的內(nèi)容不同，但是核心思想是一樣的，即在現(xiàn)有的基礎(chǔ)上把交互做到相對(duì)完美，再去考慮加入更多部分的體驗(yàn)。就像瞿嘉所說(shuō)：“我覺得對(duì)游戲來(lái)說(shuō)，在統(tǒng)一交互模式的基礎(chǔ)上先能把品類都發(fā)展開來(lái)，然后解決完美的手和視覺體驗(yàn)，再下一個(gè)階段才會(huì)輪到腳?！?/p>