美國專利商標局正式批準了蘋果一項與手部追蹤技術緊密相關的專利，該專利聚焦于時空平滑的系統(tǒng)、方法以及設備，旨在大幅提升手部追蹤的精準度與穩(wěn)定性。
在蘋果專利背景闡述中提到，在多樣化的應用場景里，擴展現(xiàn)實（XR）環(huán)境通常由頭戴式設備（HMD）來展現(xiàn)。這種設備配備了場景攝像頭，能夠捕捉用戶所處物理環(huán)境（即場景）的圖像信息，同時還設有顯示器，用于向用戶展示各類圖像。在部分情形下，所捕捉到的圖像或者其特定部分，能夠與一個或多個虛擬對象進行融合，從而為用戶打造出沉浸式的XR體驗。
而在另外一些情況下，HMD也能夠以直通模式運作，在該模式下，圖像或者圖像的一部分無需添加虛擬對象，便可直接呈現(xiàn)給用戶。從理想狀態(tài)來說，呈現(xiàn)在用戶眼前的物理環(huán)境圖像，應當與用戶不佩戴HMD時所看到的景象基本一致。然而，由于眼睛、顯示器以及攝像頭在空間位置上存在差異，實際情況往往難以達到這一理想狀態(tài)，進而導致用戶在距離感知上出現(xiàn)偏差，容易產生定向障礙，手眼協(xié)調能力也會受到影響。
從整體來看，該專利所涵蓋的方法主要包括以下幾個關鍵步驟：首先獲取未經校正的手部追蹤數(shù)據(jù)；接著獲取與物理環(huán)境相關的深度圖；基于深度圖以及未校正的手部追蹤數(shù)據(jù)，精準識別物理環(huán)境中手指部分的位置；針對深度圖里與手指部分位置相鄰的區(qū)域，執(zhí)行空間深度平滑操作；最后，通過依據(jù)深度圖中與手指部分相鄰的空間深度平滑區(qū)域，對未校正的手部追蹤數(shù)據(jù)進行視點（POV）校正，從而生成經過校正的手部追蹤數(shù)據(jù)。
蘋果方面進一步指出，在配備顯示器和場景攝像機的HMD設備中，鑒于眼睛、顯示器以及攝像機的空間位置各不相同，顯示器上向用戶呈現(xiàn)的物理環(huán)境圖像，并非總能如實反映出用戶不佩戴 HMD 時所看到的真實景象。在諸多情形下，這種差異會致使用戶在距離感知上出現(xiàn)問題，容易迷失方向，在手眼協(xié)調方面也會表現(xiàn)欠佳，尤其是在與物理環(huán)境進行交互時，這些問題會更為明顯。
所以，在眾多實際應用中，來自場景攝像機的圖像需要進行變換處理（例如視點（POV）校正），從而讓這些圖像看起來就像是在用戶眼睛的位置所捕獲的。在這個過程中，深度圖發(fā)揮著重要作用，它能夠表示圖像的每個像素從攝像機到該像素所代表對象之間的距離。在部分應用場景中，來自場景攝像機的圖像只需進行部分變換（例如部分POV校正），就能使其看起來像是在比場景攝像機位置更靠近用戶眼睛的位置所捕獲的。
索尼在SIGGRAPH Asia 2024上展示了PS VR2免手柄手部追蹤技術。
該功能描述為“可通過PS5最新SDK獲得”，這表明開發(fā)者已可將其集成到游戲之中。
不僅如此，該功能還支持60 FPS追蹤率，索尼聲稱該系統(tǒng)“流暢顯示手部”，并且“延遲低”。
無需手柄的手勢追蹤是Meta Quest、PICO和HTC Vive頭顯的標準功能，為界面交互、社交體驗和休閑游戲提供了除手柄之外的另一種選擇。PS VR2推出的這項功能可能會導致支持 Quest手勢追蹤的游戲（例如「Unplugged」）發(fā)布更新以支持該功能，還可能吸引開發(fā)者移植尚未推出的專注于手勢追蹤的PS VR2游戲，例如「Maestro」。
不過，如此重要的PS VR2功能卻沒有正式宣布，只是在SIGGRAPH Asia 2024展臺上做了一些描述，這似乎有點奇怪。
兩周前，索尼將PS VR2的價格降至350美元（捆綁「Horizon Call of the Mountain」），如果VR開發(fā)者集成手勢追蹤功能，新一波買家將能獲得在購買時甚至不知道會擁有的體驗。
Incision發(fā)布了適用于Meta Quest 3和3S的「Heartbeat」，這是一款首創(chuàng)的醫(yī)療VR應用，基于手勢追蹤來教授心肺復蘇術、聽診、解剖學等原理。穿上白大褂，扮演格雷醫(yī)生，踏上一段穿越人體的旅程——“從心臟的律動到大腦的復雜性”。
了解心肺復蘇術背后的科學原理，觀察心臟和肺部在進行胸外按壓時如何響應，并實時可視化血液流向大腦。不知道從哪里開始？別擔心，古怪而博學的西蒙斯博士會為你提供幫助。
進行與醫(yī)生類似的臨床檢查；用聽診器仔細聆聽心臟和肺部的聲音，使用筆式電筒和膝跳反射檢查評估患者的神經功能，然后見證神經系統(tǒng)非凡的反射通路開始發(fā)揮作用！
在混合現(xiàn)實模式下深入了解解剖學！你可以與幾乎所有東西互動——從器官到骨骼和肌肉。抓住并放大器官以近距離檢查其細節(jié)，然后觀察其內部結構并揭示每個器官在體內是如何相互連接的。
在我們完整評測準備好之前，我們想分享一下迄今為止注意到的Meta Quest 3和Quest 3S之間的一個顯著差異，這個差異在光線充足的環(huán)境下進行受控動手操作時并不明顯：雖然Quest 3S是一款價格較平價的頭顯，鏡頭和顯示屏較差，但與Quest 3相比，它實際上具有出色的低光頭部和手部追蹤功能。
我首先在完全黑暗的環(huán)境中進行了測試，發(fā)現(xiàn)Quest 3和Quest 2根本無法追蹤我的頭部或手部。兩款頭顯都顯示一條消息，告訴我無法初始化追蹤，并建議禁用追蹤。另一方面，只要我靠近墻壁或其他幾何體，Quest 3S就會繼續(xù)追蹤我的頭部和手部，盡管會有一些輕微的抖動。
在弱光下，而不是完全黑暗的情況下，差異更微妙但仍然很明顯；手部追蹤質量明顯更佳。玩家通常在晚上玩游戲，有些人可能會在角落里開著一盞小燈的大房間里使用頭顯，而其他人可能會依靠于窗戶在月光下體驗。
在這些條件下，Quest 3S的手部追蹤初始化速度更快，能夠更好處理快速動作而不會丟失軌跡，并且產生誤報幀（你的手，角度錯誤或手指位置錯誤）的次數(shù)也少得多。
由于Quest 3和Quest 3S的不同工作方式，這也對手柄追蹤產生了微妙的影響。Quest 3S使用與Quest 3完全相同的Touch Plus手柄，其下方有一組紅外LED，它們與頭顯追蹤攝像頭的曝光同步脈動，而手柄追蹤的這一功能即使在完全黑暗的環(huán)境中也能工作。但與Quest 2不同的是，Quest 3和Quest 3S還會持續(xù)運行手部追蹤，當紅外LED被遮擋時，它們會暫時根據(jù)玩家手部位置推斷出手柄的位置。因此，在極少數(shù)情況下，即在弱光條件下紅外LED被遮擋時，Quest 3S實際上也具有更好的手柄追蹤效果。但同樣，這只是極少數(shù)情況。
Quest 3S之所以比所有之前的Quest頭顯具有更好的低光追蹤功能，并且即使在黑暗中也能進行追蹤，原因它正面具有紅外照明器。
Quest 3S有兩個紅外照明器，位于頭顯正面的透視攝像頭和追蹤攝像頭旁，它們充當紅外泛光燈，以追蹤攝像頭（可看到紅外線）清晰看到用戶手和其他附近物體。
用戶甚至可以親眼看到Quest 3S的紅外照明器的運行，呈現(xiàn)為兩個紅色的光點。
但這絕不是Meta發(fā)明的技術，Leap Motion（現(xiàn)為Ultraleap）十年來一直使用紅外照明器進行VR手部跟蹤，Apple Vision Pro的正面也有兩個紅外照明器。
更昂貴的Quest 3沒有紅外照明器，它的中央欄有一個紅外深度投影儀（有時稱為結構光掃描儀）。但這似乎只在混合現(xiàn)實場景網格掃描期間使用，以區(qū)分沒有太多紋理的簡樸房間幾何形狀。該投影儀似乎不會在弱光下激活或者如果激活，顯然不如Quest 3S中更簡單的紅外照明器那么亮或有效。
不過Quest 3用戶也不必擔心，可以在房間中添加外部紅外照明器，以改善Quest 3、Quest 2或任何其他采用由內而外計算機視覺追蹤頭顯的低光追蹤，正如一些VR愛好者多年來一直所優(yōu)化的方案。
「Dimensional Double Shift」是一款僅使用手部追蹤的新型合作派對游戲，本周在Meta Quest上推出了免費公測版。
繼「職業(yè)模擬器」、「度假模擬器」和「宇宙高中」之后，「Dimensional Double Shift」是Owlchemy Labs推出的最新VR游戲。在游戲中玩家將駕駛Gas N’ Grill加油站穿越Omniverse，與最多三位好友一起參與團體活動，為市民提供服務，例如烹飪食物或修理汽車。
「Dimensional Double Shift」公測版包括第一個維度Treeatle，完整版游戲發(fā)布后，該維度將免費供玩家使用。其他維度將在“稍后”推出，Owlchemy 確認，在搶先體驗期間還將推出其他功能。
“我們一直都知道VR本質上是一個社交平臺。單人游戲非常棒，我們開發(fā)了很多，我非常喜歡這些游戲。同時，我認為VR多人模式效果非常好。”
Owlchemy對手部追蹤并不陌生，其在「職業(yè)模擬器」和「度假模擬器」上都進行了相應更新。Owlchemy曾稱無需手柄操控的Apple Vision Pro是對其專注手部追蹤的“最大證明”?！窪imensional Double Shift」使用了去年Owlchemy技術演示中出現(xiàn)的手部追蹤系統(tǒng)的改進版本，旨在實現(xiàn)更“自然抓取和拾取”物品的方式。
「VRChat」PC公測版現(xiàn)已通過SteamVR骨骼輸入系統(tǒng)原生支持手部追蹤。
盡管Quest Store「VRChat」App自2022年底起就支持手勢追蹤。但是，體驗「VRChat」的最佳方式是通過游戲PC，由此玩家可以看到大多數(shù)虛擬化身和空間的更高質量版本，并可以體驗PC版本獨有的虛擬世界，而這些遠遠超出了手機版本的質量。
基于「VRChat」最新公開測試版，用戶現(xiàn)在也可以在PC上使用手部追蹤功能，這包括最初為Quest設計的手指手勢控制系統(tǒng)。
以往，要實現(xiàn)PC手勢模擬，需通過在PC上模擬Valve Index手柄，但這無法實現(xiàn)完整的手指關節(jié)活動。
由于「VRChat」尚未兼容OpenXR，因此要在PC上使用手部追蹤功能，用戶需要支持將手部追蹤轉發(fā)到SteamVR骨骼輸入的軟件。
如果你擁有Meta Quest頭顯，則可以使用「Virtual Desktop」最新測試版執(zhí)行此操作；如果你擁有Vision Pro，則可以使用「ALVR」工具；或者是任何原生PC VR頭顯，你都可以使用Leap Motion 2插件的開源SteamVR驅動程序以實現(xiàn)手部追蹤。
但需要注意的是：「Virtual Desktop」的開發(fā)者Guy Godin表示「Virtual Desktop」目前對PC手部追蹤的支持還處于實驗性的測試階段，仍在開發(fā)中，工具還不夠穩(wěn)定，無法滿足一般用途需求。
毫無疑問，PC版「VRChat」支持手勢追蹤，其體驗性將顯著提升，甚至擴大了手語手勢的范圍。結合VRChat平臺對眼動追蹤、面部追蹤和身體追蹤的支持，「VRChat」現(xiàn)在可以提供比幾乎任何其他廣泛使用的技術更深層次的社交臨場感。
Ultraleap是一家手部追蹤和空中觸感XR技術供應商，本周發(fā)布了Ultraleap Hyperion，這是該公司手部追蹤軟件Gemini的最新迭代。
Ultraleap Hyperion是一個靈活的平臺，使用戶能更好控制手部追蹤交互，從而調整不同的參數(shù)并在模型之間切換以適應應用。Ultraleap表示，該平臺“展示了手部追蹤的性能、功能和靈活性方面的重大變化”。據(jù)該公司稱，與市場上其他“一刀切”的追蹤解決方案不同，Ultraleap Hyperion提供了多種追蹤模型和模式的組合，以提供可靠、靈活的解決方案，從而滿足獨特的業(yè)務需求。
Ultraleap Hyperion的主要功能包括：
微手勢交互：Hyperion可追蹤精確到毫米的小手指運動，從而輕松實現(xiàn)微妙的手勢。
穩(wěn)健性物體追蹤：當用戶手中拿著物理物體或道具時，Hyperion可執(zhí)行穩(wěn)健的手部追蹤性，這非常適合混合現(xiàn)實應用。
物體追蹤：Hyperion支持該公司Leap Motion Controller 2相機追蹤AR標記（也稱為基準標記），從而追蹤任何物體。
性能切換：Hyperion增加了新模式，包括低功耗模式和高性能模式，低功耗模式可在降低功耗的情況下運行手部追蹤功能，而高性能模式可在計算機處理不受限制的情況下，以低延遲提供準確的手指映射。
擴展追蹤功能：Hyperion可直接訪問Leap Motion Controller 2立體紅外相機硬件，將其用途擴展到其他計算機視覺任務，例如深度感測、3D掃描和物體追蹤。
Ultraleap指出，Hyperion在設計時考慮了頭顯制造商和應用開發(fā)商的需求，其附加功能可以直接在平臺內選擇實現(xiàn)，無需計算機視覺專家或軟件工程師。
該公司補充，其Leap Motion Controller 2現(xiàn)在還捆綁了商業(yè)許可證，可以自動訪問Hyperion 的功能及使用以開發(fā)、采用和銷售新應用。
此外，Ultraleap表示，通過Hyperion，可針對其他特定用例進一步訓練手部追蹤模型，以適應其他特定用例和定制模型，從而加快客戶的上市速度。
一款將經典臺球游戲融入VR的創(chuàng)造性早期概念游戲現(xiàn)已出現(xiàn)在Quest App Lab。
我們通常不會在開發(fā)的早期報道游戲，但開發(fā)者Hayden Jackson對臺球的空間適應性引起了我們的注意。這款游戲目前名為「3D Pool」，將「ForeVR Pool」等游戲中常見的球桿替換為帶有手部追蹤功能的彈弓機制，以零重力代替重力。
Jackson表示，他“首先思考了VR正在重新構想的多種游戲形式，從而提出了這個想法。然后進一步考慮了Wii在后期的成功，最后考慮了哪些簡單的動詞可以基于手部追蹤執(zhí)行以及如何在游戲中發(fā)揮作用?！?/p>
Jackson希望通過App Lab尋找200多名alpha測試人員，以便根據(jù)玩家反饋不斷測試迭代游戲內容。
該設計可以很好移植到其他依賴手部追蹤作為默認輸入系統(tǒng)的頭顯，包括Apple Vision Pro，我們詢問Jackson在開發(fā)時是否考慮到了這一點。
“總體來說，蘋果采用手部追蹤理念對計算行業(yè)的影響是深遠的，以至于Vision Pro發(fā)布之前，我就預計Vision Pro的輸入可能就包括手部追蹤，從Meta Quest系列增加手部追蹤功能以來，我就花了很多精力以了解如何將該功能應用于游戲。不過，我認為手柄輸入的精度和觸感是支持VR和空間計算廣泛體驗同等重要的方法?！?/p>
我們將密切關注該項目的進展情況，據(jù)悉這款游戲最新版本增加了手柄跟蹤、直通模式支持和多人模式。