
在混合現(xiàn)實(MR)技術領域,設備對物理環(huán)境的感知與建模能力是決定用戶體驗的關鍵因素之一。Lasertag開發(fā)團隊在Meta Quest 3和Quest 3S設備上實現(xiàn)了一項重大技術創(chuàng)新—— 連續(xù)場景網格化。這一技術革新徹底省去了傳統(tǒng)的房間設置流程,有效規(guī)避了由此衍生的一系列問題,為用戶帶來更加流暢、便捷的混合現(xiàn)實體驗。?
Quest 3和Quest 3S配備的先進傳感器,能夠對房間進行掃描,進而生成3D場景網格。這一3D場景網格為混合現(xiàn)實應用提供了基礎支撐,使得虛擬對象能夠與物理幾何體進行自然交互,甚至允許用戶對環(huán)境進行重新設計。然而,Meta當前采用的場景網格系統(tǒng)存在兩大顯著弊端。?
首要問題在于,用戶必須先進行環(huán)境掃描。掃描所需時間因房屋大小和形狀而異,短則約20秒,長則需花費數分鐘。在此過程中,用戶不僅需要保持靜止查看,有時甚至要在房間內來回走動,這種繁瑣的操作流程極大地降低了用戶使用混合現(xiàn)實應用的便捷性,遠不及直接打開應用程序那般簡單直接。?
另一個不容忽視的問題是,場景網格掃描所生成的結果僅僅反映了掃描那一刻的環(huán)境狀態(tài)。一旦完成掃描后,房間內的家具發(fā)生移動,或者有物品被添加、移除,這些變化都無法自動同步到混合現(xiàn)實場景中,除非用戶手動進行掃描更新。舉例來說,如果在掃描時有其他人與你一同處于房間內,他們的身形會被固定在場景網格之中,后續(xù)即便此人離開,混合現(xiàn)實場景中仍會保留其虛擬身形。?
值得一提的是,Quest 3和Quest 3S還為應用程序提供了另一種獲取物理環(huán)境3D結構信息的途徑——深度 API。深度API通過比較頭顯前置兩個追蹤攝像頭的視差,生成實時的第一人稱深度幀。該技術的有效工作距離最遠可達5米,在混合現(xiàn)實應用中,常被用于實現(xiàn)動態(tài)遮擋效果,通過深度幀數據,應用程序能夠精準判斷虛擬對象是否會被物理幾何體遮擋。?
Julian Triveri 開發(fā)的同地多人混合現(xiàn)實Quest 3游戲「Lasertag」便是深度API應用的典型案例。在這款游戲中,深度API不僅用于實現(xiàn)動態(tài)遮擋,其公開版本還借助該技術判斷每一幀中激光是與真實幾何體發(fā)生碰撞,還是擊中對手。Triveri之所以沒有采用Meta的場景網格,是因為他希望避免增加游戲設置過程中的繁瑣步驟,同時突破網格內容固定的限制。?
而「Lasertag」的測試版更是展現(xiàn)出了強大的技術潛力。在Beta版本中,Triveri利用深度幀數據,在GPU上逐步構建出能夠代表物理環(huán)境的3D體積紋理。這一技術實現(xiàn)了即使無需任何初始設置,游戲也能模擬激光與未在當前視野內,但此前已掃描過的真實世界幾何體的碰撞效果。在內部版本中,Triveri還借助Unity開源的移動立方體算法,將3D體積紋理轉換為網格。?
在早期的開發(fā)過程中,Triveri甚至嘗試過聯(lián)網高度圖技術。在相關測試中,同一游戲會話中的每個頭顯都會將自身基于深度幀連續(xù)構建的高度圖共享給其他頭顯,如此一來,每個頭顯都能獲取所有掃描結果的匯總信息。不過,目前該功能尚未開放,且依賴于Triveri暫不打算推廣的舊有底層技術,但這無疑是一次極具價值的探索,為未來多人混合現(xiàn)實系統(tǒng)的發(fā)展提供了新思路。?
那么,為何Meta沒有選擇連續(xù)網格化技術,而是繼續(xù)沿用現(xiàn)有的房間掃描系統(tǒng)呢?在Apple Vision Pro和PICO 4 Ultra等設備上,場景網格已實現(xiàn)了持續(xù)自動掃描與更新,無需用戶進行特定的房間設置。這得益于它們配備的硬件級深度傳感器,能夠高效獲取深度信息。反觀 Quest 3和Quest 3S,其深度信息的獲取依賴于計算成本較高的計算機視覺算法(Quest 3還借助了投射紅外圖案技術)。使用深度API會大量消耗CPU、GPU資源,同時顯著縮短電池續(xù)航時間,這也是許多Quest混合現(xiàn)實應用至今未能實現(xiàn)動態(tài)遮擋功能的重要原因。而利用深度幀構建網格,所需的計算資源和能耗更是成倍增加。?
從本質上講,「Lasertag」通過犧牲一定的性能和電池續(xù)航能力,換來了無需設置即可持續(xù)感知場景的優(yōu)勢,這也正是Quest 3和3S官方場景網格系統(tǒng)未采用該技術的核心原因。今年1月,Meta曾表示計劃讓場景網格實現(xiàn)自動更新以反映環(huán)境變化,但從其表述來看,仍需進行初始設置作為基礎。?
目前,「Lasertag」在Meta Horizon平臺上對Quest頭顯用戶免費開放。正式商店版本使用實時深度幀處理激光碰撞,而預發(fā)布測試版則如前文所述,能夠隨著時間推移構建3D體積,為用戶帶來更為豐富和真實的混合現(xiàn)實游戲體驗。








