Meta如今對Quest頭顯的“頭顯攝像頭”權(quán)限進(jìn)行了詳細(xì)描述，這一跡象表明Passthrough API即將正式推出。早在2024年9月的Connect大會(huì)上，Meta就已宣布Passthrough API，彼時(shí)宣稱該API將“為各類前沿的MR體驗(yàn)提供支持”。

僅僅五個(gè)多月之后，Meta相關(guān)說明頁面便已上線，對一項(xiàng)全新的“頭顯攝像頭” 權(quán)限進(jìn)行了闡釋，該權(quán)限 “支持應(yīng)用程序從頭顯正面獲取實(shí)時(shí)直通攝像頭信息”。此頁面最先由VR愛好者Luna發(fā)現(xiàn)，并且展示了Quest應(yīng)用基于透視視圖的三個(gè)示例：

物體識別：開發(fā)人員能夠開發(fā)出可識別并運(yùn)用用戶真實(shí)環(huán)境中特定物體的應(yīng)用程序。比如，包含實(shí)體游戲棋子或棋盤的數(shù)字棋盤游戲。

位置識別：開發(fā)人員可以打造出依據(jù)攝像頭源所顯示的用戶位置做出不同反應(yīng)的體驗(yàn)。例如，在室內(nèi)或室外、著名地標(biāo)處，亦或是特定類型的房間內(nèi)。

其他機(jī)器學(xué)習(xí)功能：開發(fā)人員有能力針對實(shí)時(shí)攝像頭源中的數(shù)據(jù)運(yùn)行自定義機(jī)器學(xué)習(xí)模型。這可應(yīng)用于重新紋理/著色、涉及未佩戴頭顯參與者的游戲、人/動(dòng)物檢測，或者眾多自定義工業(yè)/培訓(xùn)場景。

此外，谷歌在上個(gè)月證實(shí)，即將在三星獨(dú)立頭戴設(shè)備中亮相的Android XR操作系統(tǒng)，將支持應(yīng)用程序在發(fā)布時(shí)訪問直通攝像頭視圖。

Meta首席技術(shù)官博斯沃思表示，Quest開發(fā)者的相機(jī)訪問權(quán)限仍計(jì)劃在2025年初推出，并將“釋放混合現(xiàn)實(shí)領(lǐng)域的大量功能”。

博斯沃思最近在Instagram上的一次AMA活動(dòng)中被問及Connect 2024宣布的Passthrough API是否會(huì)按計(jì)劃在2025年初發(fā)布，博斯沃思回答道：

“是的，我們對此感到非常興奮。我們讓一些早期開發(fā)者試用了該功能。我們注意到，在這方面的聲明已經(jīng)促使一些競爭對手重新評估對同一事物的立場，我認(rèn)為這也是一種進(jìn)步。我認(rèn)為我們將利用此功能在混合現(xiàn)實(shí)中解鎖很多能力?！?/p>

目前，第三方混合現(xiàn)實(shí)應(yīng)用只能訪問有關(guān)環(huán)境的抽象數(shù)據(jù)，這包括房間的3D網(wǎng)格和代表單個(gè)家具的boxes。

Passthrough API使得混合現(xiàn)實(shí)應(yīng)用能夠訪問透視攝像頭源，這將使應(yīng)用可以更好感知、分析和響應(yīng)其環(huán)境和單個(gè)對象，這是實(shí)現(xiàn)高級混合現(xiàn)實(shí)的關(guān)鍵因素。

對此，Meta的Mark Rabkin在去年發(fā)布會(huì)上表示：“這將實(shí)現(xiàn)各種尖端的MR體驗(yàn)。你將獲得追蹤對象、AI應(yīng)用、精美疊加、場景理解等等。”

至于相機(jī)訪問權(quán)限，時(shí)至最近Meta一直持保守立場，擔(dān)心公眾因?yàn)橄鄼C(jī)隱私問題而強(qiáng)烈反對。而蘋果雖然允許訪問Vision Pro直通攝像頭，但僅限于非公開的內(nèi)部應(yīng)用。

“我們將于明年初推出一個(gè)攝像頭直通透傳API。”

Meta 在Connect 2024上發(fā)布的公告中透露，將于明年通過新API使開發(fā)者能訪問Quest頭顯的直通透傳攝像頭。

“這將實(shí)現(xiàn)各種尖端的MR體驗(yàn)，你可以構(gòu)建追蹤對象、AI應(yīng)用、精美疊加、場景理解等等?！?/p>

Meta Quest 3和Apple Vision Pro等混合現(xiàn)實(shí)頭顯使用攝像頭使用戶看到現(xiàn)實(shí)世界，但目前只有系統(tǒng)和某些第一方應(yīng)用才能真正獲得對攝像頭的原始訪問權(quán)限。盡管第三方開發(fā)者可以使用攝像頭透視作為背景，但他們的應(yīng)用實(shí)際上看不到這種透視。相反，開發(fā)者想要獲得更高級的數(shù)據(jù)，例如手部和身體骨骼坐標(biāo)、帶有家具邊界框的環(huán)境3D網(wǎng)格以及有限的對象跟蹤功能。然而由于無法運(yùn)行專屬計(jì)算機(jī)視覺模型，從而嚴(yán)重限制了頭顯的增強(qiáng)功能。

通過visionOS 2，蘋果現(xiàn)在可以向企業(yè)及公司提供Vision Pro直通透傳攝像頭的原始訪問權(quán)限，以供非公開的內(nèi)部應(yīng)用使用，但這需要蘋果的特殊許可，并且僅限于“在商業(yè)環(huán)境中”。

Meta尚未表示是否會(huì)對Passthrough API有任何限制，我們將密切關(guān)注該公司有關(guān)這一激動(dòng)人心的即將推出功能的更多細(xì)節(jié)，這可能會(huì)為Quest頭顯解鎖全新的用例。

據(jù)UploadVR報(bào)道，由比利時(shí)獨(dú)立開發(fā)者Thomas Van Bouwel開發(fā)的VR益智游戲「Cubism」將于明年1月推出Quest 2版本直通模式更新。

「Cubism」是今年8月首批嘗試直通模式（Passthrough API）的VR游戲之一，但彼時(shí)OpenXR未解決手部追蹤漏洞且不支持直通模式，不過，這一問題將會(huì)隨著全新更新迎刃而解。

值得一提的是，大多數(shù)實(shí)現(xiàn)直通模式的游戲都不會(huì)在游戲環(huán)境中顯示玩家手部，例如「Blaston」，玩家手部在游戲里則以虛擬手的形式呈現(xiàn)。不過，「Cubism」卻支持玩家手部在直通模式下真實(shí)且自然出現(xiàn)，這使得游戲沉浸感陡然提升。

這要?dú)w功于Quest 2攝像頭的視圖成像機(jī)制（同樣這也是其他游戲以黑色圓圈作為游戲手部顯示替代解決方案的部分原因），Thomas Van Bouwel在Reddit評論，「Cubism」基于直通模式使玩家能夠親手在虛擬游戲環(huán)境中拼圖，該體驗(yàn)將極大區(qū)別于同類游戲。

據(jù)UploadVR報(bào)道，近日，美國在線教育平臺(tái) Kinoo首席交互開發(fā)工程師Bob Berkebile發(fā)布了MR應(yīng)用「RoomMapper」，Unity開發(fā)者可將該應(yīng)用與Oculus Quest 2搭配，以作為VR/AR開發(fā)工具包使用。

盡管Berkebile認(rèn)為Facebook可能會(huì)隨著Passthrough技術(shù)的進(jìn)步而淘汰該解決方案，但「RoomMapper」在現(xiàn)階段可以幫助Quest 2用戶基于物理環(huán)境探索更多空間。

此前，Berkebile分享了其通過Quest 2直通模式設(shè)置房間映射的解決方案，并進(jìn)行了陰影捕捉和物理交互實(shí)驗(yàn)，為達(dá)到逼真實(shí)驗(yàn)效果，他采用物理墻遮擋機(jī)制進(jìn)行了一場令人毛骨悚然的游戲測試?，F(xiàn)在Berkebile又分享了一個(gè)演示視頻，并概述了地圖系統(tǒng)的工作原理。

“我注意到目前Quest 2 Passthrough功能相對簡單，Oculus以謹(jǐn)慎態(tài)度研究這項(xiàng)實(shí)驗(yàn)性功能我很贊賞，但我希望通過基于物理環(huán)境的「RoomMapper」MR解決方案來提升用戶體驗(yàn)，該解決方案提供了可靠的用戶體驗(yàn)流程，以引導(dǎo)用戶完成必要的步驟來測量、繪制和校準(zhǔn)房間模型，這使得用戶將能在物理環(huán)境中進(jìn)行MR功能探索?！?/p>

值得一提的是，F(xiàn)acebook將于10月28日發(fā)布最新VR/AR技術(shù)，扎克伯格將發(fā)表相關(guān)主題演講，屆時(shí)我們或許能獲知Passthrough功能的相關(guān)信息。

據(jù)外媒UploadVR報(bào)道，本月早些時(shí)候，F(xiàn)acebook允許Quest2開發(fā)者啟用實(shí)驗(yàn)性Passthrough API，但迄今為止直通功能僅適用于Quest的Guardian系統(tǒng)，盡管開發(fā)商還不能在Quest store推出基于該API的應(yīng)用，但我們已經(jīng)看到了Mark Schramm在Reddit上發(fā)布了「重力實(shí)驗(yàn)室」（Gravity Lab）Passthrough API游戲demo。

「重力實(shí)驗(yàn)室」AR demo的發(fā)布意味著這款趣味物理VR游戲進(jìn)入AR領(lǐng)域，AR demo的游戲原理與VR版本類似，游戲玩法設(shè)定簡單，玩家須采用手柄以及游戲中提供的各種高科技設(shè)備，為球體的滾動(dòng)軌跡進(jìn)行“搭橋鋪路”，從而使球體沿著所規(guī)劃的運(yùn)動(dòng)軌跡滾落到至目標(biāo)位置，唯一區(qū)別在于AR版本可在現(xiàn)實(shí)世界呈現(xiàn)。

顯而易見，「重力實(shí)驗(yàn)室」AR demo是對Quest2實(shí)驗(yàn)性Passthrough API的早期探索，盡管直通功能受到黑白捕獲的限制，但該demo仍不失為一款進(jìn)取性Passthrough API游戲演示，目前還沒有任何跡象表明「重力實(shí)驗(yàn)室」AR版本會(huì)正式推出。

值得一提的是，「重力實(shí)驗(yàn)室」VR版本即將迎來5周年，并將于本周發(fā)布包括增加時(shí)間旅行機(jī)制在內(nèi)的重大更新。