一位開發(fā)者找到了一種巧妙的方法來訪問Quest 3的直通透傳攝像頭，以運行自定義計算機視覺模型。

Meta不允許第三方開發(fā)者訪問Quest頭顯的攝像頭，但手部追蹤健身應用「XRWorkout」的聯(lián)合創(chuàng)始人兼首席開發(fā)者Michael Gschwandtner在社交媒體平臺上發(fā)布了一段視頻，展示了一種解決此限制的方案。

演示視頻展示了開源 MobileNet V2對象檢測模型在Quest 3上以0.75 Hz的頻率原生運行，選擇這個頻率是出于實用性考慮，而不是出于性能原因。

Gschwandtner的應用程序構(gòu)建創(chuàng)建了一個webview，即嵌入在應用程序中的Chromium網(wǎng)絡瀏覽器實例，它會自動加載Quest頭顯以將其視圖投射到的oculus.com/casting URL。

隨后，你需要在此WebView中完成登錄Meta賬號的完整過程。完成后，你可以通過Quest 系統(tǒng)菜單啟動網(wǎng)絡直播。

然后，Gschwandtner應用對接收投射視圖的WebView的像素內(nèi)容（RenderTexture）進行采樣，便能對其進行操作了。這里的一個關(guān)鍵限制是視圖將包括虛擬對象和界面，而不僅僅是透視相機視圖，這意味著它只有在大部分圖像都是透視時才會起作用。但Gschwandtner聲稱他有一個“計劃”來解決這個問題。

目前還不清楚Meta將如何回應Gschwandtner的發(fā)現(xiàn)。Meta可能會在未來版本的Quest Horizon OS中禁用這項技術(shù)，Gschwandtner在社交媒體上發(fā)帖公開請求與Meta首席執(zhí)行官扎克伯格或首席技術(shù)官博斯沃思“通話”，以向他們“展示”這項技術(shù)。

上個月，博斯沃思在一次采訪中表達了對有意讓Quest開發(fā)者訪問直通透傳相攝像頭的看法，并表示Meta將“繼續(xù)關(guān)注”這個問題。

相比之下，Apple Vision Pro僅向企業(yè)提供原始訪問權(quán)限，并且僅適用于非公開的內(nèi)部應用。

Meta首席技術(shù)官博斯沃思表達了他對Quest開發(fā)者采用直通透傳攝像頭的看法。

雖然Meta Quest 3和Apple Vision Pro等頭顯基于攝像頭使你看到現(xiàn)實世界，但只有系統(tǒng)和某些第一方應用才能真正獲得對攝像頭的原始訪問權(quán)限。第三方開發(fā)者可以基于攝像頭透視作為背景，但其應用實際上看不到這種透視效果；相反，可獲得更高級的數(shù)據(jù)，例如手和身體骨骼坐標、帶有家具邊界框的環(huán)境3D網(wǎng)格以及有限的對象追蹤功能。這意味著頭顯無法運行計算機視覺模型，這嚴重限制了頭顯的增強功能。

借助visionOS 2，蘋果面向企業(yè)提供了Vision Pro直通攝像頭的原始訪問權(quán)限，僅支持非公開的內(nèi)部應用。雖然這需要獲得蘋果的特別許可，并且僅限于“在商業(yè)環(huán)境中”，但此舉再次引發(fā)了Meta是否計劃采取相同做法的疑問。

在接受《元宇宙：以及它將如何徹底改變一切》一書作者Matthew Ball的采訪時，博斯沃思被問及這一問題并發(fā)表了他的想法：

“如果開發(fā)者可以直接采用攝像頭，我們都可以想象出非常實用的用例。你是一名機械師，你正在看一個不熟悉的引擎，而開發(fā)者可以構(gòu)建各種工具來幫助你查看示意圖中的疊加層，甚至診斷問題。然而，目前，Meta將不會為此開發(fā)相關(guān)功能。

同時，我們也希望確保旁觀者在有人佩戴頭顯（例如在飛機上）時感到舒適，現(xiàn)在，我們正在尋求最佳方案來解決這個問題，使頭顯用戶可以用不同的方式向旁觀者發(fā)出信號。

我認為，消費市場對直通透傳技術(shù)越來越熟悉，值得一提的是，Vision Pro對我們整個行業(yè)來說很有意義，現(xiàn)在人們對這類設備的了解非常廣泛，而了解得越多，人們就越不會擔心旁觀者會感到害怕，或者會因為擔心別人會對頭顯產(chǎn)生負面反應或?qū)λ械襟@訝而感到不好意思佩戴。

技術(shù)應用與社會背景密切相關(guān)，社會對技術(shù)越包容，技術(shù)就越能自由執(zhí)行；社會越不包容，在將技術(shù)推向市場時就越需要謹慎，因為如果采用不當，實際上可能會阻礙技術(shù)隨著時間的推移而被采用。

所以我認為Meta在技術(shù)普及方面采取了相當保守的立場。我想每個人都可能理解我們?yōu)槭裁床扇”Ｊ胤桨浮覉猿终J為這是當時正確的做法。但當然，與此同時，我們對混合現(xiàn)實的潛在應用感到興奮。如果開發(fā)者完全征得了消費者的同意，并且了解用戶的背景……如果我們能夠解鎖該功能，我想我們都對混合現(xiàn)實代表的意義感到興奮。

隨著直通透傳技術(shù)的發(fā)展，我們將根據(jù)消費者體驗舒適度以及混合現(xiàn)實用例來釋放技術(shù)潛能。”

蘋果將面向企業(yè)開放Apple Vision Pro直通透傳攝像頭原始訪問權(quán)限，以供非公開的內(nèi)部應用使用。

Vision Pro和Meta Quest 3等頭顯基于攝像頭使用戶看到現(xiàn)實世界，但只有系統(tǒng)和某些第一方應用才能真正獲得攝像頭的原始訪問權(quán)限。

第三方開發(fā)者可使用攝像頭直通透傳作為背景，但其應用實際上看不到這種透視效果。只能獲得更高級別的數(shù)據(jù)，例如手部和身體骨骼坐標、帶有家具邊界框的環(huán)境3D網(wǎng)格以及某些對象跟蹤功能。

如果iPad應用嘗試訪問Vision Pro攝像頭，應用則通過虛擬網(wǎng)絡攝像頭看到用戶數(shù)字角色，不過，對于后置攝像頭，visionOS會返回黑色饋送以及“無攝像頭”圖標。

現(xiàn)在，隨著蘋果在WWDC24發(fā)布visionOS 2企業(yè)API，使得企業(yè)能采用消費者應用無法使用的高級功能，企業(yè)API包括：

主攝像頭訪問

直通透傳屏幕捕獲

Apple Neural Engine訪問

條形碼和二維碼掃描

對象追蹤參數(shù)調(diào)整

提高性能空間

蘋果明確表示，這些功能只能在“僅用于商業(yè)環(huán)境”的應用中使用，并且使用這些功能的應用只能“作為專有內(nèi)部應用或使用Apple Business Manager的自定義應用”分發(fā)，而不能在 App Store上分發(fā)。

此外，PICO 4 Enterprise可訪問原始攝像頭，PICO 4 Enterprise是PICO 4的高端版本，其眼部和面部跟蹤功能僅對注冊企業(yè)開放；Meta和HTC不允許任何人訪問原始攝像頭，不過HTC Vive XR Elite內(nèi)置了ArUco基準標記追蹤功能。