一位開發(fā)者找到了一種巧妙的方法來訪問Quest 3的直通透傳攝像頭，以運(yùn)行自定義計算機(jī)視覺模型。

Meta不允許第三方開發(fā)者訪問Quest頭顯的攝像頭，但手部追蹤健身應(yīng)用「XRWorkout」的聯(lián)合創(chuàng)始人兼首席開發(fā)者M(jìn)ichael Gschwandtner在社交媒體平臺上發(fā)布了一段視頻，展示了一種解決此限制的方案。

演示視頻展示了開源 MobileNet V2對象檢測模型在Quest 3上以0.75 Hz的頻率原生運(yùn)行，選擇這個頻率是出于實用性考慮，而不是出于性能原因。

Gschwandtner的應(yīng)用程序構(gòu)建創(chuàng)建了一個webview，即嵌入在應(yīng)用程序中的Chromium網(wǎng)絡(luò)瀏覽器實例，它會自動加載Quest頭顯以將其視圖投射到的oculus.com/casting URL。

隨后，你需要在此WebView中完成登錄Meta賬號的完整過程。完成后，你可以通過Quest 系統(tǒng)菜單啟動網(wǎng)絡(luò)直播。

然后，Gschwandtner應(yīng)用對接收投射視圖的WebView的像素內(nèi)容（RenderTexture）進(jìn)行采樣，便能對其進(jìn)行操作了。這里的一個關(guān)鍵限制是視圖將包括虛擬對象和界面，而不僅僅是透視相機(jī)視圖，這意味著它只有在大部分圖像都是透視時才會起作用。但Gschwandtner聲稱他有一個“計劃”來解決這個問題。

目前還不清楚Meta將如何回應(yīng)Gschwandtner的發(fā)現(xiàn)。Meta可能會在未來版本的Quest Horizon OS中禁用這項技術(shù)，Gschwandtner在社交媒體上發(fā)帖公開請求與Meta首席執(zhí)行官扎克伯格或首席技術(shù)官博斯沃思“通話”，以向他們“展示”這項技術(shù)。

上個月，博斯沃思在一次采訪中表達(dá)了對有意讓Quest開發(fā)者訪問直通透傳相攝像頭的看法，并表示Meta將“繼續(xù)關(guān)注”這個問題。

相比之下，Apple Vision Pro僅向企業(yè)提供原始訪問權(quán)限，并且僅適用于非公開的內(nèi)部應(yīng)用。