備受期待的Quest“直通相機(jī)API(Passthrough Camera API)” 現(xiàn)已可供所有開發(fā)者試用，不過目前還無法將其納入應(yīng)用商店版本中。?

這項新功能于2024年9月在Meta Connect大會上宣布，計劃于今年推出?，F(xiàn)在，它已作為實驗版本在Quest 3和Quest 3S平臺發(fā)布。這意味著任何開發(fā)者都可以對其進(jìn)行測試，甚至可以在SideQuest等平臺上使用該功能分發(fā)APK，但還不能將其整合到Meta Horizon Store應(yīng)用中。Meta過去在開發(fā)新API時曾多次采用這種方式，通常情況下，該功能會在幾個月內(nèi)就能在應(yīng)用商店的應(yīng)用中使用。?

目前，部分開發(fā)者已經(jīng)獲得了該功能的早期試用權(quán)。下周在游戲開發(fā)者大會(GDC)上，Meta將邀請Niantic、Creature和Resolution來討論這一功能。?

為了使“直通相機(jī)API”正常工作，作為用戶，你需要授予應(yīng)用訪問頭戴式設(shè)備攝像頭的權(quán)限，就像授予麥克風(fēng)訪問權(quán)限一樣。如果獲得授權(quán)，應(yīng)用將能夠訪問前置彩色攝像頭，包括鏡頭內(nèi)部參數(shù)和頭戴式設(shè)備姿態(tài)等元數(shù)據(jù)。應(yīng)用可以利用這些數(shù)據(jù)運行自定義計算機(jī)視覺模型。?

應(yīng)用程序使用該功能的示例包括掃描和追蹤二維碼、檢測桌子上的游戲板以添加虛擬角色和物體、檢測物理對象以提供企業(yè)引導(dǎo)體驗，或者集成云托管大語言模型(LLM)的視覺 AI 功能。

直通相機(jī)流以30幀/秒(FPS)的速度支持應(yīng)用程序，每個攝像頭的最高分辨率為1280×960.延遲時間為40 – 60 毫秒。這意味著它不適合追蹤快速移動的物體(如自定義控制器)，也不適合辨別小文本等精細(xì)特征。?

從技術(shù)層面來看，根本不存在特定的Meta Quest相機(jī)直通 API，它也不是OpenXR的擴(kuò)展。開發(fā)者確實需要請求Horizon OS特定的頭戴式設(shè)備攝像頭權(quán)限。不過除此之外，Quest的直通相機(jī)訪問利用了Android現(xiàn)有的Camera2 API，以返回通過OpenXR獲得的頭戴式設(shè)備姿態(tài)。

Camera2 API被自定義引擎或虛幻引擎(Unreal)、Godot引擎源代碼的開發(fā)者所使用。這也意味著，相同的代碼應(yīng)該能夠在谷歌即將推出的Android XR平臺上運行，該平臺將在三星獨立頭戴式設(shè)備中首次亮相，唯一的區(qū)別在于權(quán)限請求。?

對于Unity引擎，開發(fā)者可以通過Unity WebCamTexture API輕松訪問攝像頭，這也是在該引擎中訪問手機(jī)、平板電腦和PC攝像頭及網(wǎng)絡(luò)攝像頭的方式。然而，這里存在一個限制，即 Unity WebCamTexture API一次僅支持一個攝像頭，無法同時支持兩個攝像頭。?

Meta在GitHub上發(fā)布了五個官方Unity示例：CameraViewer、CameraToWorld、BrightnessEstimation、MultiObjectDectection、ShaderSample。另外，Meta軟件工程師Roberto Coviello在GitHub上發(fā)布了QuestCameraKit，其中包含五個額外示例：Color Picker、使用Unity Sentis進(jìn)行物體檢測、使用ZXing進(jìn)行二維碼追蹤、Frosted Glass Shader和OpenAI視覺模型。