Meta宣布，XR Core SDK 76.0 版本迎來關(guān)鍵升級(jí)，備受矚目的 Passthrough Camera API（CPA）成功從 “公共實(shí)驗(yàn)” 階段邁入 “公開” 行列。這一轉(zhuǎn)變意義深遠(yuǎn)，意味著開發(fā)者擁有了全新的創(chuàng)作空間——他們既可以對(duì)Horizon商店中現(xiàn)有的應(yīng)用進(jìn)行升級(jí)，將CPA功能融入其中，也能夠開發(fā)全新應(yīng)用并借助Horizon商店發(fā)布。不過，Meta也明確表示，相關(guān)應(yīng)用的上線需要經(jīng)過嚴(yán)格的 “審核流程”，以此確保應(yīng)用質(zhì)量與用戶體驗(yàn)。?

隨著CPA正式公開，我們有理由期待現(xiàn)有應(yīng)用的更新浪潮即將襲來。屆時(shí)，CPA所帶來的創(chuàng)新功能將被逐一解鎖。此前，使用CPA的應(yīng)用由于尚處實(shí)驗(yàn)階段，僅能通過側(cè)載方式安裝在 Meta Quest 設(shè)備上，而普通用戶難以觸及這些功能。如今，隨著API的正式發(fā)布，其優(yōu)勢(shì)將逐步輻射到廣大普通用戶群體，為他們帶來更豐富、更沉浸的XR體驗(yàn)。?

在展示CPA強(qiáng)大能力的先鋒隊(duì)伍中，Twenty Guys、Lab Rats和Digitalizer等實(shí)驗(yàn)性MR應(yīng)用表現(xiàn)亮眼，率先呈現(xiàn)了API解鎖后的全新功能，為XR應(yīng)用開發(fā)樹立了新的標(biāo)桿。?

從技術(shù)本質(zhì)來看，混合現(xiàn)實(shí)的發(fā)展高度依賴頭戴式耳機(jī)對(duì)環(huán)境的感知與理解能力。它不僅需要從空間維度把握環(huán)境布局，還需從語義層面理解環(huán)境中的各類物體與場(chǎng)景。然而，當(dāng)前 Meta Quest設(shè)備對(duì)周圍環(huán)境的認(rèn)知能力存在一定局限。頭顯雖能進(jìn)行環(huán)境的3D掃描，但結(jié)果較為粗略；對(duì)于家具、窗戶、門等物體，也僅能實(shí)現(xiàn)基礎(chǔ)識(shí)別。這些抽象化的環(huán)境信息，在一定程度上限制了開發(fā)者在混合現(xiàn)實(shí)應(yīng)用開發(fā)中的創(chuàng)意發(fā)揮。?

而Passthrough Camera API的出現(xiàn)，打破了這一僵局。借助該API，應(yīng)用得以獲取Passthrough Camera的視頻源，并運(yùn)用專有計(jì)算機(jī)視覺算法與AI模型，對(duì)用戶所處環(huán)境展開深度分析。這一技術(shù)革新，為混合現(xiàn)實(shí)領(lǐng)域注入了新的活力，開辟出無限可能。?

回顧Passthrough Camera API的發(fā)展歷程，它于Meta Connect 2024首次亮相，并在今年3月中旬以實(shí)驗(yàn)狀態(tài)推出。彼時(shí)，受限于其狀態(tài)，該API無法在Horizon Store應(yīng)用中使用。如今，隨著版本升級(jí)，這一限制被徹底解除，標(biāo)志著CPA邁向成熟，也預(yù)示著混合現(xiàn)實(shí)應(yīng)用生態(tài)即將迎來新一輪變革。

備受期待的Quest“直通相機(jī)API(Passthrough Camera API)” 現(xiàn)已可供所有開發(fā)者試用，不過目前還無法將其納入應(yīng)用商店版本中。?

這項(xiàng)新功能于2024年9月在Meta Connect大會(huì)上宣布，計(jì)劃于今年推出?，F(xiàn)在，它已作為實(shí)驗(yàn)版本在Quest 3和Quest 3S平臺(tái)發(fā)布。這意味著任何開發(fā)者都可以對(duì)其進(jìn)行測(cè)試，甚至可以在SideQuest等平臺(tái)上使用該功能分發(fā)APK，但還不能將其整合到Meta Horizon Store應(yīng)用中。Meta過去在開發(fā)新API時(shí)曾多次采用這種方式，通常情況下，該功能會(huì)在幾個(gè)月內(nèi)就能在應(yīng)用商店的應(yīng)用中使用。?

目前，部分開發(fā)者已經(jīng)獲得了該功能的早期試用權(quán)。下周在游戲開發(fā)者大會(huì)(GDC)上，Meta將邀請(qǐng)Niantic、Creature和Resolution來討論這一功能。?

為了使“直通相機(jī)API”正常工作，作為用戶，你需要授予應(yīng)用訪問頭戴式設(shè)備攝像頭的權(quán)限，就像授予麥克風(fēng)訪問權(quán)限一樣。如果獲得授權(quán)，應(yīng)用將能夠訪問前置彩色攝像頭，包括鏡頭內(nèi)部參數(shù)和頭戴式設(shè)備姿態(tài)等元數(shù)據(jù)。應(yīng)用可以利用這些數(shù)據(jù)運(yùn)行自定義計(jì)算機(jī)視覺模型。?

應(yīng)用程序使用該功能的示例包括掃描和追蹤二維碼、檢測(cè)桌子上的游戲板以添加虛擬角色和物體、檢測(cè)物理對(duì)象以提供企業(yè)引導(dǎo)體驗(yàn)，或者集成云托管大語言模型(LLM)的視覺 AI 功能。

直通相機(jī)流以30幀/秒(FPS)的速度支持應(yīng)用程序，每個(gè)攝像頭的最高分辨率為1280×960.延遲時(shí)間為40 – 60 毫秒。這意味著它不適合追蹤快速移動(dòng)的物體(如自定義控制器)，也不適合辨別小文本等精細(xì)特征。?

從技術(shù)層面來看，根本不存在特定的Meta Quest相機(jī)直通 API，它也不是OpenXR的擴(kuò)展。開發(fā)者確實(shí)需要請(qǐng)求Horizon OS特定的頭戴式設(shè)備攝像頭權(quán)限。不過除此之外，Quest的直通相機(jī)訪問利用了Android現(xiàn)有的Camera2 API，以返回通過OpenXR獲得的頭戴式設(shè)備姿態(tài)。

Camera2 API被自定義引擎或虛幻引擎(Unreal)、Godot引擎源代碼的開發(fā)者所使用。這也意味著，相同的代碼應(yīng)該能夠在谷歌即將推出的Android XR平臺(tái)上運(yùn)行，該平臺(tái)將在三星獨(dú)立頭戴式設(shè)備中首次亮相，唯一的區(qū)別在于權(quán)限請(qǐng)求。?

對(duì)于Unity引擎，開發(fā)者可以通過Unity WebCamTexture API輕松訪問攝像頭，這也是在該引擎中訪問手機(jī)、平板電腦和PC攝像頭及網(wǎng)絡(luò)攝像頭的方式。然而，這里存在一個(gè)限制，即 Unity WebCamTexture API一次僅支持一個(gè)攝像頭，無法同時(shí)支持兩個(gè)攝像頭。?

Meta在GitHub上發(fā)布了五個(gè)官方Unity示例：CameraViewer、CameraToWorld、BrightnessEstimation、MultiObjectDectection、ShaderSample。另外，Meta軟件工程師Roberto Coviello在GitHub上發(fā)布了QuestCameraKit，其中包含五個(gè)額外示例：Color Picker、使用Unity Sentis進(jìn)行物體檢測(cè)、使用ZXing進(jìn)行二維碼追蹤、Frosted Glass Shader和OpenAI視覺模型。