Niantic Spatial SDK v3.15現(xiàn)已正式支持Quest 3與Quest 3S設(shè)備。這款SDK為開發(fā)人員打造了一套先進(jìn)的混合現(xiàn)實(shí)功能體系，其中包括厘米級(jí)精度的戶外視覺定位系統(tǒng)（VPS）、長距離實(shí)時(shí)場景網(wǎng)格劃分以及語義分割功能。這些功能的實(shí)現(xiàn)，得益于今年早些時(shí)候Meta開放了第三方Horizon OS應(yīng)用程序?qū)uest 3和Quest 3S直通攝像頭的訪問權(quán)限，而 Niantic 則借此機(jī)會(huì)，將其研發(fā)近十年的計(jì)算機(jī)視覺模型成功應(yīng)用其中。?

五個(gè)月前，因開發(fā)《Pokemon Go》而廣為人知的Niantic公司完成了業(yè)務(wù)拆分。其中，包含《Pokemon Go》在內(nèi)的游戲業(yè)務(wù)被出售給沙特阿拉伯的Scopely公司，空間技術(shù)業(yè)務(wù)則獨(dú)立為一家名為 Niantic Spatial 的新公司。?

以下將詳細(xì)解析Niantic Spatial SDK為Quest開發(fā)者提供的各項(xiàng)混合現(xiàn)實(shí)功能：?

視覺定位系統(tǒng)（VPS）：突破 GPS 精度局限?

全球定位系統(tǒng)（GPS）作為現(xiàn)代生活的核心要素，不僅是我們探索世界的重要工具，被廣泛應(yīng)用于智能手機(jī)，還催生了按需交通和配送等全新軟件類別。然而，在理想條件下，GPS的精度通常僅能達(dá)到1米左右；在城市環(huán)境中，由于建筑物對(duì)信號(hào)的遮擋，其精度可能會(huì)降至幾十米，這時(shí)候我們只能眼睜睜看著屏幕上的小藍(lán)點(diǎn)在街區(qū)間來回晃動(dòng)。?

與之不同的是，視覺定位系統(tǒng)（VPS）是一種借助計(jì)算機(jī)視覺來確定位置的軟件系統(tǒng)。它通過識(shí)別攝像機(jī)實(shí)時(shí)視圖中的獨(dú)特視覺模式，并將其與現(xiàn)有的高保真 3D 世界地圖進(jìn)行比對(duì)，從而精準(zhǔn)定位。不過，VPS 僅適用于已完成 3D 映射、且具備足夠持久密集物理幾何形狀的區(qū)域，但在這些區(qū)域內(nèi)，它能夠以厘米級(jí)的精度確定用戶的具體位置。?

谷歌地圖在六年前就已為步行導(dǎo)航配備了VPS功能，依托谷歌的街景數(shù)據(jù)，該功能作為 ARCore的一部分向智能手機(jī)應(yīng)用程序開發(fā)者開放。而Niantic VPS雖然也能在智能手機(jī)上運(yùn)行，但它的獨(dú)特之處在于，目前已支持Meta Quest 3、Quest 3S以及Magic Leap 2設(shè)備。
?
Niantic的VPS地圖覆蓋了超過100萬個(gè)地點(diǎn)，這些地點(diǎn)的地圖數(shù)據(jù)源自《Pokemon Go》和《Scaniverse》等游戲玩家的掃描信息。此外，Niantic宣稱其VPS擁有“業(yè)界領(lǐng)先的精度”，并能為已掃描的公共場所提供3D網(wǎng)格。
?
在費(fèi)用方面，每月前10,000次VPS API調(diào)用是免費(fèi)的，超出部分的調(diào)用價(jià)格約為每次0.01美元。?

實(shí)時(shí)場景網(wǎng)格劃分：克服現(xiàn)有系統(tǒng)弊端?

Quest 3和Quest 3S能夠?qū)Ψ块g進(jìn)行掃描并生成3D場景網(wǎng)格，混合現(xiàn)實(shí)應(yīng)用可利用該網(wǎng)格實(shí)現(xiàn)虛擬對(duì)象與物理幾何體的交互，或是對(duì)環(huán)境進(jìn)行重新設(shè)計(jì)。但 Meta 當(dāng)前的系統(tǒng)存在兩個(gè)主要問題。?

第一個(gè)問題是，使用前必須先進(jìn)行掃描。根據(jù)房屋的大小和形狀，掃描過程可能需要約 20 秒到幾分鐘的時(shí)間，期間還需要四處查看甚至走動(dòng)，這比直接打開應(yīng)用程序要繁瑣得多。?

第二個(gè)問題是，這些場景網(wǎng)格掃描僅能反映執(zhí)行掃描時(shí)的瞬間狀態(tài)。如果之后家具被移動(dòng)，或者房間內(nèi)添加、移除了物品，這些變化都不會(huì)在混合現(xiàn)實(shí)中體現(xiàn)，除非用戶手動(dòng)更新掃描數(shù)據(jù)。例如，若掃描時(shí)有其他人站在房間里，他們的身形就會(huì)被永久記錄在場景網(wǎng)格中。?

早在五月，我們就重點(diǎn)報(bào)道了《Lasertag》的開發(fā)者Julian Triveri如何利用Meta Depth API在Quest 3和 3S 上實(shí)現(xiàn)連續(xù)場景網(wǎng)格劃分。正如那篇文章所提及的，Triveri已將其技術(shù)的源代碼發(fā)布在GitHub上，供其他開發(fā)者使用，而Hauntify也計(jì)劃采用Triveri的技術(shù)方案。?

不過，Depth API的處理深度僅約為4米。而Niantic Spatial SDK的實(shí)時(shí)網(wǎng)格劃分功能支持長距離網(wǎng)格劃分，它運(yùn)用Niantic自主研發(fā)的計(jì)算機(jī)視覺算法，借助透視攝像機(jī)的視圖來構(gòu)建網(wǎng)格。因此，Niantic的這種方法更適用于戶外場景，并且與自身的VPS配合使用時(shí)效果極佳。?

語義分割：實(shí)現(xiàn)實(shí)時(shí)物體與表面識(shí)別?

Niantic Spatial SDK 還能夠?qū)崟r(shí)識(shí)別并標(biāo)記物體和表面。其中，物體識(shí)別功能與 Quest 直通相機(jī)訪問開發(fā)人員樣本類似，而分割功能則更為先進(jìn)。?

在費(fèi)用方面，Niantic VPS功能按每次API調(diào)用收費(fèi)，而Niantic Spatial SDK的設(shè)備端計(jì)算機(jī)視覺功能雖無使用次數(shù)限制，但需要為每位月活躍用戶（MAU）每月支付約 0.10 美元。

我們預(yù)計(jì)，許多Quest 3混合現(xiàn)實(shí)應(yīng)用程序?qū)?huì)采用Niantic Spatial SDK的實(shí)時(shí)網(wǎng)格劃分功能，其VPS功能也將使Quest 3更適用于戶外公共體驗(yàn)，盡管Quest 3的硬件并非為此專門設(shè)計(jì)。?

Niantic表示，公司 “正持續(xù)擴(kuò)大對(duì)其他頭戴式設(shè)備的支持，提升性能，并計(jì)劃推出增強(qiáng)遮擋和持續(xù)場景理解等新功能”，同時(shí)指出，開發(fā)者的反饋將決定下一步的發(fā)展方向。