Niantic Spatial SDK v3.15現(xiàn)已正式支持Quest 3與Quest 3S設備。這款SDK為開發(fā)人員打造了一套先進的混合現(xiàn)實功能體系，其中包括厘米級精度的戶外視覺定位系統(tǒng)（VPS）、長距離實時場景網(wǎng)格劃分以及語義分割功能。這些功能的實現(xiàn)，得益于今年早些時候Meta開放了第三方Horizon OS應用程序?qū)uest 3和Quest 3S直通攝像頭的訪問權(quán)限，而 Niantic 則借此機會，將其研發(fā)近十年的計算機視覺模型成功應用其中。?

五個月前，因開發(fā)《Pokemon Go》而廣為人知的Niantic公司完成了業(yè)務拆分。其中，包含《Pokemon Go》在內(nèi)的游戲業(yè)務被出售給沙特阿拉伯的Scopely公司，空間技術(shù)業(yè)務則獨立為一家名為 Niantic Spatial 的新公司。?

以下將詳細解析Niantic Spatial SDK為Quest開發(fā)者提供的各項混合現(xiàn)實功能：?

視覺定位系統(tǒng)（VPS）：突破 GPS 精度局限?

全球定位系統(tǒng)（GPS）作為現(xiàn)代生活的核心要素，不僅是我們探索世界的重要工具，被廣泛應用于智能手機，還催生了按需交通和配送等全新軟件類別。然而，在理想條件下，GPS的精度通常僅能達到1米左右；在城市環(huán)境中，由于建筑物對信號的遮擋，其精度可能會降至幾十米，這時候我們只能眼睜睜看著屏幕上的小藍點在街區(qū)間來回晃動。?

與之不同的是，視覺定位系統(tǒng)（VPS）是一種借助計算機視覺來確定位置的軟件系統(tǒng)。它通過識別攝像機實時視圖中的獨特視覺模式，并將其與現(xiàn)有的高保真 3D 世界地圖進行比對，從而精準定位。不過，VPS 僅適用于已完成 3D 映射、且具備足夠持久密集物理幾何形狀的區(qū)域，但在這些區(qū)域內(nèi)，它能夠以厘米級的精度確定用戶的具體位置。?

谷歌地圖在六年前就已為步行導航配備了VPS功能，依托谷歌的街景數(shù)據(jù)，該功能作為 ARCore的一部分向智能手機應用程序開發(fā)者開放。而Niantic VPS雖然也能在智能手機上運行，但它的獨特之處在于，目前已支持Meta Quest 3、Quest 3S以及Magic Leap 2設備。
?
Niantic的VPS地圖覆蓋了超過100萬個地點，這些地點的地圖數(shù)據(jù)源自《Pokemon Go》和《Scaniverse》等游戲玩家的掃描信息。此外，Niantic宣稱其VPS擁有“業(yè)界領(lǐng)先的精度”，并能為已掃描的公共場所提供3D網(wǎng)格。
?
在費用方面，每月前10,000次VPS API調(diào)用是免費的，超出部分的調(diào)用價格約為每次0.01美元。?

實時場景網(wǎng)格劃分：克服現(xiàn)有系統(tǒng)弊端?

Quest 3和Quest 3S能夠?qū)Ψ块g進行掃描并生成3D場景網(wǎng)格，混合現(xiàn)實應用可利用該網(wǎng)格實現(xiàn)虛擬對象與物理幾何體的交互，或是對環(huán)境進行重新設計。但 Meta 當前的系統(tǒng)存在兩個主要問題。?

第一個問題是，使用前必須先進行掃描。根據(jù)房屋的大小和形狀，掃描過程可能需要約 20 秒到幾分鐘的時間，期間還需要四處查看甚至走動，這比直接打開應用程序要繁瑣得多。?

第二個問題是，這些場景網(wǎng)格掃描僅能反映執(zhí)行掃描時的瞬間狀態(tài)。如果之后家具被移動，或者房間內(nèi)添加、移除了物品，這些變化都不會在混合現(xiàn)實中體現(xiàn)，除非用戶手動更新掃描數(shù)據(jù)。例如，若掃描時有其他人站在房間里，他們的身形就會被永久記錄在場景網(wǎng)格中。?

早在五月，我們就重點報道了《Lasertag》的開發(fā)者Julian Triveri如何利用Meta Depth API在Quest 3和 3S 上實現(xiàn)連續(xù)場景網(wǎng)格劃分。正如那篇文章所提及的，Triveri已將其技術(shù)的源代碼發(fā)布在GitHub上，供其他開發(fā)者使用，而Hauntify也計劃采用Triveri的技術(shù)方案。?

不過，Depth API的處理深度僅約為4米。而Niantic Spatial SDK的實時網(wǎng)格劃分功能支持長距離網(wǎng)格劃分，它運用Niantic自主研發(fā)的計算機視覺算法，借助透視攝像機的視圖來構(gòu)建網(wǎng)格。因此，Niantic的這種方法更適用于戶外場景，并且與自身的VPS配合使用時效果極佳。?

語義分割：實現(xiàn)實時物體與表面識別?

Niantic Spatial SDK 還能夠?qū)崟r識別并標記物體和表面。其中，物體識別功能與 Quest 直通相機訪問開發(fā)人員樣本類似，而分割功能則更為先進。?

在費用方面，Niantic VPS功能按每次API調(diào)用收費，而Niantic Spatial SDK的設備端計算機視覺功能雖無使用次數(shù)限制，但需要為每位月活躍用戶（MAU）每月支付約 0.10 美元。

我們預計，許多Quest 3混合現(xiàn)實應用程序?qū)捎肗iantic Spatial SDK的實時網(wǎng)格劃分功能，其VPS功能也將使Quest 3更適用于戶外公共體驗，盡管Quest 3的硬件并非為此專門設計。?

Niantic表示，公司 “正持續(xù)擴大對其他頭戴式設備的支持，提升性能，并計劃推出增強遮擋和持續(xù)場景理解等新功能”，同時指出，開發(fā)者的反饋將決定下一步的發(fā)展方向。