就目前手機(jī)市場的主流設(shè)備來說，用于高精度深度感知的LiDAR傳感器仍然是蘋果iPhone和iPad Pro獨(dú)有的配件，但是Google期望通過其ARCore幫助Android設(shè)備制造商在沒有LiDAR的情況下通過軟件來縮小深度感知的差距。

根據(jù)NextReality報(bào)道，在周二開幕的谷歌I/O大會(huì)上，Google公布了ARCore 1.24更新，帶來了兩個(gè)新的AR功能：Raw Depth API和錄制與回放API，用以在沒有LiDAR支持的情況下提供更逼真的AR體驗(yàn)和更準(zhǔn)確的遮擋。

Raw Depth API可以在現(xiàn)有Depth API的基礎(chǔ)上捕捉額外的深度數(shù)據(jù)，使應(yīng)用程序可以通過一個(gè)標(biāo)準(zhǔn)的智能手機(jī)攝像頭呈現(xiàn)逼真的AR體驗(yàn)。同時(shí)，該API還可以為搭載ToF傳感器的Android設(shè)備提供更高質(zhì)量的深度數(shù)據(jù)。

▲從左到右：TikTok，AR?Doodads，3D LiveScanner

“ARCORE新的Raw Depth API通過原始深度圖與相應(yīng)的置信度圖像映射，能夠生成場景中物體更精細(xì)的幾何形狀”，谷歌AR產(chǎn)品經(jīng)理Ian Zhang和Zeina Oweis表示。“這些原始深度圖包括未平滑的數(shù)據(jù)點(diǎn)，置信度圖像為原始深度圖中的每個(gè)像素提供了深度估計(jì)的置信度?！?/p>

匯總后的數(shù)據(jù)的能夠改進(jìn)ARCORE的幾何形狀識(shí)別，不僅意味著更高的深度感知精度，并且讓將AR內(nèi)容實(shí)際地錨定到物理環(huán)境中的環(huán)境理解功能也更加有效。

TikTok是最早利用Raw Depth API的應(yīng)用程序之一。該應(yīng)用程序的Green Screen Projector濾鏡效果可以通過Raw Depth API對(duì)用戶相機(jī)捕捉圖像中高置信度區(qū)域的對(duì)象進(jìn)行AR效果處理。

其他Raw Depth API的早期采用者包括AR Doodads，測量應(yīng)用AR Connect，3D掃描應(yīng)用程序3D Live Scanner和Teamviewer的lifeAR（可提供遠(yuǎn)程協(xié)助）。

此外，借助錄制和回放API（Recording and Playback API），ARCore使應(yīng)用程序能夠捕獲視頻鏡頭中的慣性測量單位（IMU）和深度數(shù)據(jù)。對(duì)于開發(fā)人員來說，這意味著他們可以不用借助各種實(shí)際的環(huán)境，而是直接通過這些數(shù)據(jù)來測試AR應(yīng)用程序。

▲左：JumpAR，右：VoxPlop！

同時(shí)，錄制和回放API也為用戶帶來了在視頻中加入AR虛擬內(nèi)容的能力，例如韓國SK Telecom開發(fā)的JumpAR應(yīng)用讓用戶可以和視頻中的場景進(jìn)行互動(dòng)，Nexus Studios推出的VoxPlop！應(yīng)用讓用戶可以在視頻中加入3D的角色形象并與好友進(jìn)行分享，同時(shí)好友也能對(duì)收到的AR視頻內(nèi)容進(jìn)行編輯。