visionOS 2改進(jìn)了Apple Vision Pro手部追蹤和場(chǎng)景理解

?? 由 文心大模型 生成的文章摘要

visionOS 2針對(duì)Apple Vision Pro手部追蹤進(jìn)行了重大改進(jìn),并擴(kuò)展了頭顯對(duì)周圍環(huán)境的理解。

這些改進(jìn)并未在WWDC24主題演講中公布,但蘋果工程師在線上開發(fā)者會(huì)議上詳細(xì)介紹了這些改進(jìn)。

在我們對(duì)Vision Pro的評(píng)測(cè)中,我們批評(píng)了開發(fā)者手部追蹤系統(tǒng)的更新率非常低,這使得「超級(jí)水果忍者」和「Synth Riders」等游戲感覺遲緩且反應(yīng)遲鈍。

而通過(guò)visionOS 2,蘋果對(duì)手部追蹤進(jìn)行了兩項(xiàng)重大改進(jìn)。

第一項(xiàng)改進(jìn)是提高了更新率。在visionOS 1上,系統(tǒng)支持開發(fā)者30Hz新手部追蹤姿勢(shì);而在visionOS 2上,手部追蹤姿勢(shì)則以顯示刷新率呈現(xiàn),通常為90Hz。

另一項(xiàng)改進(jìn)是預(yù)測(cè),這對(duì)開發(fā)者來(lái)說(shuō)是可選的。啟用預(yù)測(cè)將能推斷的手勢(shì),表示在顯示每一幀時(shí)手應(yīng)該在哪個(gè)位置;這可以顯著降低有效延遲,但會(huì)犧牲一些準(zhǔn)確性。

蘋果建議開發(fā)者啟用預(yù)測(cè)功能將虛擬物體置于手中,但在3D繪圖等需要流暢線條的場(chǎng)合就不適用了。

自推出以來(lái),Vision Pro一直為開發(fā)者提供由LiDAR傳感器生成的持續(xù)更新的環(huán)境3D網(wǎng)格;但要構(gòu)建利用此功能的實(shí)用應(yīng)用,需要了解此網(wǎng)格存在的內(nèi)容。

借助visionOS 2,Vision Pro現(xiàn)在具備了房間追蹤功能。該系統(tǒng)將為開發(fā)者呈現(xiàn)每個(gè)房間墻壁和地板的精確幾何形狀,甚至支持非矩形墻壁。

當(dāng)進(jìn)入新房間時(shí),系統(tǒng)會(huì)通知開發(fā)者并呈現(xiàn)僅為適用于新房間的幾何圖形。蘋果表示,開發(fā)者可以利用此功能,例如,當(dāng)你進(jìn)入臥室時(shí),讓虛擬寵物迎接你;除了墻壁和地板,visionOS 2還帶來(lái)了平面檢測(cè)方面的改進(jìn)。

visionOS 1只能檢測(cè)水平和垂直平面,而visionOS 2則能檢測(cè)傾斜平面。

這些改進(jìn)可讓visionOS開發(fā)者構(gòu)建出更加了解物理環(huán)境的應(yīng)用,這些應(yīng)用可適應(yīng)所在空間并錨定到現(xiàn)實(shí)世界的表面。

「93913原創(chuàng)內(nèi)容,轉(zhuǎn)載請(qǐng)注明出處」