Apple Vision Pro開發(fā)者發(fā)布的一段視頻似乎展示了Vision Pro當(dāng)前的手部追蹤和遮擋性能水平。

Vision Pro預(yù)計(jì)將在未來幾個(gè)月內(nèi)推出，手部操控將是主要輸入方式。系統(tǒng)級(jí)交互將手部追蹤與眼部追蹤相結(jié)合，形成“查看和點(diǎn)擊”模式，不僅如此開發(fā)者還可以構(gòu)建支持用戶直接使用雙手與應(yīng)用交互的應(yīng)用程序。

Vision Pro手部追蹤分為兩種不同的功能：“手部追蹤”和“手部遮擋”。

手部追蹤是手、手關(guān)節(jié)和指尖位置的預(yù)估3D模型，該模型應(yīng)用于物體觸摸、抓握和交互。

手部遮擋涉及系統(tǒng)如何將真實(shí)手部覆蓋到虛擬內(nèi)容。Vision Pro不是將虛擬手部3D模型繪制到場景中，而是剪切真實(shí)手部圖像以將其顯示在場景中。這樣做為虛擬內(nèi)容增添了另一層真實(shí)感，使用戶可以看到自己雙手。

為此，基于Unity構(gòu)建Vision Pro的開發(fā)者發(fā)布了一段視頻，清晰展示了手部追蹤和遮擋。

我們可以看到，手部遮擋非常好，但并不完美；當(dāng)完全被虛擬內(nèi)容包裹并快速移動(dòng)時(shí)，可以看到手部邊緣出現(xiàn)一些剪裁。

同時(shí)，實(shí)際的手部追蹤位置比手部遮擋更加滯后，大約慢100-200毫秒。然而，我們無法完全確定Vision Pro手部追蹤的真實(shí)延遲，因?yàn)槲覀冎荒芸吹秸趽踝粉櫴植康囊晥D來進(jìn)行比較（手部追蹤本身相對(duì)于真實(shí)的手部會(huì)有一些延遲）。

在這種情況下，Unity開發(fā)者稱與最新Quest手部追蹤功能相比，Vision Pro的早期實(shí)驗(yàn)顯示出非常高的手部追蹤延遲，其他Unity開發(fā)者一致認(rèn)為，也在Vision Pro上也看到了類似的延遲。

然而，該視頻反饋的是Unity應(yīng)用內(nèi)部手部追蹤集成，這意味著手部追蹤性能和延遲可能存在與Unity相關(guān)的其他因素，而在使用蘋果第一方Vision Pro開發(fā)工具時(shí)，這些因素并不存在。考慮到Vision Pro尚未推出，并且這些工具仍在開發(fā)中，當(dāng)頭顯實(shí)際上架時(shí)，我們可能會(huì)看到更多手部追蹤改進(jìn)。