Meta Quest 3開發(fā)者現(xiàn)可集成三個(gè)主要新特性來改進(jìn)虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)。
由內(nèi)向外身體追蹤（IOBT）和“Generative Legs”（生成化身腿部）功能將于12月推出。通過Depth API實(shí)現(xiàn)混合現(xiàn)實(shí)的遮擋以前是一項(xiàng)實(shí)驗(yàn)性功能，這意味著現(xiàn)在開發(fā)者可以測(cè)試該功能，但無法發(fā)布到Quest Store或App Lab。
以上三個(gè)功能均可作為Unity和本機(jī)代碼v60 SDK一部分。同時(shí)，v60虛幻引擎集成包括 Depth API，但不包括IOBT或Generative Legs。
IOBT基于Quest 3側(cè)面攝像頭（面朝下）通過先進(jìn)計(jì)算機(jī)視覺算法來追蹤用戶手腕、肘部、肩膀和軀干。
IOBT防止了逆向運(yùn)動(dòng)學(xué)（IK）預(yù)估手臂位置的問題，由于系統(tǒng)只是根據(jù)用戶頭部和手部位置進(jìn)行猜測(cè)，這些問題通常是不正確的，而且讓人感覺不舒服。而當(dāng)開發(fā)者集成IOBT時(shí)，將會(huì)看到手臂的實(shí)際位置。
這種上半身追蹤還可以讓開發(fā)者將拇指操縱桿的運(yùn)動(dòng)錨定到身體方向，而不僅僅是頭部或手部，并且可以執(zhí)行新的動(dòng)作，并在虛擬化身上逼真顯示動(dòng)作。
而針對(duì)下半身運(yùn)動(dòng)，Meta推出了Generative Legs。
Generative Legs使用“尖端”技術(shù)用于預(yù)估腿部位置人工智能模型，這是Meta多年來一直在研究的技術(shù)。
基于Quest 3 ，由于采用上半身追蹤作為輸入方式，Generative Legs提供了比以往頭顯更真實(shí)的預(yù)估，同時(shí)該功能也適用于僅采用頭部和手部追蹤的Quest Pro和Quest 2。
不過，Generative Legs系統(tǒng)只是一個(gè)預(yù)估器，而不是追蹤器，因此雖然Generative Legs可以檢測(cè)跳躍和蹲下動(dòng)作，但不會(huì)捕捉到許多實(shí)際動(dòng)作，例如膝蓋抬起。
由內(nèi)向外的上半身追蹤和生成化身腿部共同在VR中實(shí)現(xiàn)了全身追蹤，稱為全身合成，無需外部硬件。
Meta此前宣布“全身合成”機(jī)制將適用于「Supernatural》、「Swordsman VR」和「Drunken Bar Fight」。
在我們的評(píng)測(cè)中，我們嚴(yán)厲批評(píng)了混合現(xiàn)實(shí)動(dòng)態(tài)遮擋的缺乏。雖然虛擬對(duì)象可以出現(xiàn)在房間設(shè)置掃描生成的原始場(chǎng)景網(wǎng)格后面，但它們始終顯示在移動(dòng)對(duì)象（例如手臂和其他人）的前面，即使距離較遠(yuǎn)，這看起來很不自然。
開發(fā)者已經(jīng)可以通過手部追蹤網(wǎng)格來實(shí)現(xiàn)手部動(dòng)態(tài)遮擋，但很少有人這樣做，因?yàn)槭滞笈c手臂顯示并不完善。
新的Depth API為開發(fā)者提供了基于頭顯角度生成的每幀粗略深度圖。這可用于實(shí)現(xiàn)遮擋，既適用于移動(dòng)對(duì)象，也適用于靜態(tài)對(duì)象的更精細(xì)細(xì)節(jié)，因?yàn)檫@些對(duì)象可能尚未在場(chǎng)景網(wǎng)格中捕獲。
動(dòng)態(tài)遮擋將使Quest 3混合現(xiàn)實(shí)看起來更加自然。然而，頭顯深度感應(yīng)分辨率非常低，因此無法捕獲諸如手指之間的空間等細(xì)節(jié)，你將看到對(duì)象邊緣周圍有一個(gè)空白間隙。
深度圖也僅建議調(diào)整到4米，之后“精度會(huì)顯著下降”。因此開發(fā)者可能還想使用場(chǎng)景網(wǎng)格進(jìn)行靜態(tài)遮擋。
開發(fā)者可以通過兩種方式實(shí)現(xiàn)遮擋：硬遮擋和軟遮擋。硬遮擋本質(zhì)上是免費(fèi)的，但有鋸齒狀邊緣，而軟遮擋則需要GPU成本，但看起來更好。
但在這兩種情況下，遮擋都需要使用Meta特殊遮擋著色器或在自定義著色器中專門實(shí)現(xiàn)它，這遠(yuǎn)非一鍵式解決方案，并且可能需要開發(fā)者付出巨大努力來支持。
除了遮擋，開發(fā)者還可以基于Depth API在混合現(xiàn)實(shí)中實(shí)現(xiàn)基于深度的視覺效果，例如霧。
來源：UploadVR
