研究人員研發(fā)出一種創(chuàng)新技術(shù)，通過合成第二只眼睛的視圖而非直接渲染，來提升虛擬現(xiàn)實(shí)（VR）的幀速率。

相關(guān)研究論文《你只需渲染一次：提高移動(dòng)虛擬現(xiàn)實(shí)的能量和計(jì)算效率》，由來自多所高校的研究人員共同撰寫，其中包括加州大學(xué)圣地亞哥分校的兩名學(xué)者、科羅拉多大學(xué)丹佛分校的兩名專家、內(nèi)布拉斯加大學(xué)林肯分校的一位研究者以及廣東工業(yè)大學(xué)的一名科研人員。

立體渲染技術(shù)要求為每只眼睛分別渲染視圖，這是VR游戲比平面屏幕游戲運(yùn)行難度更高的主要原因之一，進(jìn)而導(dǎo)致VR游戲的圖形保真度相對(duì)較低，大大降低了VR對(duì)眾多主流游戲玩家的吸引力。

盡管像Quests這類獨(dú)立VR頭戴設(shè)備能夠借助單通道立體技術(shù)，優(yōu)化立體渲染過程中的 CPU繪制調(diào)用，但GPU仍需對(duì)雙眼視圖進(jìn)行渲染，這其中就包含了成本高昂的每像素著色操作以及內(nèi)存開銷。

而YORO則是一種極具吸引力的新方法。它首先按照常規(guī)方式渲染一只眼睛的視圖，對(duì)于另一只眼睛的視圖，不再進(jìn)行渲染，而是通過兩個(gè)高效階段進(jìn)行合成，即重投影和修補(bǔ)。

需要明確的是，YORO 并非人工智能系統(tǒng)，它不涉及神經(jīng)網(wǎng)絡(luò)，因此不會(huì)出現(xiàn)任何AI幻覺問題。

在重投影階段，系統(tǒng)利用計(jì)算著色器將已渲染眼睛的每個(gè)像素遷移至另一只眼睛的屏幕空間，隨后標(biāo)記出那些被遮擋的像素，也就是已渲染眼睛無法看到的像素。

這正是修補(bǔ)階段發(fā)揮作用的地方。它借助一個(gè)輕量級(jí)圖像著色器，對(duì)重投影步驟中標(biāo)記出的遮擋像素應(yīng)用具有深度感知的繪畫濾鏡，將背景像素模糊后填充到這些位置。

研究人員稱，YORO能夠?qū)PU的渲染開銷降低50%以上，并且在大多數(shù)情況下，合成出的眼睛視圖實(shí)現(xiàn)了“視覺上無損” 的效果。

在Quest 2設(shè)備上運(yùn)行Unity的VR Beginner: The Escape Room示例進(jìn)行的實(shí)際測(cè)試中，應(yīng)用YORO技術(shù)后，幀速率提升了32%，從62 FPS提高到了82 FPS。

不過，這種 “視覺無損” 合成存在一個(gè)例外情況，即處于極近場(chǎng)時(shí)，也就是虛擬物體離眼睛非常近的情況下。物體與眼睛的距離越近，立體視差自然就會(huì)越大，此時(shí) YORO 方法的效果會(huì)在一定程度上打折扣。

針對(duì)這種情況，研究人員建議直接回歸常規(guī)的立體渲染方式。甚至可以只針對(duì)特定物體進(jìn)行渲染，例如那些距離眼睛極近的物體，而無需對(duì)整個(gè)場(chǎng)景進(jìn)行渲染。

YORO還有一個(gè)較為重要的限制，就是它不支持透明幾何體。但研究人員指出，在移動(dòng) GPU 上，透明效果本身就需要進(jìn)行第二次渲染，因此實(shí)際應(yīng)用中很少使用，他們建議將 YORO 插入到透明渲染過程之前。

Unity實(shí)現(xiàn)的YORO源代碼已在GitHub上發(fā)布，且遵循GNU通用公共許可證（GPL）。從理論上講，VR開發(fā)者現(xiàn)在已經(jīng)可以將這一功能應(yīng)用到自己的游戲中。但像Meta、字節(jié)跳動(dòng)和蘋果這樣的平臺(tái)持有者，是否會(huì)在SDK或系統(tǒng)層面采用類似YORO的技術(shù)呢？