凹入式渲染解決了VR頭顯日益增長的挑戰(zhàn)，提供了清晰的細(xì)節(jié)。現(xiàn)在，F(xiàn)acebook Reality Labs的工程師提出了DeepFovea，這是AI輔助的替代方法，它可以創(chuàng)建“合理的外圍視頻”，而不是實際渲染準(zhǔn)確的外圍圖像。這一新過程被稱為“凹入式重構(gòu)”，F(xiàn)acebook表示，它對RGB視頻實現(xiàn)了14倍以上的壓縮，而質(zhì)量沒有下降。

捕獲視頻流時，DeepFovea僅在每個視頻幀中采樣10％的像素，主要但不僅僅集中在用戶眼睛聚焦的區(qū)域。相比之下，僅通過散點采樣外圍區(qū)域，這些散點距眼睛的焦點區(qū)域越來越遠(yuǎn)。該系統(tǒng)使用經(jīng)過訓(xùn)練的生成對抗神經(jīng)網(wǎng)絡(luò)，從微小樣本中重建每個幀，同時依靠流的時間和空間內(nèi)容以穩(wěn)定而非抖動的方式填充細(xì)節(jié)。

如上圖所示，從幀到幀，未完全采樣的蜥蜴頭基本上是無法區(qū)分的，而“重構(gòu)”圖像中的相鄰樹皮不如“參考”像素那么清晰或細(xì)膩。傳統(tǒng)的凹版渲染系統(tǒng)會將這些像素描繪為低分辨率的平面陰影塊，而DeepFovea保留更多的原始形狀和顏色。

DeepFovea之所以重要，是因為與標(biāo)準(zhǔn)的中心渲染相比，它提供了電源效率和圖像質(zhì)量的出色組合。Facebook聲稱，渲染降低了14倍，這意味著它將能夠向依賴于凝視檢測的顯示器提供實時，低延遲的視頻，這是構(gòu)建輕巧的VR和AR頭顯的必要步驟，該頭顯將顯示高分辨率圖形最初呈現(xiàn)在云端。

Facebook的邁克爾·阿布拉什（Michael Abrash）去年在Oculus Connect 5上首次暗示了DeepFovea的概念，并暗示在未來將基于深度學(xué)習(xí)眼動追蹤結(jié)合在一起，以實現(xiàn)更高分辨率的VR頭顯，例如Half Dome原型。

Facebook不僅在下一代頭顯上使用DeepFovea，還為研究人員，VR工程師和圖形工程師發(fā)布了網(wǎng)絡(luò)體系結(jié)構(gòu)的示例版本。

【93913原創(chuàng)內(nèi)容，轉(zhuǎn)載請注明及回鏈】