據(jù)外媒venturebeat報道，F(xiàn)acebook的AR/VR研發(fā)部門Facebook Reality Labs近日發(fā)表了一篇名為《Neural Supersampling for Real-time Rendering》的論文，該論文詳細(xì)闡述了一項全新技術(shù)“神經(jīng)超采樣實時渲染”，該技術(shù)可以對實時渲染的3D內(nèi)容進(jìn)行超采樣處理，采用機(jī)器學(xué)習(xí)方法將低分辨率、計算上更容易成像的圖片轉(zhuǎn)換成高分辨率的輸出圖像。

如果要理解Facebook這項創(chuàng)新技術(shù)，我們不妨打個比方我們可以把《蒙娜麗莎》的畫像想象成一個由16個彩色正方形組成的4×4網(wǎng)格圖。常見的問題是，通常我們注視網(wǎng)格圖的時候往往會深陷于其表面凹凸不平的鋸齒狀方形圖像，而發(fā)現(xiàn)不了圖像原本真實的模樣。但通過機(jī)器學(xué)習(xí)方法，我們就能很快對這張網(wǎng)格進(jìn)行計算，并從中識別出《蒙娜麗莎》的畫像。

為此，F(xiàn)acebook的研究人員通過三層卷積神經(jīng)網(wǎng)絡(luò)開發(fā)了這項全新技術(shù)，如上所述在識別畫像的機(jī)器學(xué)習(xí)過程中采用了該神經(jīng)網(wǎng)絡(luò)，并以場景統(tǒng)計進(jìn)行了計算識別，從而能夠快速恢復(fù)畫像清晰的細(xì)節(jié)，同時節(jié)省了在實時應(yīng)用中直接渲染細(xì)節(jié)所需的計算開銷。該技術(shù)不僅適用于平面圖像，而且也適用于3D渲染場景，可將“高度混疊運(yùn)動”轉(zhuǎn)換為“實時的高保真度和時間點穩(wěn)定性的結(jié)果”，同時考慮了顏色、深度貼圖和時間運(yùn)動矢量等變量。

從計算的角度來看，這項研究表明，通過預(yù)先機(jī)器學(xué)習(xí)，我們可以將與原版《毀滅戰(zhàn)士》游戲相似的3D環(huán)境渲染成類似于VR游戲《雷神之錘》的游戲畫質(zhì)。雖然這并不意味著游戲開發(fā)人員可以通過該方法將3D游戲直接轉(zhuǎn)化成VR游戲，但通過該技術(shù)可以讓諸如Oculus Quest的VR一體機(jī)以較少的功耗實時渲染出高分辨率的圖像輸出效果。

盡管機(jī)器學(xué)習(xí)的細(xì)節(jié)很復(fù)雜，但其最終結(jié)果是，神經(jīng)網(wǎng)絡(luò)是使用從給定3D場景的100個視頻中捕獲的圖像進(jìn)行訓(xùn)練的，因為真實的用戶可能會從各種角度來體驗它。這些圖像都采用了全分辨進(jìn)行渲染場景，其中1600 x 900像素場景渲染時間為140.6毫秒，而400 x 225像素場景渲染時間為26.4毫秒，4×4網(wǎng)格上采樣的時間為17.68毫秒，總計渲染時間為184.68毫秒，在非常接近原始圖像的情況下，渲染時間節(jié)省了近3.2倍。這樣一來，Oculus Quest用戶將能受益于性能強(qiáng)大的PC的計算輸出結(jié)果。

研究人員表示，他們的系統(tǒng)通過提供更高的重建精度，其性能優(yōu)于最新版本虛幻引擎的時間抗鋸齒縮放技術(shù)。同時研究人員認(rèn)為NVIDIDA的深度學(xué)習(xí)超級采樣技術(shù)（DLSS）最接近其解決方案，但是DLSS依賴于專有的軟硬件，而這些軟硬件可能無法在所有平臺上都通用。相比之下，F(xiàn)acebook的解決方案不需要采用特殊的軟硬件，就可以輕松集成到3D引擎中，從而實現(xiàn)4×4超級采樣，而普通解決方案最多只能支持2×2上采樣。

雖然Facebook正在開發(fā)的神經(jīng)超采樣實時渲染技術(shù)十分新穎且應(yīng)用前景廣闊，但它還并不完美。盡管該技術(shù)通過機(jī)器學(xué)習(xí)使生成的圖像具備了穩(wěn)定的平滑度，但是在生成的過程中可能會丟失一些精細(xì)的細(xì)節(jié)。例如，如果以低分辨率進(jìn)行渲染時最后幾幀文本沒有被正確的標(biāo)記出來，那么該文本可能無法在便箋上被讀取。其次，盡管更高的性能、更好的優(yōu)化有望提高系統(tǒng)的性能，但開發(fā)“高分辨率顯示應(yīng)用”所需的高昂成本仍是短期內(nèi)難以解決的問題。

即使Facebook解決方案目前面臨著很多現(xiàn)實問題，但綜上所述，我們依舊可以清晰的看出神經(jīng)超采樣實時渲染技術(shù)對于VR/AR頭顯朝著更高分辨率、更快幀速率的方向發(fā)展起到了積極推進(jìn)作用。

【93913原創(chuàng)內(nèi)容，轉(zhuǎn)載請注明及回鏈】