NeRF指的是神經(jīng)網(wǎng)絡(luò)中的3D場景，研究人員表示，一項(xiàng)新研究將使AI應(yīng)用于動(dòng)態(tài)場景，這使得NeRF可面向VR。

神經(jīng)輻射場（NeRF）從圖像中學(xué)習(xí)3D表示，然后可以從以往看不到的角度渲染3D場景，例如，這將能實(shí)現(xiàn)圍繞物體進(jìn)行360度攝像機(jī)巡視、通過無人機(jī)鏡頭進(jìn)行飛行巡視或在餐廳內(nèi)部漫步，不僅如此該技術(shù)還可以創(chuàng)建逼真的3D對(duì)象。

然而，在幾乎所有情況下，NeRF場景或?qū)ο蠖际庆o態(tài)的，因?yàn)檫\(yùn)動(dòng)為訓(xùn)練過程引入了難以解決的時(shí)間維度，現(xiàn)在，一個(gè)新的工藝可以解決這個(gè)問題。

動(dòng)態(tài)場景NeRF

在一篇新的研究論文中，來自布法羅大學(xué)、蘇黎世聯(lián)邦理工學(xué)院、InnoPeak Technology和圖賓根大學(xué)的團(tuán)隊(duì)演示了從2D圖像中學(xué)習(xí)4D表示的NeRF動(dòng)態(tài)場景。

該演示以來自不同相機(jī)或單個(gè)移動(dòng)相機(jī)的RGB圖像為輸入源。例如，圖像中，一個(gè)人正在移動(dòng)或有人正在將咖啡倒入玻璃杯中。

為了使動(dòng)態(tài)場景具有自適應(yīng)性，團(tuán)隊(duì)將演示分為了三種時(shí)間模式：靜態(tài)、變形和新區(qū)域。在咖啡示例中，放置玻璃杯的木板保持靜止，玻璃杯整體物被歸類為新區(qū)域，可見的手被歸類為變形，分解字段將場景劃分為三個(gè)類別，每個(gè)區(qū)域都有專屬神經(jīng)域。

不僅如此，研究人員還將時(shí)間和空間維度解耦以改善表征。

NeRFPlayer啟用NeRF流

與其他方法相比，動(dòng)態(tài)場景分解表示顯著減少了視覺偽影，該團(tuán)隊(duì)還演示了NeRFPlayer，這是一種以有限比特率實(shí)時(shí)流式傳輸學(xué)習(xí)表示的方法。

NVIDIA InstantNGP框架允許神經(jīng)網(wǎng)絡(luò)在幾秒鐘內(nèi)學(xué)習(xí)千兆像素圖像、3D對(duì)象和NeRF表示，也使得所提出的方法更快速。

“我們提出了一個(gè)框架，用于從多相機(jī)和單相機(jī)捕獲的圖像以表示動(dòng)態(tài)場景，我們框架的關(guān)鍵組件是分解模塊和特征流模塊，分解模塊將場景分解為靜態(tài)、變形和新區(qū)域，然后設(shè)計(jì)了一種基于滑動(dòng)窗口的混合表示以對(duì)分解的神經(jīng)場進(jìn)行建模，并通過多相機(jī)和單相機(jī)數(shù)據(jù)集實(shí)驗(yàn)驗(yàn)證了該方法的有效性。”

在論文中，該團(tuán)隊(duì)將虛擬現(xiàn)實(shí)中真實(shí)4D時(shí)空環(huán)境的視覺探索描述為可視化，并認(rèn)為其研究有助于這一目標(biāo)的實(shí)現(xiàn)，“在VR中自由可視化探索4D時(shí)空是一個(gè)長期追求，當(dāng)僅使用幾個(gè)甚至單個(gè)RGB相機(jī)來捕捉動(dòng)態(tài)場景時(shí)，這項(xiàng)任務(wù)更具吸引力?！毖芯咳藛T說。

來源：Mixed