“NeRF”是一種基于深度學(xué)習(xí)從多個(gè)角度拍攝2D圖像以創(chuàng)建3D圖像的解決方案，谷歌此次發(fā)布的視頻由使用DSLR（數(shù)碼單鏡頭反光）相機(jī)拍攝的照片組成，并沒(méi)有使用360度全景相機(jī)進(jìn)行拍攝。
首先，SfM（一種使用軟件分析照片等作為3D點(diǎn)云數(shù)據(jù)的方法）創(chuàng)建反映拍攝圖像的位置信息、與其他照片的相關(guān)程度、焦距等的數(shù)據(jù)。之后，用“NeRF”生成圖像；這次使用的“NeRF”模型的學(xué)習(xí)是在拍攝現(xiàn)場(chǎng)從頭開(kāi)始進(jìn)行的，并介紹了一些與Alphabet開(kāi)發(fā)的“NeRF”相關(guān)開(kāi)放研究數(shù)據(jù)。
未來(lái)，谷歌計(jì)劃繼續(xù)進(jìn)行與“NeRF”相關(guān)的研究，該公司將為每個(gè)場(chǎng)景（視頻）添加語(yǔ)義信息，并支持戶(hù)外拍攝照片生成視頻。
來(lái)源：MoguraVR
NeRF指的是神經(jīng)網(wǎng)絡(luò)中的3D場(chǎng)景，研究人員表示，一項(xiàng)新研究將使AI應(yīng)用于動(dòng)態(tài)場(chǎng)景，這使得NeRF可面向VR。
神經(jīng)輻射場(chǎng)（NeRF）從圖像中學(xué)習(xí)3D表示，然后可以從以往看不到的角度渲染3D場(chǎng)景，例如，這將能實(shí)現(xiàn)圍繞物體進(jìn)行360度攝像機(jī)巡視、通過(guò)無(wú)人機(jī)鏡頭進(jìn)行飛行巡視或在餐廳內(nèi)部漫步，不僅如此該技術(shù)還可以創(chuàng)建逼真的3D對(duì)象。
然而，在幾乎所有情況下，NeRF場(chǎng)景或?qū)ο蠖际庆o態(tài)的，因?yàn)檫\(yùn)動(dòng)為訓(xùn)練過(guò)程引入了難以解決的時(shí)間維度，現(xiàn)在，一個(gè)新的工藝可以解決這個(gè)問(wèn)題。
動(dòng)態(tài)場(chǎng)景NeRF
在一篇新的研究論文中，來(lái)自布法羅大學(xué)、蘇黎世聯(lián)邦理工學(xué)院、InnoPeak Technology和圖賓根大學(xué)的團(tuán)隊(duì)演示了從2D圖像中學(xué)習(xí)4D表示的NeRF動(dòng)態(tài)場(chǎng)景。
該演示以來(lái)自不同相機(jī)或單個(gè)移動(dòng)相機(jī)的RGB圖像為輸入源。例如，圖像中，一個(gè)人正在移動(dòng)或有人正在將咖啡倒入玻璃杯中。
為了使動(dòng)態(tài)場(chǎng)景具有自適應(yīng)性，團(tuán)隊(duì)將演示分為了三種時(shí)間模式：靜態(tài)、變形和新區(qū)域。在咖啡示例中，放置玻璃杯的木板保持靜止，玻璃杯整體物被歸類(lèi)為新區(qū)域，可見(jiàn)的手被歸類(lèi)為變形，分解字段將場(chǎng)景劃分為三個(gè)類(lèi)別，每個(gè)區(qū)域都有專(zhuān)屬神經(jīng)域。
不僅如此，研究人員還將時(shí)間和空間維度解耦以改善表征。
NeRFPlayer啟用NeRF流
與其他方法相比，動(dòng)態(tài)場(chǎng)景分解表示顯著減少了視覺(jué)偽影，該團(tuán)隊(duì)還演示了NeRFPlayer，這是一種以有限比特率實(shí)時(shí)流式傳輸學(xué)習(xí)表示的方法。
NVIDIA InstantNGP框架允許神經(jīng)網(wǎng)絡(luò)在幾秒鐘內(nèi)學(xué)習(xí)千兆像素圖像、3D對(duì)象和NeRF表示，也使得所提出的方法更快速。
“我們提出了一個(gè)框架，用于從多相機(jī)和單相機(jī)捕獲的圖像以表示動(dòng)態(tài)場(chǎng)景，我們框架的關(guān)鍵組件是分解模塊和特征流模塊，分解模塊將場(chǎng)景分解為靜態(tài)、變形和新區(qū)域，然后設(shè)計(jì)了一種基于滑動(dòng)窗口的混合表示以對(duì)分解的神經(jīng)場(chǎng)進(jìn)行建模，并通過(guò)多相機(jī)和單相機(jī)數(shù)據(jù)集實(shí)驗(yàn)驗(yàn)證了該方法的有效性。”
在論文中，該團(tuán)隊(duì)將虛擬現(xiàn)實(shí)中真實(shí)4D時(shí)空環(huán)境的視覺(jué)探索描述為可視化，并認(rèn)為其研究有助于這一目標(biāo)的實(shí)現(xiàn)，“在VR中自由可視化探索4D時(shí)空是一個(gè)長(zhǎng)期追求，當(dāng)僅使用幾個(gè)甚至單個(gè)RGB相機(jī)來(lái)捕捉動(dòng)態(tài)場(chǎng)景時(shí)，這項(xiàng)任務(wù)更具吸引力?！毖芯咳藛T說(shuō)。
來(lái)源：Mixed