隨著對AR體驗逼真的體積視頻的需求開始增長，Google的研究人員找到了解決方案。Google團隊設計了一個名為“The Relightables”的系統(tǒng)，該系統(tǒng)由一個球形籠子組成，裝有330個可編程LED燈和大約100個用于捕獲體積視頻的攝像機。

“The Relightables”系統(tǒng)實現(xiàn)了三項創(chuàng)新。首先，該系統(tǒng)的攝像機用作深度傳感器，捕獲其主體的12.4MP深度圖。其次，該團隊創(chuàng)建了幾何和機器學習重建管道，以從捕獲的數(shù)據(jù)中合成視頻。

最后，該系統(tǒng)還捕獲與深度圖時間同步的反射率圖，從而可以在AR或VR場景中操縱對象的照明，而無需維護原始工作室的照明。該信息是通過交替閃爍兩種不同的顏色漸變圖案獲得的，系統(tǒng)在視頻重建期間將其用于推斷對象的反射特性。

該團隊最近通過計算機協(xié)會發(fā)表了研究結(jié)果，其研究結(jié)果將在SIGGRAPH Asia 2019上發(fā)表。

研究小組在論文摘要中寫道：“盡管在體積捕獲系統(tǒng)方面取得了重大進展，重點是具有高分辨率紋理的3D幾何重建，但是在恢復照明所需的光度特性方面所做的工作卻少得多。”

“相比之下，大量工作已經(jīng)解決了基于圖像的方法的可重新照明獲取的問題，該方法在一組基本照明條件下拍攝對象并重新組合圖像以顯示對象，就像它們將出現(xiàn)在目標照明環(huán)境中一樣。但是，迄今為止，這些方法還沒有適合在高分辨率的體積捕獲系統(tǒng)中使用，我們的方法結(jié)合了這種能力，并具有自由視點體積捕獲和新的幾何水平的優(yōu)點。”

在過去的兩年中，體積視頻領域一直穩(wěn)定增長。除了Microsoft的Mixed Reality Capture Studios外，索尼還建立了自己的工作室，而Verizon收購Jaunt是因為其涉足體積捕獲技術(shù)。

《紐約時報》展示了體積視頻如何增強增強現(xiàn)實內(nèi)容的沉浸式敘事效果，而8th Wall已將對該格式的支持擴展到基于Web的AR平臺。同時，Magic Leap收購了Mimesys及其實時全息視頻通話技術(shù)，顯示了體積視頻捕獲將如何改變?nèi)藗冊诓痪玫膶磉M行交流的方式。

【93913原創(chuàng)內(nèi)容，轉(zhuǎn)載請注明及回鏈】