高斯濺射賦能,4DV AI以WebXR演示重塑6DoF視頻體驗

?? 由 文心大模型 生成的文章摘要

近日,4DV AI帶來令人矚目的技術(shù)突破,推出基于20個攝像機視圖創(chuàng)建的體積6DoF(六自由度)視頻的WebXR演示。用戶只需擁有VR頭顯,即刻便能踏入這場沉浸式的視覺盛宴,感受前沿科技帶來的震撼體驗。

4DV AI的技術(shù)之所以能實現(xiàn)如此驚艷的效果,核心在于其采用的高斯濺射技術(shù)。這項技術(shù)巧妙借助機器學(xué)習(xí)領(lǐng)域的最新成果,如同一位技藝精湛的“數(shù)字雕刻家”,能夠從普通的視頻輸入中“訓(xùn)練”出逼真的體積輸出。

在當(dāng)下的科技發(fā)展浪潮中,高斯濺射技術(shù)對于逼真體積渲染的意義,絲毫不亞于大型語言模型(LLM)之于聊天機器人——它正推動著相關(guān)技術(shù)走出高成本、小范圍應(yīng)用的困境,逐漸融入大眾視野。從高端專業(yè)設(shè)備Varjo Teleport,到面向大眾的Niantic Scaniverse,高斯濺射技術(shù)的身影無處不在,正加速著體積渲染技術(shù)的普及與革新。?

與此前同類技術(shù)相比,4DV AI的優(yōu)勢極為顯著。以Gracia為例,去年其發(fā)布的移動飛濺演示雖然引發(fā)關(guān)注,但其系統(tǒng)訓(xùn)練一幀圖像竟需漫長的六分鐘,這無疑極大限制了應(yīng)用場景和效率。反觀4DV AI,其研究論文中明確指出,技術(shù)速度實現(xiàn)了質(zhì)的飛躍,達到Gracia的30倍之多,能夠在相同的六分鐘內(nèi),完成整整一秒視頻的訓(xùn)練。不僅如此,在拍攝場景搭建方面,二者也存在巨大差異。

Gracia的場景搭建堪稱“豪華配置”,需要使用昂貴且笨重的攝影棚,數(shù)十臺攝像機圍繞拍攝對象呈球形排列,如此復(fù)雜的設(shè)置不僅成本高昂,而且拍攝過程中幾乎難以納入完整背景。4DV AI則另辟蹊徑,僅需約20臺普通攝像機,在場景一側(cè)捕捉整個正面弧線即可完成拍攝。雖然這尚未達到傻瓜相機般簡單易用的程度,但對于專業(yè)攝影師而言,搭建這樣的拍攝方案已是相對輕松便捷。?

在數(shù)據(jù)處理效率方面,4DV AI同樣表現(xiàn)亮眼。其每秒鏡頭的數(shù)據(jù)量約為12.5兆字節(jié),這意味著在每秒100兆比特的互聯(lián)網(wǎng)連接條件下,理論上每秒鏡頭僅需一秒的加載時間,極大減少了用戶等待時長,讓流暢的沉浸式體驗不再是空想。?

進入4DV AI的WebXR演示,用戶仿若置身于一段獨特的180°3D視頻之中。與傳統(tǒng)視頻不同的是,這段視頻具備6DoF特性,用戶可以自由傾斜身體,場景會根據(jù)視角變化做出自然響應(yīng),不會出現(xiàn)如同固定在頭上般的生硬移動,仿佛真正置身于立體的虛擬世界。不過需要注意的是,當(dāng)用戶遠離攝像頭重疊的中心區(qū)域,尤其是進入完全遮擋的區(qū)域時,畫面可能會出現(xiàn)模糊和偽影。盡管目前的重建效果尚未達到盡善盡美,但相較于傳統(tǒng)的沉浸式視頻,這種自由傾斜視角的能力已然是一次重大突破,為用戶帶來了前所未有的交互體驗。?

想要親自體驗4DV AI的WebXR演示十分便捷。無論是使用Quest、PICO、Apple Vision Pro等獨立頭顯,在其自帶的網(wǎng)絡(luò)瀏覽器中打開;還是通過支持WebXR的瀏覽器,如Chrome,在PC VR設(shè)備上開啟,都能輕松實現(xiàn)。演示內(nèi)容豐富多樣,包含八個10秒的精彩片段,還有一些精心設(shè)計的靜態(tài)場景。即便暫時沒有VR頭顯,也能通過平面屏幕觀看所有場景,同樣能領(lǐng)略到4DV AI技術(shù)的魅力。?

從實際體驗來看,在Apple Vision Pro和PC VR設(shè)備上,演示運行相對流暢,畫面抖動較小,能夠為用戶帶來較為舒適的沉浸式體驗。而在Quest3設(shè)備上,部分用戶可能會遇到屏幕空間偽影和較為嚴重的性能問題。由此可見,不同設(shè)備上的體驗會有所差異,用戶可以根據(jù)自身設(shè)備情況,感受4DV AI技術(shù)帶來的獨特魅力。

「93913原創(chuàng)內(nèi)容,轉(zhuǎn)載請注明出處」