
據(jù)UploadVR報道,Meta研究人員正通過先進的機器學(xué)習(xí)技術(shù)打造“Codec Avatars 2.0”。
Facebook(Meta)在2019年3月首次展示了“Codec Avatars”,其由多個神經(jīng)網(wǎng)絡(luò)提供支持,基于171個攝像頭捕獲生成,生成之后,“Codec Avatars”將由一個配置了5個攝像頭的原型VR頭顯實時驅(qū)動(其中2個攝像頭用于內(nèi)部觀察、3個攝像頭觀察外部),而隨著版本迭代,研究人員陸續(xù)展示了該系統(tǒng)例如更逼真眼動追蹤以及支持麥克風(fēng)的demo。
今年4月,在麻省理工學(xué)院“虛擬人與虛擬存在”研討會上,Codec Avatars團隊負責(zé)人Yaser Sheikh展示了該項目最新版本demo——“Codec Avatars 2.0”。
Sheikh表示:“我認為,未來十年的一個重大挑戰(zhàn)是,我們是否可以實現(xiàn)沉浸式遠程互動?”
去年發(fā)表的一篇論文中,Sheikh團隊聲稱,Codec Avatars最新模型將更小、效率更高,神經(jīng)網(wǎng)絡(luò)現(xiàn)在只計算頭顯可見的像素,有了這一進展,Quest 2頭顯將能以每秒50幀的速度在空場景中渲染5個虛擬化身。

不過,要到逼真級別的保真度,Meta研發(fā)團隊還有段路要走,如今的虛擬化身呈現(xiàn)卡通形象,非常適配于「Horizon Worlds」等大型VR社交應(yīng)用環(huán)境。
可以預(yù)見的是,Codec Avatars將會演變?yōu)榭蛇x選項,而不是最終的卡通化身形象,在接受Lex Fridman采訪時,扎克伯格描述了這樣一個未來:用戶可以在休閑游戲中使用“表現(xiàn)主義”虛擬化身,而在工作會議中使用“現(xiàn)實主義”虛擬化身。

值得一提的是,研討會期間,Sheikh指出,無法預(yù)測Codec Avatars最終形態(tài)的誕生預(yù)期,不過,Sheikh相信Codec Avatars是公司項目的“奇跡之光”。








