Meta Codec Avatar研究負(fù)責(zé)人Yaser Sheikh就化身技術(shù)在NVIDIA GTC會議上做了演講。

去年9月，Meta在Lex Fridman播客中展示了其Codec Avatars技術(shù)。科技博主弗里德曼和Meta CEO馬克·扎克伯格基于逼真的編解碼器化身進行了一小時對話，在采訪過程中，兩人都佩戴了Meta Quest Pro，該頭顯通過五個傳感器進行眼部和面部追蹤。

在NVIDIA GTC上，Yaser Sheikh表示采用配備了4個GeForce RTX 4090顯卡的工作站來渲染雙方的化身。這意味著該技術(shù)距離在Meta Quest 3等VR一體機上運行同等質(zhì)量化身還有很長的路要走，因為Quest 3的渲染處理只占一小部分。

Sheikh介紹，播客里顯示的為Codec Avatars 2.0。Sheikh后來在問答環(huán)節(jié)中表示，實驗室已經(jīng)讓Codec Avatars 1.0適用于VR一體機；這些化身可以通過智能手機面部掃描來創(chuàng)建。

最后，Sheikh還展示了Codec Avatars 3.0，其使用高斯飛濺技術(shù)將人物渲染得更加真實，甚至是一根頭發(fā)絲都清晰可見。

Meta尚未宣布何時將其Codec Avatars研究成果轉(zhuǎn)化為產(chǎn)品。Meta多年來一直致力于Codec Avatars的研究，這項研究于2019年首次向公眾展示，長期目標(biāo)是在平價頭顯上實現(xiàn)逼真的遠(yuǎn)程呈現(xiàn)。

Meta面臨的壓力是最終打造更逼真的化身：Apple Vision Pro已經(jīng)通過數(shù)字角色實現(xiàn)功能良好的遠(yuǎn)程呈現(xiàn)解決方案，盡管數(shù)字角色僅在窗口內(nèi)以二維方式顯示，但我們可以預(yù)期蘋果將在未來幾個月和幾年內(nèi)大幅改進該技術(shù)。

根據(jù)泄露的硬件路線圖，Meta Codec Avatars將應(yīng)用于一款新的高端頭顯，是否就是Meta與LG合作開發(fā)的頭顯？據(jù)報道該頭顯將于2025年上市。

扎克伯格與科技博主Lex Fridman基于“Meta Codec avatar”以虛擬化身形象進行了訪談。

Codec Avatars是Meta長期研究項目，旨在通過具備面部追蹤傳感器的頭顯或眼鏡驅(qū)動令人信服的照片級實時化身，從而徹底改變遠(yuǎn)程通信。

Meta于2019年透露了該項目的存在，并在隨后的幾年中展示了多個圖質(zhì)更新和全身版本。在機器學(xué)習(xí)技術(shù)支持下，這些化身基于部署了100多個攝像頭的專用捕捉裝置生成，如今， Meta研究人員正致力于基于智能手機掃描開拓新解決方案。

在開始訪談之前，扎克伯格和Lex Fridman都佩戴了Meta Quest Pro，該頭顯內(nèi)置面部追蹤和眼動追蹤功能。然而，目前還不清楚兩人化身是否被解碼和渲染，或者是否基于個人電腦進行。

在整個訪談過程中，Lex Fridman表達了自己的震驚之意，聲稱就感覺扎克伯格真實坐在對面一般，一度使他忘記了所看到的化身并不是真人。Lex Fridman宣稱，與之前所體驗的數(shù)字人不同，Codec Avatars沉浸效果明顯超越。

不過，Meta Codec Avatars要達到真人級別的保真度水平還有很長的路要走。值得一提的是Quest 3既沒有眼動追蹤傳感器，也沒有面部追蹤傳感器，但是，如果今年早些時候泄露的 Meta硬件發(fā)展路線圖真實的話，那么Meta的目標(biāo)可能是在下一版本Quest Pro中支持Codec Avatars。

來源：UploadVR