為了使虛擬現(xiàn)實（VR）體驗高度可信，F(xiàn)acebook Reality Labs（FRL）的研究人員開發(fā)了一種名為“Codec Avatars”的系統(tǒng)，使VR用戶能夠與他人互動，同時精確地表現(xiàn)自己的形象實時動畫。Facebook的研究科學(xué)家Shih-En Wei說：“我們的工作證明，可以精確地從緊密安裝在VR頭顯上的攝像頭制作逼真的化身。”

研究人員配置了一個帶有最少傳感器的頭顯，用于面部捕捉，系統(tǒng)可以在VR中實現(xiàn)雙向，真實的社交互動。該團隊表示，VR系統(tǒng)可以使用最少的頭顯攝像頭（HMC）精確跟蹤用戶的實時面部表情，從而以非常詳細的個人形象為頭像設(shè)置動畫。

通過使用每個像素比較轉(zhuǎn)換后的圖像，不僅僅是面部特征以及3D化身的渲染，我們可以通過可微分渲染在跟蹤頭顯的圖像和3D化身的狀態(tài)之間進行精確映射。

在映射建立后，訓(xùn)練神經(jīng)網(wǎng)絡(luò)從實時的最小一組攝像機圖像中預(yù)測人臉參數(shù)。除了為VR中的化身設(shè)置動畫外，F(xiàn)acebook團隊還在構(gòu)建系統(tǒng)，使人們能夠通過一些圖像或視頻快速輕松地創(chuàng)建自己的頭像。

Facebook團隊將在7月28日至8月1日期間在洛杉磯舉行的“SIGGRAPH 2019”上展示他們的VR實時面部動畫系統(tǒng)。

研究人員還將展示人工智能（AI）技術(shù)。網(wǎng)絡(luò)（GAN）執(zhí)行一致的多視圖圖像樣式轉(zhuǎn)換，以自動將HMC紅外圖像轉(zhuǎn)換為看起來像呈現(xiàn)的化身，但具有與VR用戶相同的面部表情的圖像。

【93913原創(chuàng)內(nèi)容，轉(zhuǎn)載請注明及回鏈】