Facebook的AR / VR研發(fā)小組Facebook Reality Labs發(fā)布了關(guān)于實(shí)時(shí)虛擬化身的方法的詳細(xì)研究。Facebook Reality Labs創(chuàng)建了一個(gè)系統(tǒng)，能夠通過緊湊的硬件實(shí)現(xiàn)前所未有的保真度，實(shí)時(shí)動(dòng)畫虛擬化身。通過頭顯內(nèi)部的三個(gè)標(biāo)準(zhǔn)攝像頭，系統(tǒng)能夠更準(zhǔn)確地表示特定個(gè)體復(fù)雜面部姿勢的細(xì)微差別。

除了將相機(jī)固定在頭顯上之外，研究的重點(diǎn)還在于使用傳入圖像來表達(dá)用戶的虛擬表示的技術(shù)魔力。

解決方案在很大程度上依賴于機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺。“我們的系統(tǒng)實(shí)時(shí)運(yùn)行，它適用于各種表情，包括做鬼臉，咬唇以及難以精確制作的皺紋等細(xì)節(jié)。”

該小組深入研究了虛擬化身系統(tǒng)方法，“通過多視圖圖像掃描VR面部動(dòng)畫”該文件解釋了該項(xiàng)目如何創(chuàng)建兩個(gè)獨(dú)立的實(shí)驗(yàn)頭顯，一個(gè)“Training”頭顯和一個(gè)“Track”頭顯。

Training頭顯體積較大，使用九個(gè)攝像頭，可以捕捉到對象臉部和眼睛的更廣泛視野。這樣做使得更容易找到輸入圖像與先前用戶的數(shù)字掃描之間的“對應(yīng)”（決定輸入圖像部分代表化身的哪些部分）。

一旦建立了通信，就可以使用更緊湊的“Track”頭顯。它的三個(gè)攝像頭對準(zhǔn)了“Training”頭顯上九個(gè)攝像頭中的三個(gè)。由于從“Training”頭顯收集的數(shù)據(jù)可以更好地理解這三個(gè)攝像機(jī)的視圖，這使得輸入能夠準(zhǔn)確地驅(qū)動(dòng)化身的動(dòng)畫。

【93913原創(chuàng)內(nèi)容，轉(zhuǎn)載請注明及回鏈】