阿里巴巴集團(tuán)研究團(tuán)隊(duì)近期推出了一項(xiàng)具有革新意義的技術(shù)——TaoAvatar，該技術(shù)致力于重塑增強(qiáng)現(xiàn)實(shí)（AR）體驗(yàn)。通過(guò)構(gòu)建出照片級(jí)逼真的3D全身虛擬人，TaoAvatar 讓數(shù)字世界的互動(dòng)變得更加生動(dòng)、自然，為用戶(hù)帶來(lái)前所未有的沉浸式感受。?

TaoAvatar的核心優(yōu)勢(shì)在于能夠創(chuàng)造出與真人極為相似的3D虛擬形象，且這些形象并非僅僅用于靜態(tài)展示。在AR場(chǎng)景中，它們可以實(shí)時(shí)對(duì)話(huà)，展現(xiàn)出豐富多樣的表情和動(dòng)作。為了達(dá)成虛擬人的生動(dòng)表現(xiàn)，TaoAvatar深入研究了面部表情和身體動(dòng)作的控制。借助先進(jìn)的 Audio2BS 模型，虛擬人的面部表情和手勢(shì)能夠依據(jù)語(yǔ)音內(nèi)容精準(zhǔn)地動(dòng)態(tài)生成，實(shí)現(xiàn)口型、表情以及動(dòng)作的完美同步，這讓虛擬人在交流過(guò)程中顯得自然流暢，充滿(mǎn)情感與生命力。

?

在流暢性層面，TaoAvatar采用了創(chuàng)新的3D高斯濺射（3DGS）技術(shù)，以此確保高質(zhì)量的實(shí)時(shí)渲染。即便是在像Apple Vision Pro這樣的高清立體顯示設(shè)備上，也能維持每秒90幀的流暢運(yùn)行，從而為用戶(hù)呈現(xiàn)出平滑自然的虛擬人動(dòng)作和交互體驗(yàn)。不僅如此，TaoAvatar還具備低存儲(chǔ)需求以及出色的跨平臺(tái)兼容性，能夠輕松部署在各類(lèi)移動(dòng)和AR設(shè)備上。?

為了實(shí)現(xiàn)高性能和低資源占用的目標(biāo)，TaoAvatar團(tuán)隊(duì)運(yùn)用了多種先進(jìn)技術(shù)。例如，構(gòu)建個(gè)性化的服裝擴(kuò)展 SMPLX 網(wǎng)格；利用教師網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜的姿態(tài)相關(guān)非剛性變形，并借助知識(shí)蒸餾技術(shù)將其優(yōu)化至一個(gè)輕量級(jí)的MLP網(wǎng)絡(luò)中。同時(shí)，團(tuán)隊(duì)還開(kāi)發(fā)了可學(xué)習(xí)的高斯混合形狀來(lái)強(qiáng)化外觀細(xì)節(jié)，進(jìn)一步提升虛擬人的真實(shí)感。