阿里巴巴集團研究團隊近期推出了一項具有革新意義的技術(shù)——TaoAvatar，該技術(shù)致力于重塑增強現(xiàn)實（AR）體驗。通過構(gòu)建出照片級逼真的3D全身虛擬人，TaoAvatar 讓數(shù)字世界的互動變得更加生動、自然，為用戶帶來前所未有的沉浸式感受。?

TaoAvatar的核心優(yōu)勢在于能夠創(chuàng)造出與真人極為相似的3D虛擬形象，且這些形象并非僅僅用于靜態(tài)展示。在AR場景中，它們可以實時對話，展現(xiàn)出豐富多樣的表情和動作。為了達成虛擬人的生動表現(xiàn)，TaoAvatar深入研究了面部表情和身體動作的控制。借助先進的 Audio2BS 模型，虛擬人的面部表情和手勢能夠依據(jù)語音內(nèi)容精準地動態(tài)生成，實現(xiàn)口型、表情以及動作的完美同步，這讓虛擬人在交流過程中顯得自然流暢，充滿情感與生命力。

?

在流暢性層面，TaoAvatar采用了創(chuàng)新的3D高斯濺射（3DGS）技術(shù)，以此確保高質(zhì)量的實時渲染。即便是在像Apple Vision Pro這樣的高清立體顯示設(shè)備上，也能維持每秒90幀的流暢運行，從而為用戶呈現(xiàn)出平滑自然的虛擬人動作和交互體驗。不僅如此，TaoAvatar還具備低存儲需求以及出色的跨平臺兼容性，能夠輕松部署在各類移動和AR設(shè)備上。?

為了實現(xiàn)高性能和低資源占用的目標，TaoAvatar團隊運用了多種先進技術(shù)。例如，構(gòu)建個性化的服裝擴展 SMPLX 網(wǎng)格；利用教師網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜的姿態(tài)相關(guān)非剛性變形，并借助知識蒸餾技術(shù)將其優(yōu)化至一個輕量級的MLP網(wǎng)絡(luò)中。同時，團隊還開發(fā)了可學(xué)習(xí)的高斯混合形狀來強化外觀細節(jié)，進一步提升虛擬人的真實感。