Meta面向公眾發(fā)起大規(guī)模志愿者招募計(jì)劃，為參與研究的志愿者提供高達(dá)每小時(shí)50美元的豐厚報(bào)酬。此次招募旨在收集多樣化的面部表情、肢體動作以及對話交流數(shù)據(jù)，這些珍貴數(shù)據(jù)將直接服務(wù)于Meta極具前瞻性的Codec Avatars項(xiàng)目下一階段開發(fā)。作為致力于為虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）領(lǐng)域打造超逼真虛擬形象的前沿項(xiàng)目，Codec Avatars早在2019年便已完成首次概念演示，引發(fā)行業(yè)廣泛關(guān)注。據(jù)權(quán)威媒體《商業(yè)內(nèi)幕》披露，這項(xiàng)內(nèi)部代號為 “沃霍爾計(jì)劃” 的研究項(xiàng)目，由專業(yè)數(shù)據(jù)服務(wù)公司Appen負(fù)責(zé)具體運(yùn)營執(zhí)行，在項(xiàng)目相關(guān)文件中，Appen被明確標(biāo)注為Meta的重要合作伙伴。?

此次研究工作主要涵蓋“人體運(yùn)動”與“小組對話”兩大核心板塊。在“人體運(yùn)動”研究環(huán)節(jié)，參與者需嚴(yán)格按照要求精準(zhǔn)模仿特定面部表情，抑揚(yáng)頓挫地朗讀例句，并配合富有表現(xiàn)力的手勢動作，其一舉一動都將通過高精度設(shè)備進(jìn)行全方位記錄。現(xiàn)場部署的專業(yè)實(shí)驗(yàn)裝置堪稱尖端科技的集合體，不僅配備多角度高清攝像頭，還集成了降噪耳機(jī)以及各類傳感器，能夠從三維空間的各個(gè)維度，以毫秒級的精度追蹤捕捉參與者的細(xì)微動作變化。

而在 “小組對話” 研究部分，參與者將被隨機(jī)分成2 – 3人的小組，圍繞給定主題展開即興對話，或是進(jìn)行輕松有趣的即興表演。這種貼近真實(shí)社交場景的實(shí)驗(yàn)設(shè)計(jì)，旨在獲取更自然、更豐富的人際互動數(shù)據(jù)。據(jù)悉，這兩項(xiàng)重要研究預(yù)計(jì)將于今年9月在位于匹茲堡的Meta研究實(shí)驗(yàn)室正式啟動，屆時(shí)或?qū)镃odec Avatars項(xiàng)目帶來突破性的數(shù)據(jù)支撐。?

事實(shí)上，Meta始終堅(jiān)定不移地推動Codec Avatar技術(shù)從實(shí)驗(yàn)室走向大眾市場?；厮萑ツ晗奶?，Meta便密集發(fā)布了一系列與Codec Avatars項(xiàng)目緊密相關(guān)的招聘信息，涵蓋設(shè)計(jì)原型師、iOS開發(fā)人員等關(guān)鍵崗位。從招聘需求不難看出，Meta正著力構(gòu)建一項(xiàng) “內(nèi)部XR手機(jī)服務(wù)”，試圖憑借Codec Avatars強(qiáng)大的沉浸式遠(yuǎn)程呈現(xiàn)技術(shù)，重新定義未來人與人之間的互動模式，勾勒出數(shù)字化社交的全新圖景。?

Meta在Codec Avatar技術(shù)領(lǐng)域的探索成果已多次引發(fā)行業(yè)震動。去年9月，在知名播客節(jié)目中，Lex Fridman與Meta首席執(zhí)行官扎克伯格通過照片級逼真Codec Avatar進(jìn)行遠(yuǎn)程對話，驚艷的視覺效果瞬間成為熱議焦點(diǎn)。值得一提的是，為實(shí)現(xiàn)如此極致的真實(shí)感，每個(gè)虛擬形象背后都需要配備搭載四塊 GeForce RTX 4090 GPU的高性能工作站提供算力支持。

而在2024年3月，Meta研究主管Yaser Sheikh帶來了令人振奮的消息：Codec Avatars的早期簡化版本已成功實(shí)現(xiàn)獨(dú)立VR頭顯運(yùn)行，并且用戶僅需通過智能手機(jī)進(jìn)行一分鐘的面部掃描，便能快速生成專屬虛擬形象。這些便捷高效的快速掃描版本被Meta命名為 “即時(shí)Codec Avatars”，標(biāo)志著Codec Avatar技術(shù)朝著大眾化、普及化邁出了堅(jiān)實(shí)一步，也讓人們對未來虛擬社交的無限可能充滿期待。

在數(shù)字虛擬世界的潮流前沿，Meta Horizon Worlds迎來了全新的明星元素——三款Doja Cat主題化身現(xiàn)已開放購買，為用戶的虛擬化象增添別樣風(fēng)采。這些化身屬于Meta最新推出的“奇幻化身”系列，打破了傳統(tǒng)Meta化身的固有模式，成為用戶在Horizon Worlds中極具個(gè)性的可裝備替代品。
?
這三款Doja Cat化身各具特色，每一款都以750 Meta Credits（Horizon Worlds的專屬貨幣）的價(jià)格出售，換算下來約合7.50美元。這樣的定價(jià)，為用戶提供了一個(gè)以相對親民的價(jià)格，擁有明星同款虛擬形象的機(jī)會。?

事實(shí)上，將名人形象打造成虛擬世界的可購買化身早已不是新鮮事。在游戲領(lǐng)域，Epic Games 旗下的《堡壘之夜》就曾先后推出過薩布麗娜?卡彭特、愛莉安娜?格蘭德、特拉維斯?斯科特和勒布朗?詹姆斯等知名人物的皮膚；動視的《使命召喚》也不甘示弱，推出了妮琪?米娜和史努比狗狗的角色皮膚。這些成功案例都證明了名人虛擬形象在虛擬世界中擁有巨大的市場潛力。?

回顧Meta在奇幻化身領(lǐng)域的探索歷程，早在冬季假期，Meta就緊跟節(jié)日氛圍，作為冬季風(fēng)格季節(jié)活動的一部分，推出了首個(gè)奇幻化身。當(dāng)時(shí)，用戶需要通過完成特定任務(wù)，積累世界積分才能解鎖這一特殊化身。而到了2月，Meta又將漫威角色山姆?威爾遜美國隊(duì)長引入Horizon Worlds，用戶想要獲得這個(gè)化身，必須通過Horizon Central門，探索訪問五個(gè)不同的世界或參與特定事件。?

不過，需要特別留意的是，目前這些奇幻化身僅限于Horizon Worlds內(nèi)使用。也就是說，在諸如GOLF +和Eleven Table Tennis等使用Meta Avatars SDK的其他應(yīng)用中，用戶無法展示這些獨(dú)特的奇幻化身。?

此次Doja Cat化身的銷售點(diǎn)位于Horizon Worlds的音樂谷服裝攤位。值得一提的是，Horizon Worlds正在開展一項(xiàng)特別活動，從現(xiàn)在起至5月5日，平臺將以3D 180°的沉浸式視角，重播Doja Cat 2023年的Scarlett Tour音樂會。此前，該平臺僅支持2D 180°的播放方式，此次升級無疑為用戶帶來了更為震撼的視聽體驗(yàn)。此外，該攤位還同步推出了Doja Cat主題T 恤，售價(jià)僅為150 Meta Credits（約合1.50美元）。這些T恤不僅能在Horizon Worlds中展示，還會在用戶使用Meta Avatar的任何應(yīng)用中同步呈現(xiàn)，進(jìn)一步滿足了用戶個(gè)性化裝扮的需求。

Meta研究團(tuán)隊(duì)構(gòu)建了一種“大型重建模型（LRM）”，借助這一模型，僅需四張自拍照，短短幾分鐘內(nèi)便能生成可實(shí)現(xiàn)動畫效果的高真實(shí)感化身。

Meta研究照片級真實(shí)感化身生成及動畫技術(shù)已超六年。以過往經(jīng)驗(yàn)來看，其產(chǎn)出的最高質(zhì)量成果，甚至突破了恐怖谷理論所界定的范疇。

一直以來，照片級逼真化身的生成面臨著諸多難題，其中最為突出的便是所需數(shù)據(jù)量龐大以及生成耗時(shí)過長。Meta此前的頂級系統(tǒng)依賴極為昂貴的專業(yè)捕捉設(shè)備，這類設(shè)備配備了100 多個(gè)攝像頭。Meta雖曾展示過基于智能手機(jī)掃描生成低質(zhì)量化身的研究成果，然而，這一過程要求用戶在三分鐘內(nèi)做出65種不同的面部表情，且采集到的數(shù)據(jù)還需借助配備四個(gè)高端GPU的機(jī)器，耗費(fèi)數(shù)小時(shí)進(jìn)行處理。

如今，在一篇題為“Avat3r”的最新論文中，來自Meta與慕尼黑工業(yè)大學(xué)的研究人員公布了一個(gè)全新系統(tǒng)。該系統(tǒng)僅通過四張手機(jī)自拍照，就能生成可動畫化的真實(shí)感化身，整個(gè)處理過程僅需幾分鐘，而非以往的數(shù)小時(shí)。

從技術(shù)原理剖析，Avat3r基于 “大型重建模型（LRM）” 理念，運(yùn)用轉(zhuǎn)換器來處理3D視覺任務(wù)，其運(yùn)作方式類似于大型語言模型（LLM）處理自然語言，這一技術(shù)通常被稱作視覺轉(zhuǎn)換器（ViT）。此視覺轉(zhuǎn)換器主要用于預(yù)測一組3D高斯分布，類似于在Varjo Teleport、Meta Horizon Hyperscapes、Gracia以及Niantic Scaniverse等呈現(xiàn)照片級逼真場景中所涉及的高斯分布。

Avat3r動畫系統(tǒng)當(dāng)前的具體實(shí)現(xiàn)并非由VR頭戴設(shè)備的面部及眼動追蹤傳感器驅(qū)動，但從技術(shù)可行性而言，將其適配并利用此類傳感器作為輸入源并無阻礙。

盡管Avat3r在生成數(shù)據(jù)及計(jì)算需求方面已顯著降低，但距離實(shí)現(xiàn)實(shí)時(shí)渲染仍有差距。據(jù)研究人員透露，該系統(tǒng)在RTX 3090上的運(yùn)行幀率僅為8FPS。不過，在人工智能領(lǐng)域，新的研究思路在后續(xù)迭代過程中實(shí)現(xiàn)數(shù)量級的性能優(yōu)化并不罕見。Avat3r所開辟的技術(shù)路徑極具潛力，或許在不久的將來，頭戴式顯示設(shè)備用戶僅需拍攝幾張自拍照，花費(fèi)短短幾分鐘的生成時(shí)間，就能創(chuàng)建出高度逼真的化身。

英國人工智能（AI）公司Synthesia目前是一家估值21億美元的公司。

這家總部位于倫敦的企業(yè)宣布，已籌集1.8億美元新資金，用于開發(fā)旗下制作和發(fā)布AI視頻平臺。

該公司公告中表示：“四年前，我們讓世界上第一個(gè)人工智能化身栩栩如生。如今，Synthesia 平臺的發(fā)展已遠(yuǎn)遠(yuǎn)超出了這一水平——內(nèi)含配音、屏幕錄制、翻譯、協(xié)作、輔助創(chuàng)作等功能使我們的客戶能夠以無與倫比的參與度和效率進(jìn)行交流。”

Synthesia補(bǔ)充，明年將推出新的人工智能視頻產(chǎn)品，將該公司的虛擬化身技術(shù)與大語言模型和新的視頻播放器相結(jié)合。

Synthesia援引Dealroom的信息稱，目前按估值計(jì)算，其是英國最大的生成式人工智能媒體公司，也是英國第二大人工智能公司。Synthesia在七個(gè)國家設(shè)有辦事處，客戶遍布多個(gè)市場和行業(yè)，其收入的一半多一點(diǎn)來自美國市場。

正如去年報(bào)道的那樣，Synthesia的技術(shù)包括“富有表現(xiàn)力的化身”，旨在通過模糊虛擬角色和真實(shí)角色之間的界限來改變專業(yè)視頻制作。據(jù)說這項(xiàng)技術(shù)可以消除對攝像機(jī)、麥克風(fēng)、演員和冗長的編輯過程的需求，從而降低制作成本。

ESPN正在橄欖球節(jié)目SEC Nation中測試由人工智能生成的虛擬化身。該虛擬化身被稱為FACTS，將利用來自ESPN Analytics的信息“……促進(jìn)體育分析方面的教育和樂趣”，其中包括足球?qū)嵙χ笖?shù)（FPI）、球員和球隊(duì)統(tǒng)計(jì)數(shù)據(jù)以及比賽日程安排等數(shù)據(jù)。

我們還沒有看到該虛擬化身的實(shí)際運(yùn)行，但聽起來像是統(tǒng)計(jì)百科全書Howie Schwab的機(jī)器人版本，Howie Schwab是ESPN的第一位統(tǒng)計(jì)學(xué)家，并最終成為2000年代中期游戲節(jié)目Stump the Schwab的明星。

ESPN已將生成式AI引入其網(wǎng)站，并推出由AI編寫的比賽回顧。FACTS仍處于開發(fā)階段，目前尚不清楚何時(shí)會在該網(wǎng)絡(luò)上亮相。

FACTS使用NVIDIA ACE（Avatar云引擎）、Azure OpenAI集成來支持語言處理，并使用 ElevenLabs來實(shí)現(xiàn)文本轉(zhuǎn)語音功能。

ESPN Edge創(chuàng)新大會上，該網(wǎng)絡(luò)聲稱 FACTS“絕對不是”為了取代記者或其他人才而創(chuàng)建的。該公司表示：“FACTS旨在在市場上測試創(chuàng)新，并為ESPN Analytics的數(shù)據(jù)創(chuàng)造一個(gè)渠道，讓粉絲能夠以引人入勝和愉快的方式獲取這些數(shù)據(jù)?！?/p>

最近招聘信息表明，Meta Codec Avatars虛擬化身即將走出實(shí)驗(yàn)室，進(jìn)入產(chǎn)品階段。

Meta目前有多個(gè)與Codec Avatars相關(guān)的空缺職位，該公司正在招聘一名設(shè)計(jì)原型師和一名 iOS開發(fā)工程師等。

根據(jù)描述，Meta想要構(gòu)建一個(gè)“內(nèi)部XR呼叫服務(wù)”：

“在我們的團(tuán)隊(duì)中，你將探索、設(shè)計(jì)原型并構(gòu)建體驗(yàn)，定義人們?nèi)绾瓮ㄟ^Codec Avatars沉浸式遠(yuǎn)程呈現(xiàn)進(jìn)行交互的未來；你將與工程師、科學(xué)家和研究產(chǎn)品經(jīng)理密切合作，構(gòu)建和擴(kuò)展內(nèi)部XR呼叫服務(wù)，并解決獨(dú)特、復(fù)雜且微妙的用戶和研究人員挑戰(zhàn)。”

對于iOS開發(fā)人員來說，Meta正在招聘“具有用戶界面、基礎(chǔ)設(shè)施和/或使用iOS SDK開發(fā) iPhone或iPad應(yīng)用工具”的工程師。

Meta多年來一直在研究Codec Avatars；該研究于2019年首次向公眾展示。

2023年，博主Lex Fridman采用Codec Avatars對Meta CEO馬克·扎克伯格進(jìn)行了采訪。

Meta沒有透露的是，Codec Avatars使用配備4塊GeForce RTX 4090顯卡的工作站來實(shí)時(shí)渲染虛擬化身。而這并不是該技術(shù)商業(yè)化的唯一障礙：人們必須在專門的工作室中進(jìn)行細(xì)致的掃描。

不過，2024年3月，Meta研究主管Yaser Sheikh在一次演講中表示，Codec Avatars舊版、不太逼真的版本已經(jīng)可在VR一體機(jī)上運(yùn)行，用戶只需用智能手機(jī)掃描一分鐘的臉部即可創(chuàng)建化身，Meta將這稱為即時(shí)Codec Avatars。

iOS開發(fā)工程師的職責(zé)可能是創(chuàng)建一個(gè)App，以指導(dǎo)用戶完成掃描過程并使用未來的Quest 頭顯實(shí)現(xiàn)XR通話。

最近也有跡象表明Codec Avatars即將推出，因?yàn)楸砻髌湟褜?shí)現(xiàn)的代碼字符串在Quest固件中被發(fā)現(xiàn)；尚不清楚Codec Avatars可能會應(yīng)用于哪些頭顯。目前，只有Meta Quest Pro支持面部和眼部追蹤；像Quest 3必須根據(jù)語音等其他因素來猜測面部表情。

由于蘋果憑借Spatial Personas功能搶先一步，Meta也渴望最終將這項(xiàng)技術(shù)商業(yè)化，并希望在2024年Meta Connect上能推出這項(xiàng)技術(shù)。

即將推出的Meta Avatars虛擬化身大修正由Meta員工進(jìn)行測試。

VR愛好者Luna發(fā)現(xiàn)一些Meta員工的Horizon個(gè)人資料顯示的虛擬化身風(fēng)格與當(dāng)前的Meta Avatars完全不同。

大約兩年前，Meta CEO馬克·扎克伯格在Meta Connect 2022上首次通過CGI模型宣布了即將到來的改革，彼時(shí)他說改革將在2023年實(shí)施，但顯然沒有實(shí)現(xiàn)。

Meta Avatars去年確實(shí)增加了腿部顯示，至少在Horizon Home和Horizon Worlds中是如此，這是一個(gè)重大更新，因?yàn)樵诖酥疤摂M化身因僅包括上身而受到廣泛詬病。

Meta Avatars第三方應(yīng)用SDK也在去年12月推出，但目前還不具備動畫，所以開發(fā)者必須手動實(shí)現(xiàn)這一點(diǎn)，這是一項(xiàng)艱巨的任務(wù)。

據(jù)悉，Meta可能會在9月25日至26日舉行的Connect 2024上推出或至少宣布全新Meta Avatars化身。

「VRChat」現(xiàn)可自動生成APP用戶可看到的PC化身版本。

該功能名為“Impostors”，于去年12月初隨版本2023.4.2發(fā)布，該功能的推出彌合了「VRChat」PC和APP版本用戶之間的鴻溝。

除了推出支持VR模式的PC版本，「VRChat」還上線了Android手機(jī)Google Play商店以及Meta Quest、PICO 4和Vive XR Elite應(yīng)用商店。

然而由于大多數(shù)PC空間和虛擬化身都過于細(xì)致，無法高效運(yùn)行于移動芯片組，因此「VRChat」采用了半碎片化方法。如果創(chuàng)作者希望VR一體機(jī)和APP用戶也能體驗(yàn)PC內(nèi)容，那么就需要針對性優(yōu)化版本。創(chuàng)作者可上傳同一內(nèi)容的兩個(gè)版本，一個(gè)應(yīng)用于PC，另一個(gè)應(yīng)用于移動設(shè)備。

如果用戶尚未上傳化身APP優(yōu)化版本，則VR一體機(jī)和APP用戶則會看到一個(gè)后備化身，該化身可能與PC版本化身完全不同。

由此，基于「VRChat」新“Impostors”功能，APP用戶只需點(diǎn)擊幾下，就可自動生成與其化身非常相似的APP優(yōu)化版本，盡管視覺保真度較低。