4月18日，華晨寶馬領(lǐng)悅數(shù)字信息技術(shù)有限公司（以下簡(jiǎn)稱 “領(lǐng)悅”）與字節(jié)跳動(dòng)旗下云服務(wù)平臺(tái)火山引擎宣布達(dá)成合作。雙方將圍繞人工智能（AI）在汽車營(yíng)銷服務(wù)的創(chuàng)新應(yīng)用展開深入探索，通過“AI+場(chǎng)景” 的融合，實(shí)現(xiàn)高效產(chǎn)品匹配與購車建議、精確內(nèi)容引導(dǎo)等功能，全面提升用戶購車體驗(yàn)與經(jīng)銷商運(yùn)營(yíng)效能。?

領(lǐng)悅作為寶馬集團(tuán)全球首家獨(dú)立數(shù)字業(yè)務(wù)公司，自2019年成立以來，一直是寶馬在數(shù)字化運(yùn)營(yíng)與創(chuàng)新方面的核心載體。此次合作是寶馬在發(fā)布“360度全鏈AI戰(zhàn)略” 后，與中國(guó)科技企業(yè)在本土化創(chuàng)新領(lǐng)域的又一重要舉措。寶馬集團(tuán)大中華區(qū)總裁兼首席執(zhí)行官高翔表示：“人工智能是寶馬構(gòu)建智能化出行生態(tài)的核心驅(qū)動(dòng)力。隨著‘360度全鏈AI戰(zhàn)略’的推進(jìn)，我們正加速將AI技術(shù)融入各個(gè)業(yè)務(wù)環(huán)節(jié)。此次與字節(jié)跳動(dòng)的合作，是我們AI戰(zhàn)略在營(yíng)銷服務(wù)領(lǐng)域的重要實(shí)踐，將以技術(shù)創(chuàng)新驅(qū)動(dòng)營(yíng)銷模式變革，優(yōu)化數(shù)字化客戶旅程，同時(shí)賦能經(jīng)銷商伙伴提升運(yùn)營(yíng)效率?！?

火山引擎作為字節(jié)跳動(dòng)旗下的云和AI服務(wù)平臺(tái)，擁有領(lǐng)先的大模型技術(shù)、語意理解和場(chǎng)景化服務(wù)能力?；鹕揭婵偛米T待表示：“我們非常榮幸能夠與寶馬在中國(guó)深化合作?；诨鹕揭嬖诖竽Ｐ汀⒅悄芡扑]與企業(yè)數(shù)字化方面的技術(shù)積累，我們將與寶馬共同探索在高價(jià)值產(chǎn)業(yè)鏈中的場(chǎng)景化創(chuàng)新，助力其在中國(guó)市場(chǎng)持續(xù)引領(lǐng)。”?

根據(jù)合作規(guī)劃，雙方將重點(diǎn)開發(fā)深度定制的寶馬專屬線上智能營(yíng)銷工具，實(shí)現(xiàn)數(shù)據(jù)、響應(yīng)與服務(wù)全路徑的AI技術(shù)融合。具體應(yīng)用包括：通過AI算法為用戶提供個(gè)性化產(chǎn)品匹配與購車建議，幫助用戶更快速地找到符合自身需求的車型；利用精確內(nèi)容推薦減少用戶信息過載，讓用戶更高效地獲取有價(jià)值的購車信息；提供7×24小時(shí)實(shí)時(shí)智能客服響應(yīng)，隨時(shí)解答用戶疑問，縮短購車決策周期；打造沉浸式數(shù)字互動(dòng)體驗(yàn)，增強(qiáng)用戶與品牌的互動(dòng)。例如，用戶在抖音等平臺(tái)訪問寶馬線上渠道時(shí)，系統(tǒng)將自動(dòng)匹配附近經(jīng)銷商，生成個(gè)性化配置方案，并通過智能客服進(jìn)行實(shí)時(shí)對(duì)話式交互，大大提升整體購車便捷度和滿意度。?

然而，雖然有傳統(tǒng)的點(diǎn)云、網(wǎng)格以及現(xiàn)在火熱的隱式輻射場(chǎng)（NeRF）等三維表征，但想將三維應(yīng)用在直播媒體層面卻尤為困難，原因在于三維產(chǎn)出的數(shù)據(jù)量遠(yuǎn)大于傳統(tǒng)直播鏈路，需要更高的帶寬以及特定的三維顯示設(shè)備來確保流暢的傳輸和播放。

面對(duì)這一挑戰(zhàn)，火山引擎多媒體實(shí)驗(yàn)室近期提出了一項(xiàng)突破性技術(shù)——可實(shí)時(shí)交互的自由視角視頻技術(shù)。這項(xiàng)技術(shù)通過鏈路革新，為三維直播媒體的發(fā)展貢獻(xiàn)了重要力量。2024年7月27日至8月1日，在美國(guó)科羅拉多州丹佛市舉辦的SIGGRAPH 2024的沉浸體驗(yàn)展館中，火山引擎多媒體實(shí)驗(yàn)室會(huì)展示這項(xiàng)最新的研究成果。

接下來，讓我們跟隨小編的步伐，揭開這項(xiàng)技術(shù)的面紗一探究竟：

首先火山引擎多媒體實(shí)驗(yàn)室使用稀疏的多同步相機(jī)陣列進(jìn)行光場(chǎng)采集，而面對(duì)高精度光場(chǎng)重建難題，實(shí)驗(yàn)室提出了基于三維人體先驗(yàn)的神經(jīng)輻射場(chǎng)技術(shù)。神經(jīng)輻射場(chǎng)（NeRF）技術(shù)是一種先進(jìn)的深度學(xué)習(xí)方法，能夠從多視角二維圖像中學(xué)習(xí)和重建三維場(chǎng)景的連續(xù)體積表示，并從任意視角渲染出逼真的三維視圖?？紤]到采集主體多以人物為主，可通過AI模型計(jì)算二維人體先驗(yàn)，再利用相機(jī)間位置關(guān)系投射到三維空間，從而形成了一個(gè)粗糙的人體可視外殼。通過訓(xùn)練階段將輻射場(chǎng)中的光線限制在可視外殼內(nèi)，可以得到更準(zhǔn)確的幾何表征，同時(shí)也抑制了人體外離群噪聲的出現(xiàn)。更重要的是，光線遍歷的范圍大幅減少，極大的降低了輻射場(chǎng)生成的時(shí)間。

其次是更為關(guān)鍵的問題——如何進(jìn)行三維內(nèi)容的傳輸和呈現(xiàn)。對(duì)此，多媒體實(shí)驗(yàn)室聯(lián)合視頻架構(gòu)直播團(tuán)隊(duì)，搭建了一條可實(shí)時(shí)交互的直播鏈路。這一鏈路不僅包括了高效的模型壓縮編碼傳輸，還實(shí)現(xiàn)了移動(dòng)端側(cè)的快速解碼渲染。

直播鏈路流程圖如下所示：

可以看到，人物模型會(huì)首先被轉(zhuǎn)換為一系列多視角的視頻幀，隨后通過高效的聚合編碼技術(shù)，這些幀以離散化的視頻流形式被優(yōu)化壓縮，確保了與現(xiàn)行視頻編碼標(biāo)準(zhǔn)的完美對(duì)接。在移動(dòng)設(shè)備端，實(shí)驗(yàn)室獨(dú)立研發(fā)的空間計(jì)算模塊能夠?qū)崟r(shí)捕捉用戶的視角和位置變化，迅速轉(zhuǎn)化為精確的切流指令，指導(dǎo)快速拉流模塊獲取并呈現(xiàn)相應(yīng)的視頻內(nèi)容。特別值得一提的是，直播技術(shù)團(tuán)隊(duì)開發(fā)了快速拉流算法，可以實(shí)現(xiàn)了低于100毫秒的超低延時(shí)切流，保障了視角轉(zhuǎn)換的無縫流暢，而空間計(jì)算技術(shù)除了加深用戶與三維視頻內(nèi)容的互動(dòng)，還承載了三維場(chǎng)景與視頻內(nèi)容的融合，極大地增強(qiáng)了沉浸感，為用戶帶來了前所未有的觀看體驗(yàn)。

然而，三維只是人們獲取真實(shí)感的起點(diǎn)， 為了獲得更高維度的沉浸感，實(shí)驗(yàn)室聯(lián)合PICO硬件團(tuán)隊(duì)研發(fā)了一款力反饋模組，該模組主要通過雙通道的低延遲數(shù)據(jù)傳輸，震動(dòng)頭部對(duì)應(yīng)位置以模擬作用力的反饋。觀看者的空間位置變化和裸手交互觸碰，都可以觸發(fā)力反饋機(jī)制，甚至是一個(gè)拳擊手的拳風(fēng)也可以設(shè)計(jì)觸發(fā)，身臨其境的感覺莫過如此。并且經(jīng)過主觀體驗(yàn)，小編發(fā)現(xiàn)該項(xiàng)反饋機(jī)制還能很大程度上緩解虛擬與現(xiàn)實(shí)感覺不匹配產(chǎn)生的VR眩暈問題！這是沉浸式體驗(yàn)的一大步！

此外，為進(jìn)一步降低使用多同步相機(jī)陣列進(jìn)行自由視角視頻生產(chǎn)的采集成本，團(tuán)隊(duì)也提出了一種可交互的單目3D視頻技術(shù)。對(duì)應(yīng)單目輸入的情況，通過基于編碼器-解碼器結(jié)構(gòu)的網(wǎng)絡(luò)高效估計(jì)2D視頻的深度信息，并進(jìn)一步重建為粗糙動(dòng)態(tài)網(wǎng)格。然后，為了生成對(duì)應(yīng)6DoF觀看的正確視圖，團(tuán)隊(duì)實(shí)現(xiàn)了一種改進(jìn)的高性能的基于深度圖像的新視角渲染算法。一方面，粗糙動(dòng)態(tài)網(wǎng)格在渲染過程中被用作約束以加速渲染速度并減少失真；另一方面，使用圖像修復(fù)算法消除由遮擋引起的空洞偽影。針對(duì)直播鏈路，團(tuán)隊(duì)提出了一種增強(qiáng)的全景/2D視頻格式，其中編碼了深度信息，使用高精度的非均勻量化方法進(jìn)行深度壓縮，以實(shí)現(xiàn)低延遲實(shí)時(shí)傳輸，帶寬為消費(fèi)級(jí)（15Mbps）。

火山引擎多媒體實(shí)驗(yàn)室的這一創(chuàng)新技術(shù)，無疑將為沉浸式視頻技術(shù)領(lǐng)域帶來新的變革，相信在不久的將來，隨著技術(shù)的不斷成熟和普及，將涌現(xiàn)出更多創(chuàng)新且沉浸的媒體表現(xiàn)形式，沉浸式媒體技術(shù)將不再局限于高端應(yīng)用，而是成為人們?nèi)粘Ｉ畹囊徊糠?。無論是在家中觀看電影，還是在虛擬空間中與朋友互動(dòng)，都能夠享受到如同親臨其境的體驗(yàn)。火山引擎多媒體實(shí)驗(yàn)室正不斷推進(jìn)這一愿景，致力于將沉浸式體驗(yàn)的邊界推向新的高度。我們邀請(qǐng)每一位用戶，與我們一同期待并見證這一激動(dòng)人心的時(shí)刻——一個(gè)全新的媒體時(shí)代的到來！

火山引擎多媒體實(shí)驗(yàn)室是字節(jié)跳動(dòng)旗下的研究團(tuán)隊(duì)，致力于探索多媒體領(lǐng)域的前沿技術(shù)，參與國(guó)際標(biāo)準(zhǔn)化工作，其眾多創(chuàng)新算法及軟硬件解決方案已經(jīng)廣泛應(yīng)用在抖音、西瓜視頻等產(chǎn)品的多媒體業(yè)務(wù)，并向火山引擎的企業(yè)級(jí)客戶提供技術(shù)服務(wù)。實(shí)驗(yàn)室成立以來，多篇論文入選國(guó)際頂會(huì)和旗艦期刊，并獲得數(shù)項(xiàng)國(guó)際級(jí)技術(shù)賽事冠軍、行業(yè)創(chuàng)新獎(jiǎng)及最佳論文獎(jiǎng)。

火山引擎是字節(jié)跳動(dòng)旗下的云服務(wù)平臺(tái)，將字節(jié)跳動(dòng)快速發(fā)展過程中積累的增長(zhǎng)方法、技術(shù)能力和工具開放給外部企業(yè)，提供云基礎(chǔ)、視頻與內(nèi)容分發(fā)、大數(shù)據(jù)、人工智能、開發(fā)與運(yùn)維等服務(wù)，幫助企業(yè)在數(shù)字化升級(jí)中實(shí)現(xiàn)持續(xù)增長(zhǎng)。

來源：字節(jié)跳動(dòng)技術(shù)團(tuán)隊(duì)