馬克思曾經(jīng)說(shuō)過(guò)，音樂(lè)是人類的第二語(yǔ)言。
19世紀(jì)到20世紀(jì)，音樂(lè)的載體經(jīng)歷了從留聲機(jī)、唱片機(jī)、磁帶錄音機(jī)、CD播放器到MP3播放器的長(zhǎng)足發(fā)展，人們?yōu)榱四軌螂S時(shí)隨地享受喧囂退去后音樂(lè)帶來(lái)的愉悅，發(fā)明出了錫箔滾筒、黑膠唱片、磁帶、CD、數(shù)字音頻文件等多種多樣的播放介質(zhì)，并仍在探索更多呈現(xiàn)音樂(lè)的形式。
VR作為一種新興的媒介，也是音樂(lè)藝術(shù)家們正在探索的前沿領(lǐng)域之一。VR更具沉浸感和表現(xiàn)力的特點(diǎn)，能夠更好的呈現(xiàn)音樂(lè)藝術(shù)家們想要表達(dá)的情感與場(chǎng)景，從而引起聽(tīng)眾的共鳴。
在VR剛剛進(jìn)入大眾視野的那幾年，已經(jīng)有不少音樂(lè)藝術(shù)家開(kāi)始推出在VR中播放的MV。2015年瑞典音樂(lè)家Aviici推出了以門為中心的舞蹈狂歡MV「Waiting For Love」，這也是全球首支利用YouTube全景視頻功能播放的MV。
▲圖源：網(wǎng)絡(luò)
同年，The Weeknd推出了一支利用Go Pro拍攝的全景MV「The Hills」，打造了令人震撼的爆炸場(chǎng)面。
▲圖源：網(wǎng)絡(luò)
2017年，華納唱片為林俊杰和張榕榮量身定做了360度全景視頻MV「彈唱」，演繹了一段甜蜜溫暖的愛(ài)。
▲圖源：網(wǎng)絡(luò)
隨著制作理念的進(jìn)步與制作技術(shù)的發(fā)展，VR音樂(lè)視頻（VRMV）的形式變得越來(lái)越多樣化。在2018年的圣丹斯國(guó)際電影節(jié)上，Tyler Hurd與Adam Roger攜手Within，以歌曲「Justice」為背景制作了可供6人同時(shí)進(jìn)入的VR音樂(lè)社交體驗(yàn)。
▲圖源：網(wǎng)絡(luò)
人們也開(kāi)始探索通過(guò)實(shí)時(shí)演出的形式，為觀眾們帶來(lái)精彩的音樂(lè)現(xiàn)場(chǎng)表演。2021年11月18日，Justin Bieber在Wave中舉辦了一場(chǎng)演唱會(huì)，通過(guò)自己的虛擬形象演唱了其最新專輯中的歌曲。盡管Justin Bieber通過(guò)動(dòng)捕服進(jìn)行了實(shí)時(shí)的表演，觀眾們卻依然只能通過(guò)Wave官網(wǎng)或者移動(dòng)客戶端收看平面的視頻并送上一些煙花，并沒(méi)有真正進(jìn)入到演唱會(huì)所在的虛擬世界中。
▲圖源：網(wǎng)絡(luò)
但在不久前開(kāi)幕的2022砂之盒沉浸藝術(shù)季（SIF 2022）上，著名音樂(lè)制作人閆津和華語(yǔ)唱作人肖懿航組成的雙人樂(lè)隊(duì)——電氣櫻桃通過(guò)雙人實(shí)時(shí)動(dòng)作捕捉呈現(xiàn)了一場(chǎng)VR音樂(lè)Liveshow，讓觀眾們能夠同時(shí)在現(xiàn)實(shí)中與VR虛擬世界中觀看這場(chǎng)演出，從而感受到VR這一媒介的新邊界。
虛擬與現(xiàn)實(shí)同賞的「真?VR演唱會(huì)」
▲左：肖懿航，右：閆津
7月28日晚9時(shí)，電氣櫻桃在阿那亞社區(qū)蜂巢劇場(chǎng)正式開(kāi)演。盡管場(chǎng)外下著瓢潑大雨，場(chǎng)內(nèi)卻幾乎座無(wú)虛席。電氣櫻桃在現(xiàn)場(chǎng)一共演唱了《寶貝，我聽(tīng)到銀河的聲音》、《Moi》與《Entangle in the Folds of Mood》三首歌曲，閆津與肖懿航穿著動(dòng)捕服在臺(tái)上進(jìn)行現(xiàn)場(chǎng)演出的同時(shí)，身后大屏幕上放映出了「大千」平臺(tái)同步在線直播的演出畫(huà)面——離蜂巢劇場(chǎng)不遠(yuǎn)的海邊排練場(chǎng)中，十幾位嘉賓正戴著頭顯在VR中觀看著這場(chǎng)精彩的演出。
「大千」中閆津和肖懿航的Avatar形象與現(xiàn)場(chǎng)的表演同步而動(dòng)，現(xiàn)場(chǎng)的觀眾們與「大千」中的嘉賓們一同感受著優(yōu)美的音樂(lè)與歌聲。而不同之處在于，「大千」中的嘉賓們身處的環(huán)境還會(huì)隨歌曲的主題發(fā)生變化，呈現(xiàn)出符合歌曲意境的虛擬場(chǎng)景，氛圍感更為出眾。
▲嘉賓們通過(guò)「大千」在VR中觀看電氣櫻桃演唱會(huì)直播
這場(chǎng)新奇且充滿科幻感的演出，得到了觀眾們的熱烈響應(yīng)，也為線下與線上同賞的演唱會(huì)開(kāi)辟了一種全新的形式。同時(shí)呈現(xiàn)的虛擬與現(xiàn)實(shí)演出場(chǎng)地，讓觀眾與演出者之間的互動(dòng)不再被距離所束縛，即使相距萬(wàn)里，大家也能身處同一虛擬空間中，像線下面對(duì)面的演出一樣共同融入到演唱會(huì)現(xiàn)場(chǎng)的熱烈氛圍中。
▲演唱會(huì)在VR中的呈現(xiàn)
電氣櫻桃這場(chǎng)VR演唱會(huì)的背后，是「大千」與沙核科技攻克的許多技術(shù)難題。
云技術(shù)加持，做每個(gè)人的「大千」世界
根據(jù)沙核科技的介紹，為了呈現(xiàn)這樣一場(chǎng)演出，需要解決兩大問(wèn)題：
一是如何在雙人動(dòng)捕數(shù)據(jù)量加倍信號(hào)干擾更嚴(yán)重，且需要面對(duì)復(fù)雜網(wǎng)絡(luò)環(huán)境的情況下，保證海量動(dòng)捕數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性與穩(wěn)定性，防止不同步和其他運(yùn)算偏差的情況出現(xiàn)；
二是如何向身處全球多地、使用各類不同設(shè)備觀看演出的觀眾們提供幾乎一致的高品質(zhì)VR體驗(yàn)。
為了對(duì)抗復(fù)雜網(wǎng)絡(luò)環(huán)境保證雙人實(shí)時(shí)動(dòng)作捕捉的穩(wěn)定性，「大千」結(jié)合了WiFi 6與5G通信技術(shù)，在演出現(xiàn)場(chǎng)近百部手機(jī)信號(hào)與數(shù)個(gè)WiFi網(wǎng)絡(luò)信號(hào)覆蓋場(chǎng)地的復(fù)雜情況下，確保了雙人實(shí)時(shí)動(dòng)捕數(shù)據(jù)傳輸?shù)牡脱訒r(shí)與穩(wěn)定，從而讓大熒幕中虛擬角色的動(dòng)作能夠與現(xiàn)場(chǎng)演員的動(dòng)作保持同步，帶來(lái)了極佳的演出效果。這正是「大千」解決的第一個(gè)技術(shù)難題。
▲閆津身著黑色動(dòng)捕服
而面對(duì)跨平臺(tái)的全球同步直播難題，沙核科技的答案是——云技術(shù)。一方面，通過(guò)集成英偉達(dá) NVIDIA CloudXR的平行云Lark XR 平臺(tái)，「大千」將畫(huà)面渲染的工作放到云端，結(jié)合英偉達(dá)的GPU虛擬化軟件實(shí)現(xiàn)了云端服務(wù)器算力的動(dòng)態(tài)調(diào)度與有效擴(kuò)展，讓各種類型的XR設(shè)備能夠擺脫性能的限制，只要能夠顯示云端流式傳輸?shù)漠?huà)面，就能呈現(xiàn)最佳的VR畫(huà)面渲染效果。
在此基礎(chǔ)上，「大千」還優(yōu)化了Cloud XR的流式視頻傳輸功能，減少了視頻流的帶寬占用，提升了同一網(wǎng)絡(luò)環(huán)境下能夠支持的終端設(shè)備數(shù)量。此外，沙核科技還聯(lián)合阿里云、亞馬遜云科技在亞洲、美洲與歐洲設(shè)立了多個(gè)全球節(jié)點(diǎn)，實(shí)現(xiàn)云渲染服務(wù)器節(jié)點(diǎn)的高效調(diào)度與數(shù)據(jù)傳輸，讓用戶能夠始終與延遲較低且穩(wěn)定的云端節(jié)點(diǎn)動(dòng)態(tài)建立連接，上傳VR頭顯姿態(tài)數(shù)據(jù)并獲得渲染畫(huà)面的推流，從而減少設(shè)備使用過(guò)程中卡頓、眩暈等狀況的出現(xiàn)，也保證了全球各地的用戶都能同步享受精彩的高質(zhì)量實(shí)時(shí)演出。
而針對(duì)蜂巢劇場(chǎng)的這場(chǎng)演出，「大千」還專門根據(jù)現(xiàn)場(chǎng)的運(yùn)營(yíng)商公網(wǎng)條件與局域空間信道環(huán)境，重新定制化設(shè)計(jì)了整體網(wǎng)絡(luò)方案，并創(chuàng)業(yè)界紀(jì)錄的實(shí)現(xiàn)了同一狹小空間內(nèi)15臺(tái)無(wú)線VR設(shè)備同時(shí)上線，并穩(wěn)定流暢的保障了全場(chǎng)觀眾完整的觀看和體驗(yàn)虛擬直播演出的全程。
至此，「大千」已經(jīng)集成了云端渲染、本地與混合渲染的全案規(guī)劃能力，可以根據(jù)場(chǎng)地、設(shè)備、資金、技術(shù)等狀況，靈活的實(shí)現(xiàn)任意條件下的專有優(yōu)化部署，適用于各種需要為全球范圍用戶以及限定空間內(nèi)多設(shè)備線下店帶來(lái)高質(zhì)量無(wú)線實(shí)時(shí)VR體驗(yàn)的場(chǎng)景。
虛擬娛樂(lè)新潮流
通過(guò)動(dòng)捕服實(shí)時(shí)呈現(xiàn)的VR演唱會(huì)，不僅讓觀眾們耳目一新，也為音樂(lè)藝術(shù)家與創(chuàng)作者們帶來(lái)了新的思路。
電氣櫻桃的肖懿航老師在演出結(jié)束后的座談環(huán)節(jié)表示，VR是一個(gè)充滿了幻想的世界，帶來(lái)了無(wú)限的藝術(shù)表達(dá)新形式。在虛擬世界中的演出能夠讓她放開(kāi)包袱，嘗試更多與以往不同的表演風(fēng)格，也有機(jī)會(huì)讓自己化身夢(mèng)想中的形象，塑造另一個(gè)自我。
▲從左至右：肖懿航、閆津、戈非、樓彥昕
電氣櫻桃所在廠牌草臺(tái)回聲的創(chuàng)始人戈非也提到，這次電氣櫻桃與「大千」平臺(tái)的合作，是一次新方向的有益探索，草臺(tái)回聲將與沙核科技繼續(xù)嘗試不同虛擬演出的形式和內(nèi)容，為未來(lái)可以在虛擬空間做完整的互動(dòng)音樂(lè)演出和音樂(lè)節(jié)做準(zhǔn)備。他也希望通過(guò)打造更多類似的合作案例，來(lái)幫助音樂(lè)人和從業(yè)者了解到XR技術(shù)將為音樂(lè)領(lǐng)域所帶來(lái)的機(jī)遇與改變，與大家一起持續(xù)探索音樂(lè)行業(yè)未來(lái)發(fā)展的新方向。
當(dāng)然，虛擬娛樂(lè)的發(fā)展，絕不僅僅關(guān)乎音樂(lè)。斬獲SIF 2022主競(jìng)賽單元砂之盒最佳敘事獎(jiǎng)（Best Immersive Story）與Pico×SIF VR新銳作品獎(jiǎng)的獲獎(jiǎng)作品「夜的盡頭（End of Night）」，也為我們展現(xiàn)了另一種進(jìn)入虛擬世界的方式。這部作品通過(guò)體積視頻（Volume Video）的方式，將捕捉的真實(shí)影像與場(chǎng)景特效完美的融合在了一起，通過(guò)真人的形象引導(dǎo)觀眾體驗(yàn)了一段宏大的劇情。
一虛一實(shí)，一幻一真，「真?VR演唱會(huì)」與「體積視頻」，或許正是虛擬娛樂(lè)兩個(gè)主要潮流的具現(xiàn)，而我們透過(guò)電氣櫻桃在「大千」平臺(tái)的演出與SIF 2022主競(jìng)賽單元的獲獎(jiǎng)作品，已經(jīng)瞥到了這浪潮中的一縷端倪，正如沙核科技創(chuàng)始人樓彥昕所說(shuō)：“沉浸式媒介所帶來(lái)的新體驗(yàn)，是突破主觀現(xiàn)實(shí)包圍的體驗(yàn)?！?/p>
我們也期待著「大千」與SIF，能夠?yàn)槲覀兂尸F(xiàn)更多藝術(shù)與娛樂(lè)的新潮流與新邊界。
