馬克思曾經(jīng)說過，音樂是人類的第二語言。
19世紀(jì)到20世紀(jì)，音樂的載體經(jīng)歷了從留聲機、唱片機、磁帶錄音機、CD播放器到MP3播放器的長足發(fā)展，人們?yōu)榱四軌螂S時隨地享受喧囂退去后音樂帶來的愉悅，發(fā)明出了錫箔滾筒、黑膠唱片、磁帶、CD、數(shù)字音頻文件等多種多樣的播放介質(zhì)，并仍在探索更多呈現(xiàn)音樂的形式。
VR作為一種新興的媒介，也是音樂藝術(shù)家們正在探索的前沿領(lǐng)域之一。VR更具沉浸感和表現(xiàn)力的特點，能夠更好的呈現(xiàn)音樂藝術(shù)家們想要表達的情感與場景，從而引起聽眾的共鳴。
在VR剛剛進入大眾視野的那幾年，已經(jīng)有不少音樂藝術(shù)家開始推出在VR中播放的MV。2015年瑞典音樂家Aviici推出了以門為中心的舞蹈狂歡MV「Waiting For Love」，這也是全球首支利用YouTube全景視頻功能播放的MV。
▲圖源：網(wǎng)絡(luò)
同年，The Weeknd推出了一支利用Go Pro拍攝的全景MV「The Hills」，打造了令人震撼的爆炸場面。
▲圖源：網(wǎng)絡(luò)
2017年，華納唱片為林俊杰和張榕榮量身定做了360度全景視頻MV「彈唱」，演繹了一段甜蜜溫暖的愛。
▲圖源：網(wǎng)絡(luò)
隨著制作理念的進步與制作技術(shù)的發(fā)展，VR音樂視頻（VRMV）的形式變得越來越多樣化。在2018年的圣丹斯國際電影節(jié)上，Tyler Hurd與Adam Roger攜手Within，以歌曲「Justice」為背景制作了可供6人同時進入的VR音樂社交體驗。
▲圖源：網(wǎng)絡(luò)
人們也開始探索通過實時演出的形式，為觀眾們帶來精彩的音樂現(xiàn)場表演。2021年11月18日，Justin Bieber在Wave中舉辦了一場演唱會，通過自己的虛擬形象演唱了其最新專輯中的歌曲。盡管Justin Bieber通過動捕服進行了實時的表演，觀眾們卻依然只能通過Wave官網(wǎng)或者移動客戶端收看平面的視頻并送上一些煙花，并沒有真正進入到演唱會所在的虛擬世界中。
▲圖源：網(wǎng)絡(luò)
但在不久前開幕的2022砂之盒沉浸藝術(shù)季（SIF 2022）上，著名音樂制作人閆津和華語唱作人肖懿航組成的雙人樂隊——電氣櫻桃通過雙人實時動作捕捉呈現(xiàn)了一場VR音樂Liveshow，讓觀眾們能夠同時在現(xiàn)實中與VR虛擬世界中觀看這場演出，從而感受到VR這一媒介的新邊界。
虛擬與現(xiàn)實同賞的「真?VR演唱會」
▲左：肖懿航，右：閆津
7月28日晚9時，電氣櫻桃在阿那亞社區(qū)蜂巢劇場正式開演。盡管場外下著瓢潑大雨，場內(nèi)卻幾乎座無虛席。電氣櫻桃在現(xiàn)場一共演唱了《寶貝，我聽到銀河的聲音》、《Moi》與《Entangle in the Folds of Mood》三首歌曲，閆津與肖懿航穿著動捕服在臺上進行現(xiàn)場演出的同時，身后大屏幕上放映出了「大千」平臺同步在線直播的演出畫面——離蜂巢劇場不遠的海邊排練場中，十幾位嘉賓正戴著頭顯在VR中觀看著這場精彩的演出。
「大千」中閆津和肖懿航的Avatar形象與現(xiàn)場的表演同步而動，現(xiàn)場的觀眾們與「大千」中的嘉賓們一同感受著優(yōu)美的音樂與歌聲。而不同之處在于，「大千」中的嘉賓們身處的環(huán)境還會隨歌曲的主題發(fā)生變化，呈現(xiàn)出符合歌曲意境的虛擬場景，氛圍感更為出眾。
▲嘉賓們通過「大千」在VR中觀看電氣櫻桃演唱會直播
這場新奇且充滿科幻感的演出，得到了觀眾們的熱烈響應(yīng)，也為線下與線上同賞的演唱會開辟了一種全新的形式。同時呈現(xiàn)的虛擬與現(xiàn)實演出場地，讓觀眾與演出者之間的互動不再被距離所束縛，即使相距萬里，大家也能身處同一虛擬空間中，像線下面對面的演出一樣共同融入到演唱會現(xiàn)場的熱烈氛圍中。
▲演唱會在VR中的呈現(xiàn)
電氣櫻桃這場VR演唱會的背后，是「大千」與沙核科技攻克的許多技術(shù)難題。
云技術(shù)加持，做每個人的「大千」世界
根據(jù)沙核科技的介紹，為了呈現(xiàn)這樣一場演出，需要解決兩大問題：
一是如何在雙人動捕數(shù)據(jù)量加倍信號干擾更嚴(yán)重，且需要面對復(fù)雜網(wǎng)絡(luò)環(huán)境的情況下，保證海量動捕數(shù)據(jù)傳輸?shù)膶崟r性與穩(wěn)定性，防止不同步和其他運算偏差的情況出現(xiàn)；
二是如何向身處全球多地、使用各類不同設(shè)備觀看演出的觀眾們提供幾乎一致的高品質(zhì)VR體驗。
為了對抗復(fù)雜網(wǎng)絡(luò)環(huán)境保證雙人實時動作捕捉的穩(wěn)定性，「大千」結(jié)合了WiFi 6與5G通信技術(shù)，在演出現(xiàn)場近百部手機信號與數(shù)個WiFi網(wǎng)絡(luò)信號覆蓋場地的復(fù)雜情況下，確保了雙人實時動捕數(shù)據(jù)傳輸?shù)牡脱訒r與穩(wěn)定，從而讓大熒幕中虛擬角色的動作能夠與現(xiàn)場演員的動作保持同步，帶來了極佳的演出效果。這正是「大千」解決的第一個技術(shù)難題。
▲閆津身著黑色動捕服
而面對跨平臺的全球同步直播難題，沙核科技的答案是——云技術(shù)。一方面，通過集成英偉達 NVIDIA CloudXR的平行云Lark XR 平臺，「大千」將畫面渲染的工作放到云端，結(jié)合英偉達的GPU虛擬化軟件實現(xiàn)了云端服務(wù)器算力的動態(tài)調(diào)度與有效擴展，讓各種類型的XR設(shè)備能夠擺脫性能的限制，只要能夠顯示云端流式傳輸?shù)漠嬅?，就能呈現(xiàn)最佳的VR畫面渲染效果。
在此基礎(chǔ)上，「大千」還優(yōu)化了Cloud XR的流式視頻傳輸功能，減少了視頻流的帶寬占用，提升了同一網(wǎng)絡(luò)環(huán)境下能夠支持的終端設(shè)備數(shù)量。此外，沙核科技還聯(lián)合阿里云、亞馬遜云科技在亞洲、美洲與歐洲設(shè)立了多個全球節(jié)點，實現(xiàn)云渲染服務(wù)器節(jié)點的高效調(diào)度與數(shù)據(jù)傳輸，讓用戶能夠始終與延遲較低且穩(wěn)定的云端節(jié)點動態(tài)建立連接，上傳VR頭顯姿態(tài)數(shù)據(jù)并獲得渲染畫面的推流，從而減少設(shè)備使用過程中卡頓、眩暈等狀況的出現(xiàn)，也保證了全球各地的用戶都能同步享受精彩的高質(zhì)量實時演出。
而針對蜂巢劇場的這場演出，「大千」還專門根據(jù)現(xiàn)場的運營商公網(wǎng)條件與局域空間信道環(huán)境，重新定制化設(shè)計了整體網(wǎng)絡(luò)方案，并創(chuàng)業(yè)界紀(jì)錄的實現(xiàn)了同一狹小空間內(nèi)15臺無線VR設(shè)備同時上線，并穩(wěn)定流暢的保障了全場觀眾完整的觀看和體驗虛擬直播演出的全程。
至此，「大千」已經(jīng)集成了云端渲染、本地與混合渲染的全案規(guī)劃能力，可以根據(jù)場地、設(shè)備、資金、技術(shù)等狀況，靈活的實現(xiàn)任意條件下的專有優(yōu)化部署，適用于各種需要為全球范圍用戶以及限定空間內(nèi)多設(shè)備線下店帶來高質(zhì)量無線實時VR體驗的場景。
虛擬娛樂新潮流
通過動捕服實時呈現(xiàn)的VR演唱會，不僅讓觀眾們耳目一新，也為音樂藝術(shù)家與創(chuàng)作者們帶來了新的思路。
電氣櫻桃的肖懿航老師在演出結(jié)束后的座談環(huán)節(jié)表示，VR是一個充滿了幻想的世界，帶來了無限的藝術(shù)表達新形式。在虛擬世界中的演出能夠讓她放開包袱，嘗試更多與以往不同的表演風(fēng)格，也有機會讓自己化身夢想中的形象，塑造另一個自我。
▲從左至右：肖懿航、閆津、戈非、樓彥昕
電氣櫻桃所在廠牌草臺回聲的創(chuàng)始人戈非也提到，這次電氣櫻桃與「大千」平臺的合作，是一次新方向的有益探索，草臺回聲將與沙核科技繼續(xù)嘗試不同虛擬演出的形式和內(nèi)容，為未來可以在虛擬空間做完整的互動音樂演出和音樂節(jié)做準(zhǔn)備。他也希望通過打造更多類似的合作案例，來幫助音樂人和從業(yè)者了解到XR技術(shù)將為音樂領(lǐng)域所帶來的機遇與改變，與大家一起持續(xù)探索音樂行業(yè)未來發(fā)展的新方向。
當(dāng)然，虛擬娛樂的發(fā)展，絕不僅僅關(guān)乎音樂。斬獲SIF 2022主競賽單元砂之盒最佳敘事獎（Best Immersive Story）與Pico×SIF VR新銳作品獎的獲獎作品「夜的盡頭（End of Night）」，也為我們展現(xiàn)了另一種進入虛擬世界的方式。這部作品通過體積視頻（Volume Video）的方式，將捕捉的真實影像與場景特效完美的融合在了一起，通過真人的形象引導(dǎo)觀眾體驗了一段宏大的劇情。
一虛一實，一幻一真，「真?VR演唱會」與「體積視頻」，或許正是虛擬娛樂兩個主要潮流的具現(xiàn)，而我們透過電氣櫻桃在「大千」平臺的演出與SIF 2022主競賽單元的獲獎作品，已經(jīng)瞥到了這浪潮中的一縷端倪，正如沙核科技創(chuàng)始人樓彥昕所說：“沉浸式媒介所帶來的新體驗，是突破主觀現(xiàn)實包圍的體驗。”
我們也期待著「大千」與SIF，能夠為我們呈現(xiàn)更多藝術(shù)與娛樂的新潮流與新邊界。