馬克思曾經說過，音樂是人類的第二語言。
19世紀到20世紀，音樂的載體經歷了從留聲機、唱片機、磁帶錄音機、CD播放器到MP3播放器的長足發(fā)展，人們?yōu)榱四軌螂S時隨地享受喧囂退去后音樂帶來的愉悅，發(fā)明出了錫箔滾筒、黑膠唱片、磁帶、CD、數字音頻文件等多種多樣的播放介質，并仍在探索更多呈現音樂的形式。
VR作為一種新興的媒介，也是音樂藝術家們正在探索的前沿領域之一。VR更具沉浸感和表現力的特點，能夠更好的呈現音樂藝術家們想要表達的情感與場景，從而引起聽眾的共鳴。
在VR剛剛進入大眾視野的那幾年，已經有不少音樂藝術家開始推出在VR中播放的MV。2015年瑞典音樂家Aviici推出了以門為中心的舞蹈狂歡MV「Waiting For Love」，這也是全球首支利用YouTube全景視頻功能播放的MV。
▲圖源：網絡
同年，The Weeknd推出了一支利用Go Pro拍攝的全景MV「The Hills」，打造了令人震撼的爆炸場面。
▲圖源：網絡
2017年，華納唱片為林俊杰和張榕榮量身定做了360度全景視頻MV「彈唱」，演繹了一段甜蜜溫暖的愛。
▲圖源：網絡
隨著制作理念的進步與制作技術的發(fā)展，VR音樂視頻（VRMV）的形式變得越來越多樣化。在2018年的圣丹斯國際電影節(jié)上，Tyler Hurd與Adam Roger攜手Within，以歌曲「Justice」為背景制作了可供6人同時進入的VR音樂社交體驗。
▲圖源：網絡
人們也開始探索通過實時演出的形式，為觀眾們帶來精彩的音樂現場表演。2021年11月18日，Justin Bieber在Wave中舉辦了一場演唱會，通過自己的虛擬形象演唱了其最新專輯中的歌曲。盡管Justin Bieber通過動捕服進行了實時的表演，觀眾們卻依然只能通過Wave官網或者移動客戶端收看平面的視頻并送上一些煙花，并沒有真正進入到演唱會所在的虛擬世界中。
▲圖源：網絡
但在不久前開幕的2022砂之盒沉浸藝術季（SIF 2022）上，著名音樂制作人閆津和華語唱作人肖懿航組成的雙人樂隊——電氣櫻桃通過雙人實時動作捕捉呈現了一場VR音樂Liveshow，讓觀眾們能夠同時在現實中與VR虛擬世界中觀看這場演出，從而感受到VR這一媒介的新邊界。
虛擬與現實同賞的「真?VR演唱會」
▲左：肖懿航，右：閆津
7月28日晚9時，電氣櫻桃在阿那亞社區(qū)蜂巢劇場正式開演。盡管場外下著瓢潑大雨，場內卻幾乎座無虛席。電氣櫻桃在現場一共演唱了《寶貝，我聽到銀河的聲音》、《Moi》與《Entangle in the Folds of Mood》三首歌曲，閆津與肖懿航穿著動捕服在臺上進行現場演出的同時，身后大屏幕上放映出了「大千」平臺同步在線直播的演出畫面——離蜂巢劇場不遠的海邊排練場中，十幾位嘉賓正戴著頭顯在VR中觀看著這場精彩的演出。
「大千」中閆津和肖懿航的Avatar形象與現場的表演同步而動，現場的觀眾們與「大千」中的嘉賓們一同感受著優(yōu)美的音樂與歌聲。而不同之處在于，「大千」中的嘉賓們身處的環(huán)境還會隨歌曲的主題發(fā)生變化，呈現出符合歌曲意境的虛擬場景，氛圍感更為出眾。
▲嘉賓們通過「大千」在VR中觀看電氣櫻桃演唱會直播
這場新奇且充滿科幻感的演出，得到了觀眾們的熱烈響應，也為線下與線上同賞的演唱會開辟了一種全新的形式。同時呈現的虛擬與現實演出場地，讓觀眾與演出者之間的互動不再被距離所束縛，即使相距萬里，大家也能身處同一虛擬空間中，像線下面對面的演出一樣共同融入到演唱會現場的熱烈氛圍中。
▲演唱會在VR中的呈現
電氣櫻桃這場VR演唱會的背后，是「大千」與沙核科技攻克的許多技術難題。
云技術加持，做每個人的「大千」世界
根據沙核科技的介紹，為了呈現這樣一場演出，需要解決兩大問題：
一是如何在雙人動捕數據量加倍信號干擾更嚴重，且需要面對復雜網絡環(huán)境的情況下，保證海量動捕數據傳輸的實時性與穩(wěn)定性，防止不同步和其他運算偏差的情況出現；
二是如何向身處全球多地、使用各類不同設備觀看演出的觀眾們提供幾乎一致的高品質VR體驗。
為了對抗復雜網絡環(huán)境保證雙人實時動作捕捉的穩(wěn)定性，「大千」結合了WiFi 6與5G通信技術，在演出現場近百部手機信號與數個WiFi網絡信號覆蓋場地的復雜情況下，確保了雙人實時動捕數據傳輸的低延時與穩(wěn)定，從而讓大熒幕中虛擬角色的動作能夠與現場演員的動作保持同步，帶來了極佳的演出效果。這正是「大千」解決的第一個技術難題。
▲閆津身著黑色動捕服
而面對跨平臺的全球同步直播難題，沙核科技的答案是——云技術。一方面，通過集成英偉達 NVIDIA CloudXR的平行云Lark XR 平臺，「大千」將畫面渲染的工作放到云端，結合英偉達的GPU虛擬化軟件實現了云端服務器算力的動態(tài)調度與有效擴展，讓各種類型的XR設備能夠擺脫性能的限制，只要能夠顯示云端流式傳輸的畫面，就能呈現最佳的VR畫面渲染效果。
在此基礎上，「大千」還優(yōu)化了Cloud XR的流式視頻傳輸功能，減少了視頻流的帶寬占用，提升了同一網絡環(huán)境下能夠支持的終端設備數量。此外，沙核科技還聯合阿里云、亞馬遜云科技在亞洲、美洲與歐洲設立了多個全球節(jié)點，實現云渲染服務器節(jié)點的高效調度與數據傳輸，讓用戶能夠始終與延遲較低且穩(wěn)定的云端節(jié)點動態(tài)建立連接，上傳VR頭顯姿態(tài)數據并獲得渲染畫面的推流，從而減少設備使用過程中卡頓、眩暈等狀況的出現，也保證了全球各地的用戶都能同步享受精彩的高質量實時演出。
而針對蜂巢劇場的這場演出，「大千」還專門根據現場的運營商公網條件與局域空間信道環(huán)境，重新定制化設計了整體網絡方案，并創(chuàng)業(yè)界紀錄的實現了同一狹小空間內15臺無線VR設備同時上線，并穩(wěn)定流暢的保障了全場觀眾完整的觀看和體驗虛擬直播演出的全程。
至此，「大千」已經集成了云端渲染、本地與混合渲染的全案規(guī)劃能力，可以根據場地、設備、資金、技術等狀況，靈活的實現任意條件下的專有優(yōu)化部署，適用于各種需要為全球范圍用戶以及限定空間內多設備線下店帶來高質量無線實時VR體驗的場景。
虛擬娛樂新潮流
通過動捕服實時呈現的VR演唱會，不僅讓觀眾們耳目一新，也為音樂藝術家與創(chuàng)作者們帶來了新的思路。
電氣櫻桃的肖懿航老師在演出結束后的座談環(huán)節(jié)表示，VR是一個充滿了幻想的世界，帶來了無限的藝術表達新形式。在虛擬世界中的演出能夠讓她放開包袱，嘗試更多與以往不同的表演風格，也有機會讓自己化身夢想中的形象，塑造另一個自我。
▲從左至右：肖懿航、閆津、戈非、樓彥昕
電氣櫻桃所在廠牌草臺回聲的創(chuàng)始人戈非也提到，這次電氣櫻桃與「大千」平臺的合作，是一次新方向的有益探索，草臺回聲將與沙核科技繼續(xù)嘗試不同虛擬演出的形式和內容，為未來可以在虛擬空間做完整的互動音樂演出和音樂節(jié)做準備。他也希望通過打造更多類似的合作案例，來幫助音樂人和從業(yè)者了解到XR技術將為音樂領域所帶來的機遇與改變，與大家一起持續(xù)探索音樂行業(yè)未來發(fā)展的新方向。
當然，虛擬娛樂的發(fā)展，絕不僅僅關乎音樂。斬獲SIF 2022主競賽單元砂之盒最佳敘事獎（Best Immersive Story）與Pico×SIF VR新銳作品獎的獲獎作品「夜的盡頭（End of Night）」，也為我們展現了另一種進入虛擬世界的方式。這部作品通過體積視頻（Volume Video）的方式，將捕捉的真實影像與場景特效完美的融合在了一起，通過真人的形象引導觀眾體驗了一段宏大的劇情。
一虛一實，一幻一真，「真?VR演唱會」與「體積視頻」，或許正是虛擬娛樂兩個主要潮流的具現，而我們透過電氣櫻桃在「大千」平臺的演出與SIF 2022主競賽單元的獲獎作品，已經瞥到了這浪潮中的一縷端倪，正如沙核科技創(chuàng)始人樓彥昕所說：“沉浸式媒介所帶來的新體驗，是突破主觀現實包圍的體驗。”
我們也期待著「大千」與SIF，能夠為我們呈現更多藝術與娛樂的新潮流與新邊界。