2021 跨年夜上，法國著名電子音樂藝術(shù)家，讓-米歇爾·雅爾（Jean-Michel Jarre），在“巴黎圣母院”舉辦了一場盛況空前的虛擬音樂會“Welcome to the Other Side”，該演唱會得到了聯(lián)合國教科文組織的贊助——成為巴黎官方午夜形象和倒計時。有媒體評論，這場虛擬演唱會為今后的音樂娛樂形式設(shè)定了新的標(biāo)準。
在這場 50 分鐘的音樂會上，讓-米歇爾的化身在虛擬的巴黎圣母院內(nèi)先后演奏了其代表作《Oxygène》《Equinoxe》的改編版以及最新的專輯《Electronica》，讓世界以一種全新的、充滿未來感的方式跨入 2021 年。這場直播收獲了超過 7,500 萬次瀏覽量，是一場當(dāng)之無愧的國際盛會。
這場虛擬音樂會由 NTW 和 VRrOOm 基于 Unity 引擎共同打造，先后歷時僅 3 個月，NTW 的 AR/VR 顧問 Antony Vitillo 記錄了這場虛擬音樂盛會誕生的全過程。
三個月的時間對于任何舞臺表演來說都非常緊張——工作組需要籌備燈光設(shè)計、聲音設(shè)計、視覺效果、煙火特效及設(shè)備物流，再加上開發(fā)軟件，整個日程會更為緊張。團隊在 9 月啟動項目，并在 10 月初召集成員積極開展工作，這時離新年僅有幾個月時間。
設(shè)計階段
打造此次虛擬音樂會的團隊由 VR 公司 VrOOm 組成，由 CEO Louis Cacciuttolo 領(lǐng)導(dǎo)，他們先前有過趕工制作的經(jīng)驗，明白在設(shè)計階段構(gòu)建應(yīng)用的重要性。在這個階段，表演者 Jean-Michel Jarre 和各位 VR 體驗藝術(shù)家敲定了音樂會體驗的整體觀感。
在決定設(shè)計方向后，團隊隨即敲定了虛擬音樂會的執(zhí)行軟件并積極嘗試各種新內(nèi)容。
Antony 說：“我們選擇了最熟悉的平臺，VRChat，作為虛擬音樂會的平臺，我們所有的大項目都是用它做的。它也是最為通用的社交VR軟件之一，讓我們可以使用大家都非常熟悉的 Unity 引擎?！?/p>
Unity 引擎易上手、資源多且能夠與多種工具相兼容，這些特點極大地推進了項目進程。
據(jù)悉，本次項目的場景設(shè)計師來自傳統(tǒng)的音樂會領(lǐng)域，但只用了幾周時間就學(xué)會了如何將他的專業(yè)知識應(yīng)用到 Unity 的 VR 音樂會工作流程中。
團隊還經(jīng)常從 Unity Asset Store 中獲取資產(chǎn)。每當(dāng)他們需要一個 3D 對象來進行原型制作或想要為燈光添加特效時，就一定會去 Asset Store 逛一逛?！癠nity 的 Asset Store 內(nèi)容豐富且價格合理，是開發(fā)者的寶貴資源?！盇ntony 說。
Unity 還可以讓團隊在使用不同工具的情況下，在同一個項目上共同完成特定的工作。Antony 的開發(fā)環(huán)境是 Visual Studio，而他的技術(shù)美術(shù)師同事經(jīng)常使用 Cinema 4D 進行數(shù)字內(nèi)容創(chuàng)作(DCC)，NTW 的 UX 和游戲設(shè)計師 Massimiliano Ariani 使用 Adobe XD 進行界面設(shè)計。最終他們會使用 Unity 一起塑造體驗，在資源中心同步他們的工作。
場景建模
接著，團隊在網(wǎng)上找到了巴黎圣母院的模型，將其導(dǎo)入 Unity 進行場景的組建。來自 ManifatturaItaliana Design (MID) 的 Lapo Germasi 和 VictorPukhov 負責(zé)簡化、優(yōu)化模型，用于 VRChat。
創(chuàng)建動畫
Vincent Masson 使用了 Cinema 4D 來制作環(huán)繞式 3D 動畫，而 Jvan Morandi 則負責(zé)舞臺動畫的制作。兩人還制作了投影到教堂墻壁上的 2D 視頻。
虛擬形象設(shè)計
另一家代理商 SoWhen負責(zé)用 Maya 為 Jean-Michel Jarre 制作一個虛擬形象。Antony 表示虛擬形象的制作并不簡單，明星們都非常看重自己的公眾形象，所以他們必須在吸引用戶和還原 JMJ 個人風(fēng)格之間找到平衡。
制作項目資源
Antony 表示：“Unity 引擎支持標(biāo)準的資源格式：3D 動畫、虛擬形象和舞臺表演使用了 FBX 模型；舞臺打光使用了 Light 光照對象；投影視頻使用了mp4視頻，以一定的UV投射到大教堂的墻壁上?！?/p>
動作捕捉
虛擬形象的所有運動皆由 Jean-Michel Jarre 本人的動作驅(qū)動。為了精確地捕捉 JMJ 的肢體動作，團隊采用了一套兼容 SteamVR 的動捕套裝、一雙動捕手套，以重現(xiàn)演奏時的復(fù)雜手部動作。
組建場景
在所有的材料準備齊全后，團隊便開始在 Unity 中組裝、打磨并優(yōu)化場景，來提高其在 VRChat 中的表現(xiàn)。Jean-Michel Jarre 將親臨 VR 現(xiàn)場進行探索，檢驗場景的藝術(shù)風(fēng)格，然后 Germasi 將用后期處理效果做最后打磨，來平衡教堂及其視效的清晰度。
動畫的自動播放
為了確保場景中的所有元素（投影視頻、彩色聚光燈、道具）都能跟著節(jié)拍播放，Antony 使用了 Unity 來安排并觸發(fā)每一個動作。安東尼說：“這項工作原本非常繁瑣，你需要復(fù)制時間碼并逐個編寫觸發(fā)事件?！钡?Unity 可以使用腳本來處理。有了編輯器腳本后，他可以在編輯器的一個菜單下實現(xiàn)所有動畫和燈光觸發(fā)器的 CSV 時間碼讀取，為每首歌曲即時創(chuàng)建所有觸發(fā)行為。這使得演出更容易管理。
在社交VR上的優(yōu)化
據(jù)Antony所說，要在VRChat上運行，體驗不僅要有流暢的幀率（“大家都無法接受 20 幀率的音樂會”），文件大小也須進行優(yōu)化。“如果整個場景的大小超過了300Mb，下載時間便會過長，應(yīng)用也容易出現(xiàn)崩潰，造成糟糕的體驗。” 而來自 MID 的團隊專門負責(zé)教堂幾何模型的優(yōu)化，以及紋理體積的調(diào)整。
增加互動性
在與 Lapo Germasi 和 Victor Pukhov 的緊密合作下，Antony 對整個項目進行了優(yōu)化，并增加了模擬沉浸式現(xiàn)場表演的虛擬系統(tǒng)和互動。
所有的時間排布：聚光燈、投影視頻和其它所有動作都應(yīng)在正確的時機觸發(fā)并與歌曲節(jié)奏同步，這就需要團隊在 VRChat 中開發(fā)出一些創(chuàng)造性的解決方案。
極具創(chuàng)意的互動：互動是提高用戶臨場感的必要條件，在社交軟件上尤其如此。為了突出 VR 的特色，團隊還為觀眾添加了一些觀看時的特效，比如把其他觀眾“啪”的一下變成彩色的星星。
所有拍攝所需的元素：作為一個 360 度全景體驗，團隊并不想以一個單一的視角拍攝出扁平的視頻。Antony 表示：”我們在 VRChat 內(nèi)部創(chuàng)建了一個復(fù)雜的攝像機系統(tǒng)，由 Georgy Molodotsov 和 Maud Clavier 兩人負責(zé)用‘多角度攝像機’進行直播?！?他們采用了一個開源項目作為攝像系統(tǒng)的基礎(chǔ)，用 VRCLens 為手搖鏡頭加入了景深效果，再用 VoxelKei 的全景攝影化身來拍攝演出結(jié)束后的視頻。
演出結(jié)束后的體驗由俄羅斯 XR 藝術(shù)家 Denis Semionov 設(shè)計，他使用了 Quill 來雕刻場景，并制作了簡化版的圣母院模型用于輕量渲染。
體驗再由 MID 進行優(yōu)化，接著 Antony 團隊再加入了演出后的互動，制作到此就完成了。
VR 體驗的未來
在設(shè)計階段，團隊內(nèi)部也有反對 VR 的聲音，他們想將整個節(jié)目制作成一場編排好的音樂直播。但 Jean-Michel 本人、Antony 和其他團隊成員堅持采用 VR 技術(shù)，并給出了理由：VR 互動體驗即使在電腦屏幕上觀看，也會讓人感覺自己真的在巴黎圣母院內(nèi)，在跨年夜融入到人群中。
最終，而該項目迄今積累了超過 7,500 萬的瀏覽量——這包括 VR 體驗直播和其他多平臺上的視頻播放。Antony 說：“我們創(chuàng)造了歷史，將一場龐大的音樂會完全搬到了虛擬現(xiàn)實中，供 VR 內(nèi)外的觀眾享受。很多時候，你只有承擔(dān)一定的風(fēng)險才能做出令人贊嘆的東西。”
來源：
