VR和360度視頻的前提是模擬另一個現(xiàn)實。為了能夠?qū)崿F(xiàn)真正的沉浸，它需要立體的聲音來配合強大的視覺效果。人類很依賴于聲音定位來確定我們所在的環(huán)境，這就是為何沉浸圖形同樣需要沉浸3D音頻來再現(xiàn)自然的聆聽體驗。如何能夠在每個方向都有連續(xù)圖像的情況下將觀眾吸引到一個特定的地點是一個巨大的挑戰(zhàn)，而聲音就可以做到。

創(chuàng)造逼真音頻的關(guān)鍵是根據(jù)用戶的頭部方向?qū)崟r定位以及實時視角來同步音頻。這有助于再現(xiàn)現(xiàn)實中的人類聽覺機制，讓聆聽體驗更加現(xiàn)實。創(chuàng)建真正的沉浸音頻需要幾個步驟。首先，你必須要捕捉音頻信號，然后混合信號，最后是為聽眾渲染聲音。

捕捉

為了能夠在線自然聆聽體驗，必須使用到兩個音頻信號——高保真度立體音頻信號以及對象音頻信號。

高保真度立體音頻利用球形麥克風(fēng)來捕獲所有方向的聲場，包括聽眾上方的聲音和下方的聲音。這就需要將聲場麥克風(fēng)放置在聽眾所想要聆聽的位置。這些麥克風(fēng)將完整地記錄放置地點的所有聲場，所以放置他們的地方需要精心考量。還有一點，內(nèi)容創(chuàng)作者的場景中并沒有麥克風(fēng)，所以我們需要在360度相機底下安放一個麥克風(fēng)。

除了捕捉來自聲場麥克風(fēng)的音頻，內(nèi)容創(chuàng)作者還需要獲得來自每個單獨對象的聲音作為音頻來源。當(dāng)畫面中的物體移動的時候，內(nèi)容創(chuàng)作者可以將聲頻附加在這些物體上并且隨著物體移動，這能夠增加可控度以及靈活性。通過這個對象音頻技術(shù)，內(nèi)容創(chuàng)作者可以控制場景中每個物體的聲音，并且根據(jù)用戶的視角來調(diào)整這些聲音。

捕捉單聲道聲音也很棘手，因為傳統(tǒng)的懸掛式麥克風(fēng)所捕捉的單聲道并不能用在VR中。在同步360聲音記錄中，沒有空間可以懸掛麥克風(fēng)，所以內(nèi)容創(chuàng)造者可以使用環(huán)形微音器并將其隱藏在說話者的衣服中。

混合

以前聲音混合通常是由它的目標(biāo)揚聲器來合成，不過現(xiàn)在的基于對象的音頻技術(shù)，目標(biāo)對象的聲音可以獨立于屏幕，比如當(dāng)觀眾看見一直恐龍的時候，恐龍的聲音是獨立于場景、聽眾位置，甚至是聲音空間。這是有可能實現(xiàn)的，因為你能夠?qū)⑺械淖粉檶ο笸ㄟ^聲頻傳送到聽眾那里。而在傳統(tǒng)的聲頻混合中，內(nèi)容創(chuàng)造者可能還會需要額外的Foley、ADR以及背景音樂追蹤才能完成聲波場景。

如果你所拍攝的對象和高保真度立體聲頻是在一起的，請確保高保真度立體聲頻信號能夠涵蓋拍攝對象。內(nèi)容創(chuàng)造者可能還需要額外的工序來移除或者平衡這些對象的聲音軌道，以確保他們不會被算兩次。

傳統(tǒng)上，內(nèi)容創(chuàng)造者只需要將聲頻和拍攝圖像實時同步即可，這個被成為唇同步。不過電影VR和360度視頻中，內(nèi)容創(chuàng)造者還需要處理聲音和圖像之間的空間同步關(guān)系。比如傳統(tǒng)的電影聲頻中，內(nèi)容創(chuàng)造者只需要看演員的唇部運動來匹配聲頻即可。

【913VR原創(chuàng)內(nèi)容，轉(zhuǎn)載請注明及回鏈】