VR和360度視頻的前提是模擬另一個現(xiàn)實。為了能夠?qū)崿F(xiàn)真正的沉浸，它需要立體的聲音來配合強大的視覺效果。人類很依賴于聲音定位來確定我們所在的環(huán)境，這就是為何沉浸圖形同樣需要沉浸3D音頻來再現(xiàn)自然的聆聽體驗。如何能夠在每個方向都有連續(xù)圖像的情況下將觀眾吸引到一個特定的地點是一個巨大的挑戰(zhàn)，而聲音就可以做到。

創(chuàng)造逼真音頻的關(guān)鍵是根據(jù)用戶的頭部方向?qū)崟r定位以及實時視角來同步音頻。這有助于再現(xiàn)現(xiàn)實中的人類聽覺機制，讓聆聽體驗更加現(xiàn)實。創(chuàng)建真正的沉浸音頻需要幾個步驟。首先，你必須要捕捉音頻信號，然后混合信號，最后是為聽眾渲染聲音。

捕捉

為了能夠在線自然聆聽體驗，必須使用到兩個音頻信號——高保真度立體音頻信號以及對象音頻信號。

高保真度立體音頻利用球形麥克風(fēng)來捕獲所有方向的聲場，包括聽眾上方的聲音和下方的聲音。這就需要將聲場麥克風(fēng)放置在聽眾所想要聆聽的位置。這些麥克風(fēng)將完整地記錄放置地點的所有聲場，所以放置他們的地方需要精心考量。還有一點，內(nèi)容創(chuàng)作者的場景中并沒有麥克風(fēng)，所以我們需要在360度相機底下安放一個麥克風(fēng)。

除了捕捉來自聲場麥克風(fēng)的音頻，內(nèi)容創(chuàng)作者還需要獲得來自每個單獨對象的聲音作為音頻來源。當畫面中的物體移動的時候，內(nèi)容創(chuàng)作者可以將聲頻附加在這些物體上并且隨著物體移動，這能夠增加可控度以及靈活性。通過這個對象音頻技術(shù)，內(nèi)容創(chuàng)作者可以控制場景中每個物體的聲音，并且根據(jù)用戶的視角來調(diào)整這些聲音。

捕捉單聲道聲音也很棘手，因為傳統(tǒng)的懸掛式麥克風(fēng)所捕捉的單聲道并不能用在VR中。在同步360聲音記錄中，沒有空間可以懸掛麥克風(fēng)，所以內(nèi)容創(chuàng)造者可以使用環(huán)形微音器并將其隱藏在說話者的衣服中。

混合

以前聲音混合通常是由它的目標揚聲器來合成，不過現(xiàn)在的基于對象的音頻技術(shù)，目標對象的聲音可以獨立于屏幕，比如當觀眾看見一直恐龍的時候，恐龍的聲音是獨立于場景、聽眾位置，甚至是聲音空間。這是有可能實現(xiàn)的，因為你能夠?qū)⑺械淖粉檶ο笸ㄟ^聲頻傳送到聽眾那里。而在傳統(tǒng)的聲頻混合中，內(nèi)容創(chuàng)造者可能還會需要額外的Foley、ADR以及背景音樂追蹤才能完成聲波場景。

如果你所拍攝的對象和高保真度立體聲頻是在一起的，請確保高保真度立體聲頻信號能夠涵蓋拍攝對象。內(nèi)容創(chuàng)造者可能還需要額外的工序來移除或者平衡這些對象的聲音軌道，以確保他們不會被算兩次。

傳統(tǒng)上，內(nèi)容創(chuàng)造者只需要將聲頻和拍攝圖像實時同步即可，這個被成為唇同步。不過電影VR和360度視頻中，內(nèi)容創(chuàng)造者還需要處理聲音和圖像之間的空間同步關(guān)系。比如傳統(tǒng)的電影聲頻中，內(nèi)容創(chuàng)造者只需要看演員的唇部運動來匹配聲頻即可。

【913VR原創(chuàng)內(nèi)容，轉(zhuǎn)載請注明及回鏈】

美國舊金山發(fā)布會上蘋果7如約開啟，唯一的亮點雙攝像頭果粉們并不買賬。關(guān)注的焦點都在了無線耳機AirPods上，這個突然出現(xiàn)的無線耳機成了吐槽的對象。

首先是價格，昂貴的無線耳機并不親民而且很容易丟失，有網(wǎng)民說如果把耳機吞到肚子里是不是表示可以在肚子里通話了。從經(jīng)典的有線耳機過渡到無線耳機，并沒有想象的那么容易，有太多的衛(wèi)道士和頑固的果粉拒絕蘋果強行改變他們欣賞音樂的模式。

首先是3.5mm耳機接口的消失，這一經(jīng)典耳機接口的消失讓人無法接受，現(xiàn)有的耳機立馬成為廢品，而它的價值不僅僅存在當前街機文化內(nèi)，而且和果粉日常生活融合在一起。強行去掉并沒有考慮到全世界果粉的感受。“最差蘋果發(fā)布會，沒有任何讓人感興趣的亮點”成了本次蘋果7匆忙亮相的印象。

不過，從消失的3.5mm耳機接口上來看，iPhone 7也許是蘋果在VR聲頻方面的試點，雖然表面上看不到支持任何VR/AR，忍痛割愛取消掉大眾賴以裝逼的3.5mm耳機接口都是為了之后的VR/AR布局所用。

在新技術(shù)的浪潮之下，蘋果公司不可能視若無睹，但也不會像谷歌立馬推出DaydreamVR手機一樣，還沒有經(jīng)過市場驗證就推行。雖然iPhone 7被無限吐槽，但其攝像頭所帶來拍照功能和效果也許在不久后會引發(fā)新的相機革命。
【913VR原創(chuàng)內(nèi)容，轉(zhuǎn)載請注明及回鏈】