
近日,Meta Presence Platform添加了沉浸式音頻功能,全新“XR Audio SDK”旨在使開發(fā)者更輕松整合空間化、本地化音頻。目前該SDK僅適用于Unity引擎,未來還將支持Unreal Engine、Wwise和FMOD。
Presence Platform是開發(fā)工具和編程接口的集合,基于Presence Platform,Quest 2和 Quest Pro便能實(shí)現(xiàn)手部和語音交互以及增強(qiáng)現(xiàn)實(shí)功能,該平臺于2021年秋季首次推出,近期添加了用于面部、眼部和身體跟蹤的運(yùn)動SDK。
全新沉浸式音頻功能的應(yīng)用范圍包括了虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)。對于后者,Quest 2和Quest Pro支持將計(jì)算機(jī)圖形添加到前置攝像頭的視頻圖像中。除了Meta設(shè)備,全新音頻SDK還支持“幾乎所有獨(dú)立的移動VR設(shè)備”以及PCVR(例如Steam VR)和第三方設(shè)備。
沉浸式音頻功能包括了更好處理用戶頭部、外耳和身體的音頻過濾,而音頻過濾則會極大影響現(xiàn)實(shí)世界中的聲音:頭部相關(guān)傳輸函數(shù) (HRTF)旨在準(zhǔn)確模仿真實(shí)的音頻感知。沒有它,用戶周圍環(huán)境聲聽起來便會不自然。
另外,房間聲學(xué)模擬取決于房間大小、形狀和材料表面的聲音反射和混響。因此,如果玩家在空蕩蕩的空間玩AR游戲,虛擬敵人的聲音將如同玩家自己的聲音一般真實(shí),而聲音的均勻性旨在增強(qiáng)存在感。
值得一提的是,空間音頻渲染和房間聲學(xué)功能建立在之前的Oculus Spatializer 之上,并可繼續(xù)開發(fā)。Meta開發(fā)者博文表示,與流行游戲引擎中的內(nèi)置音頻系統(tǒng)相比,該系統(tǒng)更適合在VR中使用,后者主要是為游戲機(jī)和PC而設(shè)計(jì)的。
不僅如此全新音頻SDK提供了靈活性和易用性。Meta表示,即使是沒有音頻開發(fā)經(jīng)驗(yàn)的開發(fā)者也可以混合音頻,這對于沉浸感非常重要。
例如,Meta在2022 Connect活動中展示了在Quest 2和Quest Pro Horizon Workrooms虛擬辦公室和會議應(yīng)用的使用,效果顯示,虛擬會議中來自不同方向的聲音對于用戶整體理解場景至關(guān)重要。
來源:Mixed








