
近日,Meta Presence Platform添加了沉浸式音頻功能,全新“XR Audio SDK”旨在使開(kāi)發(fā)者更輕松整合空間化、本地化音頻。目前該SDK僅適用于Unity引擎,未來(lái)還將支持Unreal Engine、Wwise和FMOD。
Presence Platform是開(kāi)發(fā)工具和編程接口的集合,基于Presence Platform,Quest 2和 Quest Pro便能實(shí)現(xiàn)手部和語(yǔ)音交互以及增強(qiáng)現(xiàn)實(shí)功能,該平臺(tái)于2021年秋季首次推出,近期添加了用于面部、眼部和身體跟蹤的運(yùn)動(dòng)SDK。
全新沉浸式音頻功能的應(yīng)用范圍包括了虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)。對(duì)于后者,Quest 2和Quest Pro支持將計(jì)算機(jī)圖形添加到前置攝像頭的視頻圖像中。除了Meta設(shè)備,全新音頻SDK還支持“幾乎所有獨(dú)立的移動(dòng)VR設(shè)備”以及PCVR(例如Steam VR)和第三方設(shè)備。
沉浸式音頻功能包括了更好處理用戶頭部、外耳和身體的音頻過(guò)濾,而音頻過(guò)濾則會(huì)極大影響現(xiàn)實(shí)世界中的聲音:頭部相關(guān)傳輸函數(shù) (HRTF)旨在準(zhǔn)確模仿真實(shí)的音頻感知。沒(méi)有它,用戶周圍環(huán)境聲聽(tīng)起來(lái)便會(huì)不自然。
另外,房間聲學(xué)模擬取決于房間大小、形狀和材料表面的聲音反射和混響。因此,如果玩家在空蕩蕩的空間玩AR游戲,虛擬敵人的聲音將如同玩家自己的聲音一般真實(shí),而聲音的均勻性旨在增強(qiáng)存在感。
值得一提的是,空間音頻渲染和房間聲學(xué)功能建立在之前的Oculus Spatializer 之上,并可繼續(xù)開(kāi)發(fā)。Meta開(kāi)發(fā)者博文表示,與流行游戲引擎中的內(nèi)置音頻系統(tǒng)相比,該系統(tǒng)更適合在VR中使用,后者主要是為游戲機(jī)和PC而設(shè)計(jì)的。
不僅如此全新音頻SDK提供了靈活性和易用性。Meta表示,即使是沒(méi)有音頻開(kāi)發(fā)經(jīng)驗(yàn)的開(kāi)發(fā)者也可以混合音頻,這對(duì)于沉浸感非常重要。
例如,Meta在2022 Connect活動(dòng)中展示了在Quest 2和Quest Pro Horizon Workrooms虛擬辦公室和會(huì)議應(yīng)用的使用,效果顯示,虛擬會(huì)議中來(lái)自不同方向的聲音對(duì)于用戶整體理解場(chǎng)景至關(guān)重要。
來(lái)源:Mixed








