在9月28日凌晨舉辦的Meta Connect大會(huì)上，新一代VR一體機(jī)Meta Quest 3和Ray-Ban | Meta?第二代智能眼鏡正式亮相。除了硬件規(guī)格的升級(jí)和軟件的迭代，這兩款新品最吸引人眼球的地方，無疑是其搭載的兩款全新計(jì)算平臺(tái)——第二代驍龍XR2平臺(tái)和第一代驍龍AR1平臺(tái)的全球首秀。
過去的幾年中，高通陸續(xù)推出了多款XR專用平臺(tái)，包括第一代驍龍XR1、第一代驍龍XR2、第一代驍龍XR2+以及第一代驍龍AR2?；谶@些平臺(tái)，PICO、Meta、聯(lián)想等行業(yè)領(lǐng)軍企業(yè)和更多的初創(chuàng)企業(yè)打造并發(fā)布了超過80款XR設(shè)備，共同構(gòu)成了繁榮的高通「朋友圈」，為XR產(chǎn)業(yè)的發(fā)展壯大貢獻(xiàn)了巨大的力量。
圍繞著第二代驍龍XR2平臺(tái)和第一代驍龍AR1平臺(tái)這兩大全新的計(jì)算平臺(tái)，高通的XR與空間計(jì)算戰(zhàn)略將如何續(xù)寫？在近期高通舉辦的媒體溝通會(huì)上，高通技術(shù)公司副總裁兼XR業(yè)務(wù)總經(jīng)理司宏國為我們做了詳細(xì)的介紹。
第二代驍龍XR2，體驗(yàn)和可負(fù)擔(dān)性的最優(yōu)平衡
在媒體溝通會(huì)一開場，司宏國就表示：“第二代驍龍XR2旨在真正推動(dòng)VR和MR普及，讓所有人都能享受到逼真的沉浸式VR和MR體驗(yàn)?！?/strong>
VR和MR的普及，需要XR硬件廠商為消費(fèi)者提供體驗(yàn)不斷提升、售價(jià)相對(duì)合理的產(chǎn)品。而第二代驍龍XR2平臺(tái)，正是高通面向OEM廠商打造的變革之作。
根據(jù)司宏國介紹，相比第一代驍龍XR2和驍龍XR2+，第二代驍龍XR2具備三大亮點(diǎn)：一是面向視覺、圖形和多媒體帶來突破性的沉浸式體驗(yàn)；二是流暢交互，更加沉浸的交互體驗(yàn)?zāi)軌蜃屘摂M世界和物理世界完美融合；第三是現(xiàn)實(shí)重構(gòu)，通過提升視頻透視能力，賦能混合現(xiàn)實(shí)。這三大亮點(diǎn)將變革下一代VR和MR頭顯，引領(lǐng)市場邁入空間計(jì)算的時(shí)代。
具體而言，首先是性能方面：
第二代驍龍XR2的整體架構(gòu)針對(duì)性能和能效進(jìn)行了大幅度優(yōu)化，可以在無需外接電池組的情況下為頂級(jí)的一體機(jī)頭顯設(shè)備提供出色的性能保障。
和前代相比，第二代驍龍XR2的GPU實(shí)現(xiàn)了2.5倍的性能提升，能夠賦能驚艷的圖形效果和出色的色彩和細(xì)節(jié)。開發(fā)者可以充分利用新平臺(tái)的GPU能力，提升應(yīng)用和游戲的視覺保真度，或是在同樣的視覺效果下節(jié)省50%的功耗，更好的應(yīng)對(duì)消費(fèi)者對(duì)于畫面升級(jí)的渴望。
反映到具體的參數(shù)上，基于第二代驍龍XR2打造的Meta Quest 3將其設(shè)備的分辨率從前代產(chǎn)品的單眼1832×1920提升至單眼2064×2208，像素?cái)?shù)量提升近30%，同時(shí)將最高刷新率由90Hz提升至120Hz，帶來更清晰、逼真、流暢的畫面效果。
但這并不是第二代驍龍XR2 GPU性能的極限。根據(jù)司宏國的介紹，第二代驍龍XR2能夠優(yōu)化支持最高單眼3K×3K的顯示分辨率，這對(duì)于目前的VR和MR設(shè)備來說是最理想的方案。
此外第二代驍龍XR2還能夠支持眾多的先進(jìn)特性，例如空間扭曲、游戲超級(jí)分辨率和注視點(diǎn)渲染，以推動(dòng)VR和MR體驗(yàn)提升至一個(gè)新的水平。
其次，是交互方面：
流暢交互主要指兩方面，一方面是計(jì)算機(jī)和周圍環(huán)境的交互，另一方面則是計(jì)算機(jī)與人的交互。無論是對(duì)用戶的頭部、手部、眼球、全身動(dòng)作進(jìn)行追蹤，還是對(duì)周圍環(huán)境做3D重建、平面檢測(cè)、語義理解、物體識(shí)別和追蹤，都需要強(qiáng)大的算力作為保證。
得益于終端側(cè)AI能力的大幅度提升（相比第一代驍龍XR2每瓦特性能提升8倍），第二代驍龍XR2能夠支持出色的并發(fā)感知技術(shù)，以實(shí)現(xiàn)用戶和環(huán)境理解。司宏國告訴我們，第二代驍龍XR2實(shí)現(xiàn)了對(duì)INT8的支持，并優(yōu)化了不同AI模塊之間的連接，以實(shí)現(xiàn)緊密的協(xié)同處理，同時(shí)還擴(kuò)展了終端側(cè)的內(nèi)存。
而除了AI引擎能力的大幅提升之外，高通還實(shí)現(xiàn)了6DoF中的特征探測(cè)和追蹤（Feature detection and tracking）功能從軟件向芯片硬件視覺分析引擎（Engine for Visual Analytics）的遷移，不僅提升了性能實(shí)現(xiàn)了關(guān)鍵點(diǎn)檢測(cè)數(shù)量的的大幅提升，同時(shí)還大幅度降低了該功能的功耗和時(shí)延。
在連接方面，第二代驍龍XR2能夠支持Wi-Fi 7、Wi-Fi 6E連接，帶來更低延遲、更高帶寬的網(wǎng)絡(luò)接入，以適應(yīng)不同應(yīng)用場景下對(duì)于網(wǎng)絡(luò)連接的不同需求。此外，第二代驍龍XR2還支持了面向XR的高通FastConnect軟件套件，能夠?qū)崿F(xiàn)25%功耗的降低，峰值速度可達(dá)5.8Gbps，并且時(shí)延降低80%。
在司宏國看來，VR和MR設(shè)備不僅可以作為一體式設(shè)備提供豐富的用例，還可以與強(qiáng)大的游戲PC相連接，在更強(qiáng)大的散熱能力和專用顯卡的支持下，賦能不同游戲生態(tài)的融合。因此，在上述這種情況下，對(duì)于XR設(shè)備與其他設(shè)備之間的互聯(lián)來說，Wi-Fi 7技術(shù)同樣非常重要。
最后則是各大VR廠商重點(diǎn)發(fā)力的VST混合現(xiàn)實(shí)技術(shù)：
第二代驍龍XR2最高能夠支持并行處理10路傳感器和攝像頭數(shù)據(jù)，不僅能夠滿足實(shí)現(xiàn)VST與頭手6DoF追蹤功能對(duì)不同類型攝像頭的需求，也為眼球追蹤、面部捕捉所需的攝像頭預(yù)留了充足的處理能力。高通還對(duì)整個(gè)VST（視頻透視）的線程進(jìn)行了全面優(yōu)化，不僅支持通過幾何校正、降噪、動(dòng)態(tài)亮度調(diào)整等技術(shù)提升VST的圖像質(zhì)量，還實(shí)現(xiàn)了低至12ms的VST時(shí)延。
VST時(shí)延直接關(guān)乎用戶MR體驗(yàn)的優(yōu)劣，動(dòng)作到畫面之間較高的MTP延遲不僅會(huì)讓用戶在人機(jī)交互的過程中感受到遲滯感，還有可能導(dǎo)致暈動(dòng)癥的發(fā)生。因此VST時(shí)延這一指標(biāo)是衡量VST效果的重要標(biāo)準(zhǔn)之一。
傳統(tǒng)的VST功能中，單幀畫面需要經(jīng)過攝像頭、鏡頭校正、等待幀、渲染、等待顯示、扭曲、顯示7個(gè)環(huán)節(jié)才能最終呈現(xiàn)在用戶的眼前，因此時(shí)延一直居高不下，通常會(huì)大于50毫秒，導(dǎo)致用戶體驗(yàn)不佳。在6月份發(fā)布的Vision Pro上，蘋果憑借M2+R1芯片的組合實(shí)現(xiàn)了12ms以內(nèi)將攝像頭圖像流式傳輸?shù)狡聊簧?，被廣泛認(rèn)為是Vision Pro實(shí)現(xiàn)出色VST效果的重要原因之一。
不過高通并未跟隨蘋果的步伐選擇采用多芯片的方案來改善VST的時(shí)延，而是在單芯片的基礎(chǔ)上給出了另一個(gè)選擇，避免計(jì)算平臺(tái)產(chǎn)生較大的架構(gòu)變動(dòng)，推高企業(yè)的研發(fā)和量產(chǎn)成本。
第二代驍龍XR2搭載了新一代高通Spectra ISP，能夠在單步中完成幾何校正、降噪、動(dòng)態(tài)亮度調(diào)節(jié)等多項(xiàng)圖像處理工作，一次性將VST時(shí)延降低至約12毫秒，達(dá)到持平Vision Pro M2+R1芯片的水準(zhǔn)。重要指標(biāo)上的追平意味消費(fèi)者無需購買昂貴的Vision Pro，選擇搭載了第二代驍龍XR2計(jì)算平臺(tái)的硬件產(chǎn)品同樣能獲得出色的VST體驗(yàn)，覆蓋了更廣泛的用戶群體。
從這三大亮點(diǎn)中我們不難看出，貫穿第二代驍龍XR2計(jì)算平臺(tái)始終的，是如何在不推高成本的情況下，將更好的體驗(yàn)帶給廣大的消費(fèi)者，無處不彰顯高通普及XR與空間計(jì)算的決心和獨(dú)到的路徑。也正如司宏國在采訪中所說：“目前來說我們關(guān)心的是，如何讓消費(fèi)者能夠買到經(jīng)濟(jì)實(shí)惠的設(shè)備。我們認(rèn)為，絕大多數(shù)用戶關(guān)心的，也是我們正在努力解決的問題是，如何在產(chǎn)品體驗(yàn)和產(chǎn)品的可負(fù)擔(dān)性之間實(shí)現(xiàn)最優(yōu)的平衡?！?/strong>
第一代驍龍AR1，補(bǔ)足輕量級(jí)智能眼鏡生態(tài)
盡管市場成熟度相對(duì)VR和MR仍稍顯青澀，AR智能眼鏡這一正在飛速成長的賽道同樣是高通重點(diǎn)關(guān)注和發(fā)力的對(duì)象。自2021年以來，高通陸續(xù)發(fā)布了基于驍龍XR1的分體式連接AR參考設(shè)計(jì)、基于第一代驍龍XR2的無線AR眼鏡參考設(shè)計(jì)和基于第一代驍龍AR2的輕量級(jí)無線AR眼鏡參考設(shè)計(jì)。
從產(chǎn)品路線來看，高通專為AR智能眼鏡打造的計(jì)算平臺(tái)已經(jīng)逐漸形成了獨(dú)立的產(chǎn)品線，不再完全和VR與MR頭顯共用。這也符合AR智能眼鏡與VR、MR頭顯相異的追求——產(chǎn)品更追求輕薄，對(duì)于芯片的大小和發(fā)熱量有嚴(yán)格的要求，需要高續(xù)航以滿足全天候使用需求，對(duì)于顯示分辨率的提高沒有迫切要求，語音作為重要的交互方式對(duì)于平臺(tái)的AI能力有更高的需求等等。
甚至在AR智能眼鏡這個(gè)大的框架內(nèi)，因?yàn)楫a(chǎn)品的目標(biāo)人群不同，不同的AR眼鏡在功能上也存在著差異。支持不支持6DoF，支持不支持全彩顯示，單目顯示、雙目顯示還是僅有語音，側(cè)重觀影還是信息提示，是否支持實(shí)時(shí)拍攝，都對(duì)計(jì)算平臺(tái)的能力提出了不同的考驗(yàn)。
第一代驍龍AR1正是高通面向下一代智能眼鏡推出的首個(gè)專用計(jì)算平臺(tái)。相比第一代驍龍AR2更強(qiáng)調(diào)的分布式計(jì)算支持的沉浸式體驗(yàn)，第一代驍龍AR1主打的是出色的拍攝與AI能力，更加契合以信息提示為主要目標(biāo)的輕薄AR智能眼鏡，是對(duì)主打觀影等沉浸式體驗(yàn)的AR眼鏡生態(tài)的補(bǔ)足。
“在AR領(lǐng)域，面向消費(fèi)者的沉浸式體驗(yàn)剛剛起步，但我們看到已經(jīng)有大量的企業(yè)正在使用豐富的AR應(yīng)用，包括遠(yuǎn)程協(xié)助、說明/指導(dǎo)、以及通過AR智能眼鏡賦能的生產(chǎn)力工具。我很高興宣布推出第一代驍龍AR1平臺(tái)，這是高通為賦能下一代智能眼鏡打造的首個(gè)專用平臺(tái)“，司宏國在媒體溝通會(huì)上表示。
拍攝方面，第一代驍龍AR1采用14-bit雙ISP，支持頂級(jí)即時(shí)拍攝體驗(yàn)，可以拍攝1200萬像素照片和600萬像素視頻，此外它還加入了高通為智能手機(jī)打造的諸多頂級(jí)特性，比如自動(dòng)曝光、自動(dòng)人臉檢測(cè)、計(jì)算HDR和人像模式。第一代驍龍AR1賦能的智能眼鏡將變革拍攝照片和視頻的方式，讓人們可以解放雙手進(jìn)行拍攝。
AI方面，第一代驍龍AR1采用了第三代Hexagon NPU，在眼鏡側(cè)支持本地部署視覺搜索、定向音頻采集、實(shí)時(shí)翻譯等AI能力。它還能幫助增強(qiáng)照片和視頻的拍攝質(zhì)量、通過降噪實(shí)現(xiàn)更清晰的通話，并可以通過計(jì)算機(jī)視覺實(shí)現(xiàn)更清晰的視頻拍攝。
除此之外，第一代驍龍AR1可以處理面向健康和運(yùn)動(dòng)追蹤的傳感器數(shù)據(jù)，讓智能眼鏡可以為用戶提供實(shí)用的情境信息和指令。對(duì)語音指令的支持讓基于第一代驍龍AR1打造的智能眼鏡可以解放雙手，這一功能在滑板、騎自行車、做飯時(shí)將變得非常實(shí)用。
在拍攝和AI兩個(gè)高通最看重的功能外，第一代驍龍AR1能夠支持3DoF追蹤，單目/雙目顯示方案，像素?cái)?shù)量最高可達(dá)單眼160萬像素（1280×1280），給與了OEM廠商靈活打造AR智能眼鏡產(chǎn)品的余裕，能夠很好的應(yīng)對(duì)從具備出色攝像頭和音樂功能、以圖像拍攝為核心的智能眼鏡；到支持單目顯示、完美支持提醒通知和導(dǎo)航應(yīng)用的智能眼鏡；再到支持雙目顯示、具備更豐富視覺效果的更強(qiáng)大的智能眼鏡等不同AR硬件對(duì)于芯片能力的需求。
在必不可少的連接方面，第一代驍龍AR1配備了與第二代驍龍XR2相同的高通Fast Connect軟件套件，支持Wi-Fi 7無線網(wǎng)絡(luò)、藍(lán)牙5.2和5.3，勝任高頻并發(fā)多連接的使用場景，峰值速度達(dá)到5.8Gbps，時(shí)延也降低了80%。
“第一代驍龍AR1是我們?yōu)橘x能下一代智能眼鏡打造的首款專用平臺(tái)。它支持頂級(jí)照片和視頻拍攝功能，具備強(qiáng)大的眼鏡側(cè)AI能力，可以增強(qiáng)照片和視頻拍攝體驗(yàn)、支持虛擬助手從而解放雙手，并且支持多種智能眼鏡類型，包括僅采用攝像頭的款式，到支持單目顯示和雙目顯示的款式”，司宏國在媒體溝通會(huì)的最后總結(jié)道。
立足廣大用戶，走實(shí)用的普及之路
在媒體溝通會(huì)后的采訪環(huán)節(jié)，司宏國就許多人關(guān)心的問題也做出了詳細(xì)的解答。
對(duì)于目前市面上單眼4K分辨率Micro OLED微顯示器的涌現(xiàn)，司宏國表示，驍龍平臺(tái)何時(shí)實(shí)現(xiàn)對(duì)單眼4K分辨率的支持，仍需觀察4K Micro OLED微顯示器的成熟度。目前4K顯示仍然是非常昂貴的解決方案，也并不具備足以實(shí)現(xiàn)規(guī)模化擴(kuò)展的供應(yīng)能力。3K×3K分辨率已經(jīng)能夠帶來出色的視覺效果，相比市場上已有的解決方案有著很大的優(yōu)勢(shì)。高通非?？春?K顯示未來的潛力，同時(shí)也密切關(guān)注整個(gè)產(chǎn)業(yè)的就緒程度。但就目前來說高通關(guān)心的是，4K顯示何時(shí)才能真正實(shí)現(xiàn)大規(guī)模量產(chǎn)。
至于蘋果Vision Pro對(duì)于整個(gè)XR行業(yè)的影響，司宏國認(rèn)為蘋果進(jìn)入XR市場，為行業(yè)帶來的影響無疑是積極的，將進(jìn)一步提升XR市場的關(guān)注度。隨后司宏國解釋了高通和蘋果策略的差異：蘋果產(chǎn)品的價(jià)格較為昂貴，并且需要采用多個(gè)芯片以及外置電池來支持。但是對(duì)于廣大用戶來說，這可能并不是他們所期待的，這樣的架構(gòu)也很難確保終端價(jià)格是大多數(shù)用戶可以負(fù)擔(dān)的。以手勢(shì)追蹤為例，高通的平臺(tái)能夠?qū)崿F(xiàn)同樣的手勢(shì)識(shí)別和追蹤功能，還能支持更多能力。相比蘋果，高通采用了一種更加實(shí)用的思路，以將VR和MR體驗(yàn)帶到更廣闊的市場當(dāng)中。
XR技術(shù)要實(shí)現(xiàn)更廣泛的市場普及，不僅需要像Vision Pro這樣在技術(shù)層面達(dá)到極致的高端產(chǎn)品，還需要更多從用戶需求角度出發(fā)，尋求體驗(yàn)和價(jià)格最佳平衡的大眾產(chǎn)品。高通希望推動(dòng)技術(shù)不斷進(jìn)步，降低價(jià)格，提高性能，使XR技術(shù)更加普及，讓更多人享受到其帶來的樂趣和便利，迎接空間計(jì)算時(shí)代的到來?；蛟S這也正是高通想通過第二代驍龍XR2和第一代驍龍AR1，達(dá)成的XR普及之路。
「路雖遠(yuǎn)，行則將至」。
