這聽起來可能有些不可思議，但我剛剛經(jīng)歷了一次最有趣的對話——對話對象竟然是一副由生成式AI賦能的智能眼鏡。這不僅僅是一個簡單的演示，也讓人們得以一窺，高通技術(shù)公司正在如何將被視為配件的AI眼鏡轉(zhuǎn)變成為獨(dú)立、全面綜合性的終端。
這周二，在全球最大的XR展會AWE USA的舞臺上，我通過驍龍技術(shù)賦能的雷鳥X3 Pro智能眼鏡與AI助手進(jìn)行了交流。這款設(shè)備能夠直接在眼鏡上完成AI推理，無需依賴云端或互聯(lián)網(wǎng)連接。
核心理念很簡單：AI眼鏡將能夠獨(dú)立運(yùn)行，無需配對智能手機(jī)或連接云端。
正如我在AWE期間進(jìn)行的演示，在不久的將來，用戶可以把手機(jī)放在口袋里或留在車上，僅需佩戴智能眼鏡就能完成超市采購。
在臺上時，我模擬了在“超市”購物的場景，請智能眼鏡幫助我準(zhǔn)備女兒生日派對所需的奶油意面。
搭載小語言模型(SLM)Llama 1B的AI助手理解了我的具體要求，并通過語音和鏡片顯示的文本，向我提供了所需信息。
這次演示是全球首次完全在一副智能眼鏡上運(yùn)行自回歸生成式AI模型。無需手機(jī)和云，僅靠眼鏡內(nèi)置處理器完成。
并且，這是在現(xiàn)場觀眾面前實(shí)現(xiàn)的行業(yè)里程碑，標(biāo)志著智能眼鏡技術(shù)的重大突破。
不僅如此，高通技術(shù)公司宣布推出第一代驍龍AR1+處理器，其相較于前代平臺尺寸縮小26%，同時增強(qiáng)了圖像質(zhì)量、優(yōu)化了尺寸、提升了能效，并具備運(yùn)行小語言模型（SLM）的能力。這四大特性對緊湊型智能眼鏡都至關(guān)重要。
這些技術(shù)成果共同開啟了AI智能眼鏡的變革，更薄、更輕、更多樣化的眼鏡設(shè)計，同時具備強(qiáng)大的性能，支持AI助手直接在終端側(cè)運(yùn)行。
盡管這一演示只是智能眼鏡終端側(cè)AI功能的冰山一角，但高通技術(shù)公司所開展的這項(xiàng)工作將帶來的收益是深遠(yuǎn)且巨大的。
擴(kuò)展和演進(jìn)
XR頭顯和智能眼鏡的發(fā)展方向?qū)⒉恢褂谝粋€路徑，因?yàn)楦咄夹g(shù)公司還提供混合現(xiàn)實(shí)處理器，比如同樣具有強(qiáng)大終端側(cè)推理能力的第二代驍龍XR2和第二代驍龍XR2+。我預(yù)測會有多種不同的終端形態(tài)，從足以獨(dú)立運(yùn)行AI模型的眼鏡設(shè)備，到連接手機(jī)或附近的小型計算單元（可連接從汽車到平板電腦等一切終端），更輕量化的眼鏡設(shè)備。高通技術(shù)公司的產(chǎn)品組合正在為這一未來做好準(zhǔn)備。
無論是云計算、終端側(cè)計算，還是融合兩者的混合計算，終端側(cè)AI能力的提升將帶來無縫、超低時延、安全的用戶體驗(yàn)。這對于AI賦能的智能眼鏡進(jìn)入到任務(wù)關(guān)鍵型行業(yè)領(lǐng)域至關(guān)重要，用戶也將更加關(guān)注個性化、隱私保護(hù)和端到端的智能體體驗(yàn)。
過去一年，我們已看到XR行業(yè)取得了顯著進(jìn)展。2024年十二月，高通聯(lián)合谷歌和三星推出Android XR，這是一款以AI為XR體驗(yàn)核心的操作系統(tǒng)。
行業(yè)也在持續(xù)擴(kuò)展，Meta推出Ray-Ban眼鏡以及更前沿的硬件Meta Orion，這是Meta首款真正具備自主數(shù)字疊加功能的AR眼鏡。
此外，我們還看到了來自Rokid、雷鳥和XREAL等公司的眼鏡發(fā)布。今年三月，BleeqUp推出了一款A(yù)I賦能的運(yùn)動眼鏡。
試想一下，憑借第一代驍龍AR1+這樣更小巧、更強(qiáng)大的平臺，在不犧牲AI模型運(yùn)行支持的同時，賦能更輕薄的終端形態(tài)，這些公司將實(shí)現(xiàn)怎樣的技術(shù)突破。
更智能、更具感知能力
在智能眼鏡的發(fā)展過程中，合理的尺寸和舒適的佩戴體驗(yàn)至關(guān)重要，而與此同時第一代驍龍AR1+還帶來了另一項(xiàng)升級——媲美高端智能手機(jī)的影像能力，這對智能眼鏡的未來演進(jìn)發(fā)展同樣至關(guān)重要。
能夠洞察用戶看到的世界的每個細(xì)微之處，將為多模態(tài)輸入開辟全新路徑。這種能力對AI至關(guān)重要，它不僅能更好地理解用戶所見，還能讓AI主動提供建議或提供更多物體或位置信息，提升情境感知能力。
智能眼鏡將能夠獨(dú)立運(yùn)行小語言模型，但這并不意味著它們無法與用戶身邊的眾多設(shè)備（無論是智能手機(jī)，還是PC）協(xié)同工作。實(shí)際上，我認(rèn)為智能手表和智能手環(huán)或其他可穿戴傳感器等新終端將能夠與智能眼鏡協(xié)同交互，并賦能全新輸入模態(tài)。
在高通技術(shù)公司，我們以廣泛的終端組合迎接多元化未來，通過創(chuàng)建模塊化架構(gòu)讓我們的合作伙伴能夠進(jìn)入空間計算行業(yè)，為消費(fèi)者打造卓越體驗(yàn)。
因此，我認(rèn)為這次與智能眼鏡AI助手的對話演示象征著行業(yè)的一次重要轉(zhuǎn)折點(diǎn)，標(biāo)志著深遠(yuǎn)行業(yè)變革的開啟。高通技術(shù)公司的創(chuàng)新工作，正逐步釋放更深入、更個性化的智能體體驗(yàn)的顛覆性潛力。
]]>
在9月28日凌晨舉辦的Meta Connect大會上，新一代VR一體機(jī)Meta Quest 3和Ray-Ban | Meta?第二代智能眼鏡正式亮相。除了硬件規(guī)格的升級和軟件的迭代，這兩款新品最吸引人眼球的地方，無疑是其搭載的兩款全新計算平臺——第二代驍龍XR2平臺和第一代驍龍AR1平臺的全球首秀。
過去的幾年中，高通陸續(xù)推出了多款XR專用平臺，包括第一代驍龍XR1、第一代驍龍XR2、第一代驍龍XR2+以及第一代驍龍AR2?；谶@些平臺，PICO、Meta、聯(lián)想等行業(yè)領(lǐng)軍企業(yè)和更多的初創(chuàng)企業(yè)打造并發(fā)布了超過80款XR設(shè)備，共同構(gòu)成了繁榮的高通「朋友圈」，為XR產(chǎn)業(yè)的發(fā)展壯大貢獻(xiàn)了巨大的力量。
圍繞著第二代驍龍XR2平臺和第一代驍龍AR1平臺這兩大全新的計算平臺，高通的XR與空間計算戰(zhàn)略將如何續(xù)寫？在近期高通舉辦的媒體溝通會上，高通技術(shù)公司副總裁兼XR業(yè)務(wù)總經(jīng)理司宏國為我們做了詳細(xì)的介紹。
第二代驍龍XR2，體驗(yàn)和可負(fù)擔(dān)性的最優(yōu)平衡
在媒體溝通會一開場，司宏國就表示：“第二代驍龍XR2旨在真正推動VR和MR普及，讓所有人都能享受到逼真的沉浸式VR和MR體驗(yàn)?！?/strong>
VR和MR的普及，需要XR硬件廠商為消費(fèi)者提供體驗(yàn)不斷提升、售價相對合理的產(chǎn)品。而第二代驍龍XR2平臺，正是高通面向OEM廠商打造的變革之作。
根據(jù)司宏國介紹，相比第一代驍龍XR2和驍龍XR2+，第二代驍龍XR2具備三大亮點(diǎn)：一是面向視覺、圖形和多媒體帶來突破性的沉浸式體驗(yàn)；二是流暢交互，更加沉浸的交互體驗(yàn)?zāi)軌蜃屘摂M世界和物理世界完美融合；第三是現(xiàn)實(shí)重構(gòu)，通過提升視頻透視能力，賦能混合現(xiàn)實(shí)。這三大亮點(diǎn)將變革下一代VR和MR頭顯，引領(lǐng)市場邁入空間計算的時代。
具體而言，首先是性能方面：
第二代驍龍XR2的整體架構(gòu)針對性能和能效進(jìn)行了大幅度優(yōu)化，可以在無需外接電池組的情況下為頂級的一體機(jī)頭顯設(shè)備提供出色的性能保障。
和前代相比，第二代驍龍XR2的GPU實(shí)現(xiàn)了2.5倍的性能提升，能夠賦能驚艷的圖形效果和出色的色彩和細(xì)節(jié)。開發(fā)者可以充分利用新平臺的GPU能力，提升應(yīng)用和游戲的視覺保真度，或是在同樣的視覺效果下節(jié)省50%的功耗，更好的應(yīng)對消費(fèi)者對于畫面升級的渴望。
反映到具體的參數(shù)上，基于第二代驍龍XR2打造的Meta Quest 3將其設(shè)備的分辨率從前代產(chǎn)品的單眼1832×1920提升至單眼2064×2208，像素數(shù)量提升近30%，同時將最高刷新率由90Hz提升至120Hz，帶來更清晰、逼真、流暢的畫面效果。
但這并不是第二代驍龍XR2 GPU性能的極限。根據(jù)司宏國的介紹，第二代驍龍XR2能夠優(yōu)化支持最高單眼3K×3K的顯示分辨率，這對于目前的VR和MR設(shè)備來說是最理想的方案。
此外第二代驍龍XR2還能夠支持眾多的先進(jìn)特性，例如空間扭曲、游戲超級分辨率和注視點(diǎn)渲染，以推動VR和MR體驗(yàn)提升至一個新的水平。
其次，是交互方面：
流暢交互主要指兩方面，一方面是計算機(jī)和周圍環(huán)境的交互，另一方面則是計算機(jī)與人的交互。無論是對用戶的頭部、手部、眼球、全身動作進(jìn)行追蹤，還是對周圍環(huán)境做3D重建、平面檢測、語義理解、物體識別和追蹤，都需要強(qiáng)大的算力作為保證。
得益于終端側(cè)AI能力的大幅度提升（相比第一代驍龍XR2每瓦特性能提升8倍），第二代驍龍XR2能夠支持出色的并發(fā)感知技術(shù)，以實(shí)現(xiàn)用戶和環(huán)境理解。司宏國告訴我們，第二代驍龍XR2實(shí)現(xiàn)了對INT8的支持，并優(yōu)化了不同AI模塊之間的連接，以實(shí)現(xiàn)緊密的協(xié)同處理，同時還擴(kuò)展了終端側(cè)的內(nèi)存。
而除了AI引擎能力的大幅提升之外，高通還實(shí)現(xiàn)了6DoF中的特征探測和追蹤（Feature detection and tracking）功能從軟件向芯片硬件視覺分析引擎（Engine for Visual Analytics）的遷移，不僅提升了性能實(shí)現(xiàn)了關(guān)鍵點(diǎn)檢測數(shù)量的的大幅提升，同時還大幅度降低了該功能的功耗和時延。
在連接方面，第二代驍龍XR2能夠支持Wi-Fi 7、Wi-Fi 6E連接，帶來更低延遲、更高帶寬的網(wǎng)絡(luò)接入，以適應(yīng)不同應(yīng)用場景下對于網(wǎng)絡(luò)連接的不同需求。此外，第二代驍龍XR2還支持了面向XR的高通FastConnect軟件套件，能夠?qū)崿F(xiàn)25%功耗的降低，峰值速度可達(dá)5.8Gbps，并且時延降低80%。
在司宏國看來，VR和MR設(shè)備不僅可以作為一體式設(shè)備提供豐富的用例，還可以與強(qiáng)大的游戲PC相連接，在更強(qiáng)大的散熱能力和專用顯卡的支持下，賦能不同游戲生態(tài)的融合。因此，在上述這種情況下，對于XR設(shè)備與其他設(shè)備之間的互聯(lián)來說，Wi-Fi 7技術(shù)同樣非常重要。
最后則是各大VR廠商重點(diǎn)發(fā)力的VST混合現(xiàn)實(shí)技術(shù)：
第二代驍龍XR2最高能夠支持并行處理10路傳感器和攝像頭數(shù)據(jù)，不僅能夠滿足實(shí)現(xiàn)VST與頭手6DoF追蹤功能對不同類型攝像頭的需求，也為眼球追蹤、面部捕捉所需的攝像頭預(yù)留了充足的處理能力。高通還對整個VST（視頻透視）的線程進(jìn)行了全面優(yōu)化，不僅支持通過幾何校正、降噪、動態(tài)亮度調(diào)整等技術(shù)提升VST的圖像質(zhì)量，還實(shí)現(xiàn)了低至12ms的VST時延。
VST時延直接關(guān)乎用戶MR體驗(yàn)的優(yōu)劣，動作到畫面之間較高的MTP延遲不僅會讓用戶在人機(jī)交互的過程中感受到遲滯感，還有可能導(dǎo)致暈動癥的發(fā)生。因此VST時延這一指標(biāo)是衡量VST效果的重要標(biāo)準(zhǔn)之一。
傳統(tǒng)的VST功能中，單幀畫面需要經(jīng)過攝像頭、鏡頭校正、等待幀、渲染、等待顯示、扭曲、顯示7個環(huán)節(jié)才能最終呈現(xiàn)在用戶的眼前，因此時延一直居高不下，通常會大于50毫秒，導(dǎo)致用戶體驗(yàn)不佳。在6月份發(fā)布的Vision Pro上，蘋果憑借M2+R1芯片的組合實(shí)現(xiàn)了12ms以內(nèi)將攝像頭圖像流式傳輸?shù)狡聊簧?，被廣泛認(rèn)為是Vision Pro實(shí)現(xiàn)出色VST效果的重要原因之一。
不過高通并未跟隨蘋果的步伐選擇采用多芯片的方案來改善VST的時延，而是在單芯片的基礎(chǔ)上給出了另一個選擇，避免計算平臺產(chǎn)生較大的架構(gòu)變動，推高企業(yè)的研發(fā)和量產(chǎn)成本。
第二代驍龍XR2搭載了新一代高通Spectra ISP，能夠在單步中完成幾何校正、降噪、動態(tài)亮度調(diào)節(jié)等多項(xiàng)圖像處理工作，一次性將VST時延降低至約12毫秒，達(dá)到持平Vision Pro M2+R1芯片的水準(zhǔn)。重要指標(biāo)上的追平意味消費(fèi)者無需購買昂貴的Vision Pro，選擇搭載了第二代驍龍XR2計算平臺的硬件產(chǎn)品同樣能獲得出色的VST體驗(yàn)，覆蓋了更廣泛的用戶群體。
從這三大亮點(diǎn)中我們不難看出，貫穿第二代驍龍XR2計算平臺始終的，是如何在不推高成本的情況下，將更好的體驗(yàn)帶給廣大的消費(fèi)者，無處不彰顯高通普及XR與空間計算的決心和獨(dú)到的路徑。也正如司宏國在采訪中所說：“目前來說我們關(guān)心的是，如何讓消費(fèi)者能夠買到經(jīng)濟(jì)實(shí)惠的設(shè)備。我們認(rèn)為，絕大多數(shù)用戶關(guān)心的，也是我們正在努力解決的問題是，如何在產(chǎn)品體驗(yàn)和產(chǎn)品的可負(fù)擔(dān)性之間實(shí)現(xiàn)最優(yōu)的平衡?！?/strong>
第一代驍龍AR1，補(bǔ)足輕量級智能眼鏡生態(tài)
盡管市場成熟度相對VR和MR仍稍顯青澀，AR智能眼鏡這一正在飛速成長的賽道同樣是高通重點(diǎn)關(guān)注和發(fā)力的對象。自2021年以來，高通陸續(xù)發(fā)布了基于驍龍XR1的分體式連接AR參考設(shè)計、基于第一代驍龍XR2的無線AR眼鏡參考設(shè)計和基于第一代驍龍AR2的輕量級無線AR眼鏡參考設(shè)計。
從產(chǎn)品路線來看，高通專為AR智能眼鏡打造的計算平臺已經(jīng)逐漸形成了獨(dú)立的產(chǎn)品線，不再完全和VR與MR頭顯共用。這也符合AR智能眼鏡與VR、MR頭顯相異的追求——產(chǎn)品更追求輕薄，對于芯片的大小和發(fā)熱量有嚴(yán)格的要求，需要高續(xù)航以滿足全天候使用需求，對于顯示分辨率的提高沒有迫切要求，語音作為重要的交互方式對于平臺的AI能力有更高的需求等等。
甚至在AR智能眼鏡這個大的框架內(nèi)，因?yàn)楫a(chǎn)品的目標(biāo)人群不同，不同的AR眼鏡在功能上也存在著差異。支持不支持6DoF，支持不支持全彩顯示，單目顯示、雙目顯示還是僅有語音，側(cè)重觀影還是信息提示，是否支持實(shí)時拍攝，都對計算平臺的能力提出了不同的考驗(yàn)。
第一代驍龍AR1正是高通面向下一代智能眼鏡推出的首個專用計算平臺。相比第一代驍龍AR2更強(qiáng)調(diào)的分布式計算支持的沉浸式體驗(yàn)，第一代驍龍AR1主打的是出色的拍攝與AI能力，更加契合以信息提示為主要目標(biāo)的輕薄AR智能眼鏡，是對主打觀影等沉浸式體驗(yàn)的AR眼鏡生態(tài)的補(bǔ)足。
“在AR領(lǐng)域，面向消費(fèi)者的沉浸式體驗(yàn)剛剛起步，但我們看到已經(jīng)有大量的企業(yè)正在使用豐富的AR應(yīng)用，包括遠(yuǎn)程協(xié)助、說明/指導(dǎo)、以及通過AR智能眼鏡賦能的生產(chǎn)力工具。我很高興宣布推出第一代驍龍AR1平臺，這是高通為賦能下一代智能眼鏡打造的首個專用平臺“，司宏國在媒體溝通會上表示。
拍攝方面，第一代驍龍AR1采用14-bit雙ISP，支持頂級即時拍攝體驗(yàn)，可以拍攝1200萬像素照片和600萬像素視頻，此外它還加入了高通為智能手機(jī)打造的諸多頂級特性，比如自動曝光、自動人臉檢測、計算HDR和人像模式。第一代驍龍AR1賦能的智能眼鏡將變革拍攝照片和視頻的方式，讓人們可以解放雙手進(jìn)行拍攝。
AI方面，第一代驍龍AR1采用了第三代Hexagon NPU，在眼鏡側(cè)支持本地部署視覺搜索、定向音頻采集、實(shí)時翻譯等AI能力。它還能幫助增強(qiáng)照片和視頻的拍攝質(zhì)量、通過降噪實(shí)現(xiàn)更清晰的通話，并可以通過計算機(jī)視覺實(shí)現(xiàn)更清晰的視頻拍攝。
除此之外，第一代驍龍AR1可以處理面向健康和運(yùn)動追蹤的傳感器數(shù)據(jù)，讓智能眼鏡可以為用戶提供實(shí)用的情境信息和指令。對語音指令的支持讓基于第一代驍龍AR1打造的智能眼鏡可以解放雙手，這一功能在滑板、騎自行車、做飯時將變得非常實(shí)用。
在拍攝和AI兩個高通最看重的功能外，第一代驍龍AR1能夠支持3DoF追蹤，單目/雙目顯示方案，像素數(shù)量最高可達(dá)單眼160萬像素（1280×1280），給與了OEM廠商靈活打造AR智能眼鏡產(chǎn)品的余裕，能夠很好的應(yīng)對從具備出色攝像頭和音樂功能、以圖像拍攝為核心的智能眼鏡；到支持單目顯示、完美支持提醒通知和導(dǎo)航應(yīng)用的智能眼鏡；再到支持雙目顯示、具備更豐富視覺效果的更強(qiáng)大的智能眼鏡等不同AR硬件對于芯片能力的需求。
在必不可少的連接方面，第一代驍龍AR1配備了與第二代驍龍XR2相同的高通Fast Connect軟件套件，支持Wi-Fi 7無線網(wǎng)絡(luò)、藍(lán)牙5.2和5.3，勝任高頻并發(fā)多連接的使用場景，峰值速度達(dá)到5.8Gbps，時延也降低了80%。
“第一代驍龍AR1是我們?yōu)橘x能下一代智能眼鏡打造的首款專用平臺。它支持頂級照片和視頻拍攝功能，具備強(qiáng)大的眼鏡側(cè)AI能力，可以增強(qiáng)照片和視頻拍攝體驗(yàn)、支持虛擬助手從而解放雙手，并且支持多種智能眼鏡類型，包括僅采用攝像頭的款式，到支持單目顯示和雙目顯示的款式”，司宏國在媒體溝通會的最后總結(jié)道。
立足廣大用戶，走實(shí)用的普及之路
在媒體溝通會后的采訪環(huán)節(jié)，司宏國就許多人關(guān)心的問題也做出了詳細(xì)的解答。
對于目前市面上單眼4K分辨率Micro OLED微顯示器的涌現(xiàn)，司宏國表示，驍龍平臺何時實(shí)現(xiàn)對單眼4K分辨率的支持，仍需觀察4K Micro OLED微顯示器的成熟度。目前4K顯示仍然是非常昂貴的解決方案，也并不具備足以實(shí)現(xiàn)規(guī)?；瘮U(kuò)展的供應(yīng)能力。3K×3K分辨率已經(jīng)能夠帶來出色的視覺效果，相比市場上已有的解決方案有著很大的優(yōu)勢。高通非常看好4K顯示未來的潛力，同時也密切關(guān)注整個產(chǎn)業(yè)的就緒程度。但就目前來說高通關(guān)心的是，4K顯示何時才能真正實(shí)現(xiàn)大規(guī)模量產(chǎn)。
至于蘋果Vision Pro對于整個XR行業(yè)的影響，司宏國認(rèn)為蘋果進(jìn)入XR市場，為行業(yè)帶來的影響無疑是積極的，將進(jìn)一步提升XR市場的關(guān)注度。隨后司宏國解釋了高通和蘋果策略的差異：蘋果產(chǎn)品的價格較為昂貴，并且需要采用多個芯片以及外置電池來支持。但是對于廣大用戶來說，這可能并不是他們所期待的，這樣的架構(gòu)也很難確保終端價格是大多數(shù)用戶可以負(fù)擔(dān)的。以手勢追蹤為例，高通的平臺能夠?qū)崿F(xiàn)同樣的手勢識別和追蹤功能，還能支持更多能力。相比蘋果，高通采用了一種更加實(shí)用的思路，以將VR和MR體驗(yàn)帶到更廣闊的市場當(dāng)中。
XR技術(shù)要實(shí)現(xiàn)更廣泛的市場普及，不僅需要像Vision Pro這樣在技術(shù)層面達(dá)到極致的高端產(chǎn)品，還需要更多從用戶需求角度出發(fā)，尋求體驗(yàn)和價格最佳平衡的大眾產(chǎn)品。高通希望推動技術(shù)不斷進(jìn)步，降低價格，提高性能，使XR技術(shù)更加普及，讓更多人享受到其帶來的樂趣和便利，迎接空間計算時代的到來?；蛟S這也正是高通想通過第二代驍龍XR2和第一代驍龍AR1，達(dá)成的XR普及之路。
「路雖遠(yuǎn)，行則將至」。