全球首個智能眼鏡側(cè)生成式AI演示:高通對智能眼鏡未來的愿景

?? 由 文心大模型 生成的文章摘要

作者:Ziad Asghar 高通技術(shù)公司高級副總裁兼XR業(yè)務(wù)總經(jīng)理

這聽起來可能有些不可思議,但我剛剛經(jīng)歷了一次最有趣的對話——對話對象竟然是一副由生成式AI賦能的智能眼鏡。這不僅僅是一個簡單的演示,也讓人們得以一窺,高通技術(shù)公司正在如何將被視為配件的AI眼鏡轉(zhuǎn)變成為獨立、全面綜合性的終端。

這周二,在全球最大的XR展會AWE USA的舞臺上,我通過驍龍技術(shù)賦能的雷鳥X3 Pro智能眼鏡與AI助手進(jìn)行了交流。這款設(shè)備能夠直接在眼鏡上完成AI推理,無需依賴云端或互聯(lián)網(wǎng)連接。

核心理念很簡單:AI眼鏡將能夠獨立運(yùn)行,無需配對智能手機(jī)或連接云端。

正如我在AWE期間進(jìn)行的演示,在不久的將來,用戶可以把手機(jī)放在口袋里或留在車上,僅需佩戴智能眼鏡就能完成超市采購。

在臺上時,我模擬了在“超市”購物的場景,請智能眼鏡幫助我準(zhǔn)備女兒生日派對所需的奶油意面。

搭載小語言模型(SLM)Llama 1B的AI助手理解了我的具體要求,并通過語音和鏡片顯示的文本,向我提供了所需信息。

這次演示是全球首次完全在一副智能眼鏡上運(yùn)行自回歸生成式AI模型。無需手機(jī)和云,僅靠眼鏡內(nèi)置處理器完成。

并且,這是在現(xiàn)場觀眾面前實現(xiàn)的行業(yè)里程碑,標(biāo)志著智能眼鏡技術(shù)的重大突破。

不僅如此,高通技術(shù)公司宣布推出第一代驍龍AR1+處理器,其相較于前代平臺尺寸縮小26%,同時增強(qiáng)了圖像質(zhì)量、優(yōu)化了尺寸、提升了能效,并具備運(yùn)行小語言模型(SLM)的能力。這四大特性對緊湊型智能眼鏡都至關(guān)重要。

這些技術(shù)成果共同開啟了AI智能眼鏡的變革,更薄、更輕、更多樣化的眼鏡設(shè)計,同時具備強(qiáng)大的性能,支持AI助手直接在終端側(cè)運(yùn)行。

盡管這一演示只是智能眼鏡終端側(cè)AI功能的冰山一角,但高通技術(shù)公司所開展的這項工作將帶來的收益是深遠(yuǎn)且巨大的。

擴(kuò)展和演進(jìn)

XR頭顯和智能眼鏡的發(fā)展方向?qū)⒉恢褂谝粋€路徑,因為高通技術(shù)公司還提供混合現(xiàn)實處理器,比如同樣具有強(qiáng)大終端側(cè)推理能力的第二代驍龍XR2和第二代驍龍XR2+。我預(yù)測會有多種不同的終端形態(tài),從足以獨立運(yùn)行AI模型的眼鏡設(shè)備,到連接手機(jī)或附近的小型計算單元(可連接從汽車到平板電腦等一切終端),更輕量化的眼鏡設(shè)備。高通技術(shù)公司的產(chǎn)品組合正在為這一未來做好準(zhǔn)備。

無論是云計算、終端側(cè)計算,還是融合兩者的混合計算,終端側(cè)AI能力的提升將帶來無縫、超低時延、安全的用戶體驗。這對于AI賦能的智能眼鏡進(jìn)入到任務(wù)關(guān)鍵型行業(yè)領(lǐng)域至關(guān)重要,用戶也將更加關(guān)注個性化、隱私保護(hù)和端到端的智能體體驗。

過去一年,我們已看到XR行業(yè)取得了顯著進(jìn)展。2024年十二月,高通聯(lián)合谷歌和三星推出Android XR,這是一款以AI為XR體驗核心的操作系統(tǒng)。

行業(yè)也在持續(xù)擴(kuò)展,Meta推出Ray-Ban眼鏡以及更前沿的硬件Meta Orion,這是Meta首款真正具備自主數(shù)字疊加功能的AR眼鏡。

此外,我們還看到了來自Rokid、雷鳥和XREAL等公司的眼鏡發(fā)布。今年三月,BleeqUp推出了一款A(yù)I賦能的運(yùn)動眼鏡。

試想一下,憑借第一代驍龍AR1+這樣更小巧、更強(qiáng)大的平臺,在不犧牲AI模型運(yùn)行支持的同時,賦能更輕薄的終端形態(tài),這些公司將實現(xiàn)怎樣的技術(shù)突破。

更智能、更具感知能力

在智能眼鏡的發(fā)展過程中,合理的尺寸和舒適的佩戴體驗至關(guān)重要,而與此同時第一代驍龍AR1+還帶來了另一項升級——媲美高端智能手機(jī)的影像能力,這對智能眼鏡的未來演進(jìn)發(fā)展同樣至關(guān)重要。

能夠洞察用戶看到的世界的每個細(xì)微之處,將為多模態(tài)輸入開辟全新路徑。這種能力對AI至關(guān)重要,它不僅能更好地理解用戶所見,還能讓AI主動提供建議或提供更多物體或位置信息,提升情境感知能力。

智能眼鏡將能夠獨立運(yùn)行小語言模型,但這并不意味著它們無法與用戶身邊的眾多設(shè)備(無論是智能手機(jī),還是PC)協(xié)同工作。實際上,我認(rèn)為智能手表和智能手環(huán)或其他可穿戴傳感器等新終端將能夠與智能眼鏡協(xié)同交互,并賦能全新輸入模態(tài)。

在高通技術(shù)公司,我們以廣泛的終端組合迎接多元化未來,通過創(chuàng)建模塊化架構(gòu)讓我們的合作伙伴能夠進(jìn)入空間計算行業(yè),為消費(fèi)者打造卓越體驗。

因此,我認(rèn)為這次與智能眼鏡AI助手的對話演示象征著行業(yè)的一次重要轉(zhuǎn)折點,標(biāo)志著深遠(yuǎn)行業(yè)變革的開啟。高通技術(shù)公司的創(chuàng)新工作,正逐步釋放更深入、更個性化的智能體體驗的顛覆性潛力。