全球眼動(dòng)追蹤行業(yè)的領(lǐng)軍者——總部位于瑞典斯德哥爾摩的Tobii公司,正式宣布與 Prophesee達(dá)成戰(zhàn)略合作,雙方將攜手致力于開發(fā)應(yīng)用于AR/VR頭顯及智能眼鏡的下一代眼動(dòng)追蹤技術(shù)。此次合作的核心亮點(diǎn)在于,該技術(shù)將深度依托Prophesee獨(dú)樹一幟的基于事件的視覺系統(tǒng)。
Prophesee所研發(fā)制造的專用相機(jī)與傳感器,其工作機(jī)制與人類眼球的運(yùn)作模式高度相似,堪稱仿生視覺技術(shù)的典范。區(qū)別于傳統(tǒng)標(biāo)準(zhǔn)相機(jī)對畫面中所有細(xì)節(jié)進(jìn)行“地毯式”記錄的工作方式,Prophesee的創(chuàng)新技術(shù)另辟蹊徑,僅聚焦于捕捉場景中的動(dòng)態(tài)變化,諸如物體的運(yùn)動(dòng)軌跡、光線強(qiáng)度的明暗變換等關(guān)鍵信息。這種獨(dú)特的工作模式賦予了該技術(shù)顯著優(yōu)勢:運(yùn)行速度大幅提升,設(shè)備體積得以進(jìn)一步縮小,而最為關(guān)鍵的是,能耗得到了有效控制,實(shí)現(xiàn)了低功耗運(yùn)行。憑借這些卓越特性,該技術(shù)的應(yīng)用領(lǐng)域極為廣泛,已成功涉足自動(dòng)駕駛汽車、精密工業(yè)機(jī)器、智能手機(jī)等多個(gè)前沿領(lǐng)域。在Tobii的助力下,這項(xiàng)技術(shù)即將開拓全新的應(yīng)用疆界,進(jìn)軍XR頭戴式頭顯和智能眼鏡領(lǐng)域。
據(jù)悉,此次合作堪稱強(qiáng)強(qiáng)聯(lián)合,雙方將各自的核心優(yōu)勢進(jìn)行深度融合。Tobii憑借其在業(yè)界處于領(lǐng)先地位的眼動(dòng)追蹤平臺,結(jié)合Prophesee基于事件的傳感器技術(shù),共同發(fā)力。雙方信心滿滿地表示,通過此次合作,將成功開發(fā)出“超快速且節(jié)能的眼動(dòng)追蹤解決方案”。這一方案專門針對緊湊型、電池續(xù)航能力有限的智能眼鏡而設(shè)計(jì),能夠充分滿足此類設(shè)備在功率消耗和外形尺寸方面的嚴(yán)苛要求。
Prophesee聯(lián)合創(chuàng)始人兼首席執(zhí)行官Luca Verre對此次合作給予了高度評價(jià),他表示:“基于事件的視覺技術(shù)與下一代可穿戴設(shè)備對于低功耗、始終在線傳感的迫切需求完美契合。此次合作建立在雙方團(tuán)隊(duì)堅(jiān)實(shí)協(xié)作的基礎(chǔ)之上,進(jìn)一步拓展了我們的聯(lián)合技術(shù)能力,將其延伸至眼動(dòng)追蹤這一極具潛力的領(lǐng)域。依托Tobii在眼動(dòng)追蹤領(lǐng)域久經(jīng)市場考驗(yàn)的領(lǐng)導(dǎo)地位,再結(jié)合我們在基于事件的傳感領(lǐng)域積累的豐富經(jīng)驗(yàn),我們有決心、有信心為 AR/VR 和智能眼鏡的未來發(fā)展樹立全新的行業(yè)標(biāo)桿?!?/p>
Tobii集成高級副總裁Emma Bauer則從行業(yè)特性角度,闡釋了智能眼鏡在眼動(dòng)追蹤領(lǐng)域的特殊地位。她指出,智能眼鏡堪稱 “眼動(dòng)追蹤領(lǐng)域要求最為苛刻的應(yīng)用場景之一”。這是因?yàn)樵谠擃I(lǐng)域,不僅需要設(shè)備具備超低功耗的運(yùn)行能力,以確保長時(shí)間續(xù)航,還要求其擁有卓越的性能表現(xiàn),同時(shí)更要實(shí)現(xiàn)與標(biāo)準(zhǔn)眼鏡外形的無縫銜接,保證用戶佩戴的舒適性與美觀性。Bauer進(jìn)一步表示:“通過與Prophesee開展合作,我們將基于事件的傳感器融入現(xiàn)有相機(jī)技術(shù)體系,作為有力補(bǔ)充。這一舉措能夠?yàn)榭蛻粼诋a(chǎn)品設(shè)計(jì)過程中提供更為豐富的選擇和更高的靈活性,助力他們打造出更具競爭力的產(chǎn)品?!?/p>
回顧Tobii的發(fā)展歷程,作為眼動(dòng)追蹤領(lǐng)域的全球開拓者,它在行業(yè)發(fā)展進(jìn)程中扮演了重要角色,是首批將眼動(dòng)追蹤功能引入消費(fèi)級VR頭戴設(shè)備的先驅(qū)企業(yè)之一。Tobii研發(fā)的輕薄高效眼動(dòng)追蹤模塊,具備強(qiáng)大的功能,能夠?qū)崿F(xiàn)注視點(diǎn)渲染,根據(jù)用戶視線焦點(diǎn)動(dòng)態(tài)調(diào)整畫面渲染精度,在保證視覺體驗(yàn)的同時(shí)降低計(jì)算負(fù)載;增強(qiáng)社交VR沉浸感,讓用戶在虛擬社交場景中獲得更真實(shí)的互動(dòng)體驗(yàn);支持自動(dòng)瞳距(IPD)調(diào)節(jié),為不同用戶提供個(gè)性化的適配方案。這些功能的實(shí)現(xiàn),充分彰顯了眼動(dòng)追蹤技術(shù)在XR領(lǐng)域變革性的影響力。
如今,Tobii眼動(dòng)追蹤技術(shù)已廣泛應(yīng)用于眾多現(xiàn)代頭顯產(chǎn)品中。從備受玩家喜愛的PS VR2,到性能出眾的Pixel Crystal、玩出夢想MR,再到2019年推出便引起行業(yè)關(guān)注的HTC VIVE Pro Eye,都搭載了Tobii的先進(jìn)技術(shù),讓用戶得以享受更智能、更沉浸的使用體驗(yàn)。
VR愛好者兼軟件開發(fā)者whatdahopper,又名Kaitlyn,已成功在PC上初步實(shí)現(xiàn)了PS VR2的眼動(dòng)追蹤功能。在社交平臺X上,該開發(fā)者展示了首段眼動(dòng)追蹤的視頻片段。whatdahopper 在X平臺發(fā)文稱:“沒錯(cuò),我正在致力于讓PS VR2的眼動(dòng)追蹤/凝視功能在PC上穩(wěn)定運(yùn)行。目前一切尚未完善,仍未完成校準(zhǔn),而且我昨晚才從頭顯中獲取到眼動(dòng)追蹤(ET)數(shù)據(jù)。”?
倘若該開發(fā)者發(fā)布其眼動(dòng)追蹤軟件,它將同開發(fā)者在Github上提供的所有項(xiàng)目一樣,完全免費(fèi)且開源。開發(fā)者還寫道:“需要說明的是,我的軟件本質(zhì)上是索尼發(fā)布的官方PS VR2 SteamVR驅(qū)動(dòng)程序的修改版本,將眼動(dòng)追蹤支持集成到了驅(qū)動(dòng)程序中。我的計(jì)劃是發(fā)布一個(gè)軟件開發(fā)工具包(SDK),方便人們進(jìn)行功能集成?!?
自2024年8月起,借助官方PC適配器和SteamVR驅(qū)動(dòng)程序,PS VR2已可在PC上使用。遺憾的是,PC版PS VR2缺失了一些極具亮點(diǎn)的功能,如HDR顯示、頭顯與控制器觸覺反饋、3D音頻,以及最為關(guān)鍵的眼動(dòng)追蹤功能。若能成功解鎖眼動(dòng)追蹤和注視點(diǎn)渲染等功能,這款VR頭戴設(shè)備的價(jià)值將大幅提升。
市面上其他具備眼動(dòng)追蹤功能的PC VR頭戴設(shè)備,如Pimax Crystal (Super)或即將推出的 Bigscreen Beyond 2e,售價(jià)均超過1000 美元,而PS VR2(不含PC適配器)售價(jià)僅為400美元。
據(jù)彭博社報(bào)道,谷歌正在就收購加拿大眼動(dòng)追蹤技術(shù)制造商AdHawk Microsystems進(jìn)行最后的談判。若交易達(dá)成,谷歌將以1.15億美元(約合人民幣8.32億元)的價(jià)格收購這家公司,這也標(biāo)志著谷歌在重新進(jìn)軍頭戴式設(shè)備和智能眼鏡領(lǐng)域的進(jìn)程中邁出了重要一步。?
AdHawk Microsystems成立于2017年,經(jīng)過多年的研發(fā),已經(jīng)成功開發(fā)出實(shí)現(xiàn)先進(jìn)眼動(dòng)追蹤功能所需的芯片、硬件和軟件。該公司推出的MindLink眼鏡備受關(guān)注,通過內(nèi)置的眼動(dòng)追蹤技術(shù),設(shè)備能夠精準(zhǔn)確定用戶的注視位置。其技術(shù)的一大突出賣點(diǎn)在于采用了低功耗組件,能夠比競爭對手的傳感器更快地分析用戶的角膜和瞳孔變化。?
AdHawk背后的投資者陣容強(qiáng)大,其中包括三星電子、英特爾、惠普和索尼等公司的風(fēng)險(xiǎn)投資部門。值得一提的是,Meta在智能眼鏡領(lǐng)域的合作伙伴、EssilorLuxottica旗下的雷朋眼鏡也是該公司的投資者之一。早在2022年,Meta也曾考慮收購AdHawk。?
谷歌在智能眼鏡技術(shù)領(lǐng)域堪稱開拓者,早在十多年前就推出了谷歌眼鏡。然而,由于種種原因,該產(chǎn)品的市場表現(xiàn)不佳,最終在兩年前停產(chǎn)。但此后,隨著人工智能技術(shù)的飛速發(fā)展,谷歌看到了智能眼鏡市場新的機(jī)遇,一直在積極討論重返該領(lǐng)域。多年來,谷歌除了與三星開展合作外,還持續(xù)測試新的眼鏡原型產(chǎn)品。而此次收購AdHawk Microsystems,有望借助其先進(jìn)的低功耗眼動(dòng)追蹤技術(shù),推動(dòng)谷歌新的智能眼鏡設(shè)計(jì)走向市場。
Tender Claws是「怪奇物語VR」制作工作室,宣布本周將在SXSW上推出一項(xiàng)極為新奇的VR體驗(yàn)——基于眼神交流來切換視角。
這項(xiàng)名為「Face Jumping」的 VR 體驗(yàn),聽起來無疑是Tender Claws在虛擬現(xiàn)實(shí)領(lǐng)域的又一次極具創(chuàng)意的嘗試。下周,該體驗(yàn)將在Meta Quest Pro平臺,與其他一系列體驗(yàn)一同于SXSW費(fèi)爾蒙特展區(qū)的XR體驗(yàn)展中登場。
這一30分鐘時(shí)長的體驗(yàn),計(jì)劃融入眼動(dòng)追蹤互動(dòng)功能,使玩家能夠通過與角色、動(dòng)物以及物體進(jìn)行眼神交流,實(shí)現(xiàn)視角的轉(zhuǎn)換。工作室方面表示,「Face Jumping」邀請玩家“對觀看與被觀看的行為進(jìn)行反思,進(jìn)而引發(fā)關(guān)于感知、意識,以及我們?nèi)绾螒{借眼神與他人建立聯(lián)系等問題的思考”。
工作室稱「Face Jumping」是“回歸Tender Claws的創(chuàng)作根源,涵蓋實(shí)驗(yàn)性敘事、多層次故事架構(gòu),以及對技術(shù)與人類關(guān)系的荒誕式探索”。
Tender Claws目前尚未透露在SXSW首次亮相后,是否會正式推出「Face Jumping」體驗(yàn)。鑒于該體驗(yàn)主要依托眼動(dòng)追蹤技術(shù),理論上可適配如Apple Vision Pro、Meta Quest Pro以及PS VR2等眾多平臺。
Wolvic Chromium 1.1為開源獨(dú)立XR瀏覽器添加了WebXR AR支持,此前1.0版添加了眼動(dòng)追蹤導(dǎo)航。
最初,WebXR僅支持完全沉浸式VR,如今WebXR增強(qiáng)現(xiàn)實(shí)模塊允許Web應(yīng)用采用透視或透明度作為背景。
另外,Horizon OS瀏覽器和PICO瀏覽器均已支持WebXR AR模塊;現(xiàn)在,開源Wolvic瀏覽器Chromium版本也支持該模塊。
Wolvic Chromium 1.1還增加了對可下載VR環(huán)境的支持,可在平面瀏覽模式下查看。此次更新是在1.0發(fā)布后一個(gè)多月推出的。
1.0更新的主要功能是眼動(dòng)追蹤導(dǎo)航。這意味著在Meta Quest Pro等具有眼動(dòng)追蹤功能的頭顯上,用戶可用眼睛選擇,用手指捏合,就像在Apple Vision Pro Safari中操作一樣。這可能使Wolvic成為Quest Pro用戶的首選網(wǎng)絡(luò)瀏覽器。
此外,此次更新還帶來了一些小改進(jìn),比如隱私瀏覽模式下的密碼自動(dòng)填充以及數(shù)十個(gè)錯(cuò)誤和穩(wěn)定性修復(fù)。
不過,應(yīng)用商店Wolvic版本仍然基于Gecko,因此要獲取Chromium版本W(wǎng)olvic,用戶需要下載APK并將其側(cè)載。
新報(bào)告稱,榮耀眼動(dòng)追蹤技術(shù)旨在徹底改變智能手機(jī)的交互方式。該公司已成為首個(gè)推出基于意圖的眼動(dòng)追蹤技術(shù)的智能手機(jī)品牌,這項(xiàng)由人工智能驅(qū)動(dòng)的突破性功能讓用戶只需用眼睛就能輕松控制手機(jī)。
該公司傾聽了殘障人士的需求,國際ALS(肌萎縮側(cè)索硬化、又名漸凍癥)基金會長期以來一直倡導(dǎo)改善行動(dòng)不便者生活的技術(shù)。通過推出Honor眼動(dòng)追蹤技術(shù),榮耀在無障礙方面取得了重大進(jìn)展。
這項(xiàng)創(chuàng)新功能將于2024年8月27日起通過MagicOS 8.0操作系統(tǒng)在全球推出,榮耀對以人為本的創(chuàng)新的承諾在這一發(fā)展中得到了充分體現(xiàn)。
荷蘭ALS基金會執(zhí)行董事Limore Noach分享了更多關(guān)于ALS的信息:“榮耀全新眼動(dòng)追蹤技術(shù)可以提供幫助,使他們能夠再次使用手機(jī)?!?/p>

不過,雖然榮耀將于8月27日在其頂級智能手機(jī)上正式推出此功能,但蘋果也將在不久后將這項(xiàng)技術(shù)推向市場。
無論誰是第一個(gè)將這項(xiàng)技術(shù)推向市場的公司,讓這項(xiàng)技術(shù)豐富ALS患者和其他殘疾人的生活都是多年研究的驚人成果。
美國專利商標(biāo)局正式公布了蘋果一項(xiàng)專利申請,該申請涉及與一個(gè)或多個(gè)顯示生成組件和一個(gè)或多個(gè)輸入設(shè)備通信的計(jì)算機(jī)系統(tǒng),以提供計(jì)算機(jī)生成的體驗(yàn),包括但不限于通過顯示器提供虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)體驗(yàn)的電子設(shè)備。
蘋果專利申請指出,一些調(diào)整設(shè)備定位的方法和界面繁瑣、低效且功能有限。例如,為準(zhǔn)確定位設(shè)備提供不充分、不明確或令人困惑的反饋系統(tǒng),其復(fù)雜、繁瑣且容易出錯(cuò),給用戶帶來巨大的認(rèn)知負(fù)擔(dān),并損害虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)環(huán)境的體驗(yàn)。此外,這些方法耗時(shí)比必要的時(shí)間更長,從而浪費(fèi)了計(jì)算機(jī)系統(tǒng)的能源。
蘋果專利涉及為用戶提供擴(kuò)展現(xiàn)實(shí)(XR)體驗(yàn)的用戶界面,蘋果專利申請中描述的系統(tǒng)、方法和GUI以多種方式改善了用戶界面與虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)環(huán)境的交互。
在一些實(shí)施例中,計(jì)算機(jī)系統(tǒng)檢測計(jì)算機(jī)系統(tǒng)的至少一部分相對于用戶面部的位置。例如,相對于用戶面部的一部分(例如,相對于用戶的眼睛、鼻子和/或前額))。
在一些實(shí)施例中,計(jì)算機(jī)系統(tǒng)相對于用戶臉部的正確定位有助于為用戶提供更好的體驗(yàn),例如,通過允許用戶正確查看顯示的內(nèi)容和/或允許用戶提供更準(zhǔn)確的用戶輸入(例如,基于眼睛和/或基于凝視的輸入)。

蘋果專利圖5為示出計(jì)算機(jī)系統(tǒng)的眼動(dòng)追蹤單元的框圖,該單元被配置為捕獲用戶的凝視輸入;圖7A-7D2示出了提供與設(shè)備位置調(diào)整有關(guān)反饋的示例技術(shù)。
如今,Meta新一項(xiàng)與智能眼鏡相關(guān)的申請專利浮出水面。
Meta專利指出“隨著技術(shù)的進(jìn)步,內(nèi)容創(chuàng)作和交付的普及和擴(kuò)散在近年來大大增加。特別是,交互式內(nèi)容,例如虛擬現(xiàn)實(shí)(VR)內(nèi)容、增強(qiáng)現(xiàn)實(shí)(AR)內(nèi)容、混合現(xiàn)實(shí)(MR)內(nèi)容以及真實(shí)和/或虛擬環(huán)境(例如“元宇宙”)內(nèi)和與之相關(guān)的內(nèi)容,對消費(fèi)者越來越有吸引力。
為了方便提供此類內(nèi)容和其他相關(guān)內(nèi)容,服務(wù)提供商已努力提供各種形式的可穿戴顯示系統(tǒng)。頭戴式顯示(HMD)設(shè)備就是其中一種示例,例如可穿戴眼鏡、可穿戴頭顯或眼鏡。
Meta專利申請涵蓋了頭戴式顯示器(HMD)設(shè)備中眼球位置和方向以及注視方向的追蹤,這可能會解鎖顯示和渲染架構(gòu),從而大大減輕渲染3D環(huán)境所需的功率和計(jì)算要求。此外,眼動(dòng)追蹤支持的注視預(yù)測和意圖推斷可以根據(jù)用戶與虛擬環(huán)境交互時(shí)的需求提供直觀和身臨其境的用戶體驗(yàn)。
眼動(dòng)追蹤可通過多種技術(shù)實(shí)現(xiàn)。條紋投影是一種技術(shù),它將周期性圖案投射到眼睛上,并使用反射圖案確定三維(3D)特征;另一種技術(shù)基于投射到眼睛上的光的飛行時(shí)間分析。這些技術(shù)及類似技術(shù)涉及將光(例如激光)投射到眼睛上,并捕捉近距離眼睛的反射。

Meta專利下圖1示出了包括近眼顯示器的人工現(xiàn)實(shí)系統(tǒng)環(huán)境的框圖;圖3A和3B示出了智能眼鏡形式的近眼顯示器的透視圖和頂視圖。