2017年蘋果收購了一家名為SensoMotoric Instruments(SMI)的德國公司，該公司是眼動(dòng)追蹤技術(shù)的領(lǐng)導(dǎo)者。2016年，SMI就已經(jīng)制造出了采用眼動(dòng)追蹤技術(shù)的眼鏡。雖然這項(xiàng)技術(shù)彼時(shí)聽起來有點(diǎn)科幻，但現(xiàn)在已是蘋果即將推出的空間計(jì)算設(shè)備Apple Vision Pro的關(guān)鍵技術(shù)之一?，F(xiàn)在，美國專利商標(biāo)局正式授予蘋果一項(xiàng)與先進(jìn)眼動(dòng)定位相關(guān)的專利，該專利發(fā)明人四分之三來自前SMI團(tuán)隊(duì)。
傳感器融合眼動(dòng)追蹤
蘋果授予專利涵蓋了各種實(shí)施方式，包括相對(duì)于用戶移動(dòng)的電子設(shè)備執(zhí)行遠(yuǎn)程眼動(dòng)追蹤的設(shè)備、系統(tǒng)和方法。
在一些實(shí)施方式中，遠(yuǎn)程眼動(dòng)追蹤設(shè)備基于單個(gè)主動(dòng)照明源和深度信息來識(shí)別3D坐標(biāo)系中沿著凝視方向的兩個(gè)位置（例如，角膜中心和眼球旋轉(zhuǎn)中心）來確定凝視方向；在一些實(shí)施方式中，基于活動(dòng)照明源和來自深度傳感器深度信息的閃爍來確定第一位置（例如，角膜中心），并且使用RGB傳感器（例如，環(huán)境光）和深度信息來確定第二位置（例如，眼球旋轉(zhuǎn)中心）；在一些實(shí)施方式中，基于相同主動(dòng)照明源的單個(gè)傳感器確定第一位置（例如，角膜中心）和第二位置（例如，眼球旋轉(zhuǎn)中心），并且單個(gè)傳感器確定深度信息和閃爍信息。
在一些實(shí)施方式中，遠(yuǎn)程眼動(dòng)追蹤確定3D坐標(biāo)系統(tǒng)中的頭部姿態(tài)，確定3D坐標(biāo)系統(tǒng)中眼睛的位置（例如，眼球旋轉(zhuǎn)中心），然后識(shí)別頭部姿態(tài)和眼睛的位置之間的空間關(guān)系；在一些實(shí)施方式中，空間關(guān)系是唯一確定的（例如，用戶特定的變換）；在一些實(shí)施方式中，以遠(yuǎn)程眼動(dòng)追蹤的登記模式確定空間關(guān)系。隨后，在一些遠(yuǎn)程眼動(dòng)追蹤模式的實(shí)施方式中，僅使用特征檢測圖像（例如，RGB相機(jī)圖像）和空間關(guān)系來執(zhí)行遠(yuǎn)程眼動(dòng)追蹤。在一些遠(yuǎn)程眼動(dòng)追蹤模式實(shí)施方式中，深度信息和主動(dòng)照明被關(guān)閉（例如，減少功耗）。
遠(yuǎn)程眼動(dòng)追蹤的一個(gè)用途是在用戶凝視的方向上識(shí)別設(shè)備上的關(guān)注點(diǎn)（POR），例如，凝視方向與設(shè)備顯示器相交的位置。POR可用于促進(jìn)用戶與設(shè)備的交互。例如，系統(tǒng)可以檢測到用戶凝視已經(jīng)到達(dá)顯示器的底部，并且作為響應(yīng)，自動(dòng)向下滾動(dòng)以向用戶顯示更多內(nèi)容。
本專利公開的一些實(shí)施方式涉及在具有一個(gè)或多個(gè)處理器、一個(gè)或多個(gè)圖像傳感器以及照明源的設(shè)備處，基于與眼睛的第一圖像中的不同波長的光相關(guān)聯(lián)的像素差異來檢測眼睛的第一屬性。這些實(shí)施方式基于來自深度傳感器的深度信息來確定與三維（3D）坐標(biāo)系中的第一屬性相關(guān)聯(lián)的第一位置。各種實(shí)施方式基于照明源的光從眼睛的角膜反射而產(chǎn)生的閃爍來檢測眼睛的第二屬性。這些實(shí)施方式基于來自深度傳感器的深度信息確定與3D坐標(biāo)系中的第二屬性相關(guān)聯(lián)的第二位置。
本專利公開的一些實(shí)施方式涉及在具有一個(gè)或多個(gè)處理器、一個(gè)或多個(gè)圖像傳感器以及照明源的設(shè)備處，基于與眼睛的第一圖像中的不同波長的光相關(guān)聯(lián)的像素差異來檢測眼睛的第一屬性，并且基于來自深度傳感器的深度信息來確定在三維(3D)坐標(biāo)系中與第一屬性相關(guān)聯(lián)的第一位置。各種實(shí)施方式基于在第二圖像中檢測到的頭部（例如，面部特征）和來自深度傳感器的深度信息來確定三維（3D）坐標(biāo)系中的頭部位置。
有關(guān)更多詳細(xì)信息，請(qǐng)查看蘋果授予專利11710350。
來源：patentlyapple
