文藝復(fù)興三杰之一的達(dá)芬奇曾經(jīng)說過：“眼睛是心靈的窗戶”。眼睛在人與人之間的溝通交流中扮演著重要的角色，用以傳遞情緒等言語之外的信息。

對于計(jì)算機(jī)來說，人類的眼睛也包含了許多有價(jià)值的數(shù)據(jù)等待挖掘。在人機(jī)交互（HCI）領(lǐng)域，如何讓計(jì)算機(jī)來識別人類通過眼球傳達(dá)的信息，一直是科學(xué)家們關(guān)注的課題。近幾年來，在機(jī)器學(xué)習(xí)、深度學(xué)習(xí)以及人工智能等技術(shù)的幫助下，通過追蹤眼球運(yùn)動獲取的信息和數(shù)據(jù)已經(jīng)可以間接揭示種族、性格特征、情緒、興趣、技能以及身心健康狀況等信息，醫(yī)療、工業(yè)、汽車、教育、娛樂、航空航天、無障礙輔助等領(lǐng)域都開始嘗試將眼球追蹤技術(shù)投入實(shí)際應(yīng)用中，以求帶來更好的人機(jī)交互體驗(yàn)。

XR產(chǎn)業(yè)作為人機(jī)交互領(lǐng)域的探索前沿，與眼球追蹤技術(shù)更是有著諸多交集——曾登上《時代周刊》封面的Oculus創(chuàng)始人Palmer Luckey在2016年初就表示：“眼球追蹤是VR的心臟，未來的VR頭顯必將支持眼球追蹤技術(shù)”。

緊隨其后的是巨頭們對眼球追蹤技術(shù)公司的收購浪潮——2016年底，谷歌收購曾發(fā)布過VR眼球追蹤技術(shù)的Eyefluence；大約同一時間，Meta（原Facebook）麾下的Oculus收購丹麥眼球追蹤初創(chuàng)企業(yè)The Eye Tribe；2017年，蘋果收購了主要開發(fā)用于VR頭顯、AR眼鏡眼球追蹤技術(shù)的德國企業(yè)SMI（SensoMotoric Istruments）。

盡管如此，眼球追蹤技術(shù)在消費(fèi)市場的普及似乎比預(yù)想的要困難一些，直到近期索尼PSVR 2、Meta Project Cambria（尚未正式公布產(chǎn)品名稱）、蘋果MR一體機(jī)等XR新品上市在即，才為眼球追蹤功能在消費(fèi)領(lǐng)域的普及正式揭開序幕。

蘋果、谷歌、Meta和索尼等巨頭為何如此看好眼球追蹤技術(shù)？它又能為消費(fèi)者的XR體驗(yàn)帶來哪些切實(shí)的提升？眼球追蹤技術(shù)為何花費(fèi)了數(shù)年時間才真正進(jìn)入消費(fèi)市場的普及階段？帶著這些疑問，我們專門采訪了七鑫易維副總裁路偉成，以探求相關(guān)問題的答案。

▲七鑫易維副總裁路偉成

注視點(diǎn)渲染，開辟通向視網(wǎng)膜級畫面道路的「圣劍」

“眼球追蹤技術(shù)在XR領(lǐng)域的應(yīng)用場景十分廣泛，除了可以直接用于交互，還可用于注視點(diǎn)渲染、瞳距（IPD）調(diào)節(jié)、變焦系統(tǒng)等能夠顯著提升用戶體驗(yàn)的特性上”，路偉成在采訪中告訴我們。

在路偉成看來，在VR/AR的場景下，傳統(tǒng)鍵盤鼠標(biāo)或手機(jī)觸屏的方式并不適合用于交互，尤其是目前需要控制器等外設(shè)支持的交互方式，會由于便攜性較差而顯得冗余。眼球追蹤能精準(zhǔn)識別用戶凝視的目標(biāo)，從而發(fā)揮出類似「光標(biāo)」的作用。未來，眼球追蹤將與語音識別、手部追蹤等共同構(gòu)成VR/AR的主流交互方式，雖然它們的使用場景或多或少都存在一些限制，但相互之間能夠互相彌補(bǔ)形成一套交互體系，再搭配上小巧的觸摸指環(huán)，從而適應(yīng)全天候、全場景的使用環(huán)境。

如果說眼球追蹤技術(shù)在XR設(shè)備交互方面的優(yōu)點(diǎn)還不夠突出，那么在改善用戶體驗(yàn)方面，就可以說是一件「大殺器」了。

自XR技術(shù)誕生以來，阻礙人們沉浸到虛擬世界中的一大難題，就是GPU渲染的畫面分辨率難以滿足人眼對畫面細(xì)膩程度的追求，其最直觀的反應(yīng)就是畫面的顆粒感（或者像素感）十分嚴(yán)重。而根據(jù)人眼的生理特性計(jì)算，只有當(dāng)XR設(shè)備能夠提供單眼約12K分辨率的畫面時才能真正滿足人眼的需求。

▲注：VR頭顯中每只眼顯示的畫面長寬更接近1:1，單眼12K≈雙眼24K

這里我們先羅列下市場上主流VR頭顯的單眼分辨率：Quest 2和Pico Neo 3均為1832×1920，Valve Index為1440×1600，HTC Vive Pro 2為2448×2448——不難看出，與人眼需求的12K分辨率還存在著極大的鴻溝。

以銷量突破1000萬的Quest 2為例做個簡單計(jì)算——它的單眼分辨率為1832×1920，對應(yīng)約352萬個像素；而單眼12K分辨率，對應(yīng)約1.44億像素?cái)?shù)量，兩者相差近40倍。這也意味著，想要驅(qū)動一臺單眼分辨率12K的移動XR設(shè)備，需要一顆運(yùn)算能力超過高通驍龍XR 2近40倍的芯片！

按照過往驍龍芯片的迭代數(shù)據(jù)來看，新一代產(chǎn)品相比上一代的運(yùn)算能力提升幅度通常在30%左右，單純依靠芯片迭代所帶來的提升攻克「單眼12K畫面渲染」的天塹，可能需要10年甚至更久的時間……

因此，我們需要一種在運(yùn)算能力無法快速大幅提升的情況下，能大幅提高渲染效率的解決方案——眼球追蹤+注視點(diǎn)渲染技術(shù)。

人眼在看東西時，并不是整個視野范圍都一樣清晰，而是中心點(diǎn)清晰，越往周邊越模糊。因此，在XR設(shè)備上渲染顯示圖像時，也并不需要整個畫面都同一解析度，而是正在注視的畫面中間的視覺“甜蜜點(diǎn)”最高，往周圍依次降低，通過這樣的方法，能大幅減少每幀畫面需要渲染的像素?cái)?shù)量，這就是注視點(diǎn)渲染的原理。

“我們在小派的設(shè)備上實(shí)現(xiàn)了眼球追蹤+注視點(diǎn)渲染技術(shù)，也在不同的游戲中做了大量測試”，路偉成透露，“盡管每款游戲的數(shù)據(jù)會有所差異，但整體來講，能節(jié)省最低30%、最高70%的性能開銷。”

這也與前段時間索尼在GDC 2022上透露出的PSVR 2表現(xiàn)數(shù)據(jù)相吻合——同時開啟注視點(diǎn)渲染和眼球追蹤時最多可以將GPU幀時間縮短3.6倍，單獨(dú)使用注視點(diǎn)渲染時則縮短2.5倍。具體來說，在開啟動態(tài)照明與陰影的設(shè)置下運(yùn)行演示內(nèi)容「VR Alchemy Lab」時，PSVR 2的幀時間從33.2毫秒下降到14.3毫秒；在另一個4K分辨率的宇宙飛船示例中，PSVR 2的CPU線程性能提高了32%，而GPU幀時間則從14.3毫秒下降到12.5毫秒。

“這樣的數(shù)據(jù)意味著，原本在VR中運(yùn)行時只能達(dá)到30多幀的內(nèi)容，在開啟眼球追蹤和注視點(diǎn)渲染后，或許就可以達(dá)到75幀、90幀甚至120幀；而運(yùn)行一些低負(fù)載內(nèi)容時，開啟眼球追蹤和注視點(diǎn)渲染也能有效降低負(fù)載，從而減少發(fā)熱量并延長續(xù)航。這是眼球追蹤技術(shù)為XR設(shè)備帶來的最大好處?！?/span>

可以說，在眼球追蹤與注視點(diǎn)渲染技術(shù)的幫助下，整個XR產(chǎn)業(yè)實(shí)現(xiàn)單眼12K視網(wǎng)膜級渲染的時間點(diǎn)有望大大提前。未來隨著VR硬件視場角的擴(kuò)大，中心渲染區(qū)占比將更小，意味著眼球追蹤與注視點(diǎn)渲染技術(shù)能夠起到更明顯的效果，進(jìn)一步彌合視網(wǎng)膜級渲染所需的性能缺口。

除了切實(shí)的解決目前XR硬件面臨的能耗瓶頸，眼球追蹤還有更多的用武之地，路偉成也做了詳細(xì)的闡述：輔助許多XR硬件本身帶有的瞳距調(diào)節(jié)功能，幫助用戶精準(zhǔn)調(diào)節(jié)與對準(zhǔn)；用于變焦系統(tǒng)，改善定焦系統(tǒng)導(dǎo)致的輻輳調(diào)節(jié)沖突（Vergence-Accommodation Conflict，調(diào)焦沖突）等等。

規(guī)模效應(yīng)攤薄成本，消費(fèi)市場「東風(fēng)已起」

▲七鑫易維聯(lián)合HTC推出的眼球追蹤配件Droolon F2

既然眼球追蹤技術(shù)的加入能給XR硬件帶來這么多好處，為何過去幾年，消費(fèi)市場上卻罕見配備眼球追蹤功能的產(chǎn)品？路偉成表示核心原因在于成本，“關(guān)鍵器件的成本和研發(fā)投入的攤薄，決定了小體量下眼球追蹤硬件價(jià)格無法降至消費(fèi)者能承受的范疇。”

“目前消費(fèi)市場上真正有銷售規(guī)模的XR硬件，只有Meta Quest 2。但它采用了低價(jià)策略，299美元的售價(jià)幾乎連硬件成本都無法覆蓋，因此注定無法配備眼球追蹤這樣需要額外增加硬件成本的功能。競品廠商也被迫采用了同樣的低價(jià)策略。因此，眼球追蹤功能此前主要出現(xiàn)在對價(jià)格不敏感的B端硬件上?！?/span>

根據(jù)路偉成的介紹，眼球追蹤在B端已有廣泛的應(yīng)用，例如用于腦認(rèn)知、老年癡呆篩查等醫(yī)療場景以及監(jiān)督工人注意力等工業(yè)安全場景均可以發(fā)揮出色的效果，例如綠谷制藥集團(tuán)旗下子公司專門開發(fā)的VR醫(yī)療產(chǎn)品、某航空公司停機(jī)繞檢監(jiān)督等均采用了七鑫易維的眼球追蹤技術(shù)。

“接下來，隨著索尼PSVR 2、Meta Project Cambria以及蘋果MR一體機(jī)等標(biāo)配眼球追蹤功能的XR硬件陸續(xù)發(fā)售，其他品牌也將緊隨其后加入，從而帶動眼球追蹤硬件的銷量。七鑫易維的合作方囊括了幾乎所有國內(nèi)XR硬件品牌，并與英偉達(dá)、AMD、高通、微軟、華為等生態(tài)合作伙伴深入合作?！?/span>

無論索尼PSVR 2、Meta Project Cambria，還是蘋果MR一體機(jī)，無疑都有著極大潛力成為消費(fèi)市場的熱銷產(chǎn)品，眼球追蹤功能即將迎來規(guī)模化普及。如此一來，不僅眼球追蹤技術(shù)企業(yè)能獲得更充沛的研究資金，也意味著相應(yīng)軟硬件成本的快速下降，形成產(chǎn)品力上升、成本下降的良性循環(huán)。

當(dāng)然，瞄準(zhǔn)眼球追蹤的遠(yuǎn)不止海外的巨頭。雖然未透露具體品牌，路偉成也指出，國內(nèi)部分XR品牌正積極籌備配備眼球追蹤功能的新產(chǎn)品。隨著這些新產(chǎn)品的推出，七鑫易維也將順勢乘著東風(fēng)迎來一個業(yè)務(wù)快速增長的黃金時期。

專利深筑護(hù)城河，千億市場誰與爭鋒？

根據(jù)IDC的預(yù)測，到2026年，VR/AR全球出貨量將超過5000萬臺。作為VR/AR消費(fèi)市場的新寵，眼球追蹤的市場規(guī)模自然也水漲船高。

“未來，眼球追蹤功能是VR/AR硬件的標(biāo)配。就VR而言，注視點(diǎn)渲染的需求決定了眼球追蹤的高滲透率，對AR來說，眼球追蹤將會成為必不可少的交互功能。當(dāng)VR/AR硬件逐步達(dá)到手機(jī)在人們生活中地位的同時，市場規(guī)模也將達(dá)到萬億級，眼球追蹤對應(yīng)的市場規(guī)?；?qū)⑦_(dá)到千億級”，路偉成對眼球追蹤未來的發(fā)展充滿了信心。

具備如此潛力的市場從來都不會缺乏競爭者，但在路偉成看來，深耕眼球追蹤技術(shù)及應(yīng)用超過13年的七鑫易維已經(jīng)建立了深厚的護(hù)城河，足以在面對任何競爭對手時保持自身的優(yōu)勢地位不動搖。“眼球追蹤技術(shù)本身就具備著極高的技術(shù)壁壘，人眼的生理特征受年齡、性別等因素影響差異巨大，想要跨越從「能用」到「好用」的技術(shù)階段，需要長期通過人眼數(shù)據(jù)收集與分析來不斷修正算法提高性能。”

路偉成透露，“七鑫易維迄今專利總量近500項(xiàng)，其中2/3為發(fā)明專利，擁有龐大的自主知識產(chǎn)權(quán)庫，在專利發(fā)明點(diǎn)上的數(shù)量甚至領(lǐng)先歐美?！?/span>

對于大廠來說，即使技術(shù)實(shí)力和資金兼?zhèn)洌艺娴脑敢馔度牒Ａ抠Y源自研眼球追蹤技術(shù)，專利帶來的知識產(chǎn)權(quán)也始終是一道繞不過去的坎。這也是谷歌、蘋果、Meta不約而同的選擇收購眼球追蹤技術(shù)團(tuán)隊(duì)的原因——不僅看到了技術(shù)的應(yīng)用前景，更為了獲得相關(guān)專利。

而沒有布局眼球追蹤相關(guān)技術(shù)的公司，往往會選擇與技術(shù)優(yōu)秀、方案成熟的團(tuán)隊(duì)?wèi)?zhàn)略合作，七鑫易維作為國內(nèi)眼球追蹤技術(shù)領(lǐng)域的領(lǐng)導(dǎo)者，即使放到國際市場中也極具競爭力，無疑是十分優(yōu)秀的標(biāo)的。這也是七鑫易維能與HTC、愛奇藝、小派、創(chuàng)維、nreal、NOLO、Rokid等XR硬件品牌以及英偉達(dá)、AMD、高通、微軟、英特爾、華為、騰訊、阿里等大廠建立長期合作伙伴關(guān)系的底層原因。

除了深厚的技術(shù)壁壘與海量的專利布局，路偉成表示，作為一家中國本土公司，七鑫易維在國內(nèi)市場上還有著更獨(dú)特的優(yōu)勢——

“考慮到時差和溝通語言的問題，相比總部在海外的企業(yè)，七鑫易維和國內(nèi)公司合作時響應(yīng)速度的優(yōu)勢是非常明顯的。如果你和海外公司合作，一個問題從提交到反饋，可能需要間隔24小時甚至更長的時間，七鑫易維作為本土企業(yè)則可以實(shí)現(xiàn)更快的響應(yīng)速度與更高效的溝通配合。因此，國內(nèi)的XR企業(yè)基本都會優(yōu)先選擇我們進(jìn)行合作?！?/span>

「讓世界讀懂你的眼神」

隨著索尼PSVR 2、Meta Project Cambria以及蘋果MR一體機(jī)等重量級產(chǎn)品陸續(xù)上市，眼球追蹤技術(shù)即將迎來「黃金時代」，這也是七鑫易維的發(fā)展良機(jī)。路偉成透露，接下來將與國內(nèi)XR硬件品牌積極合作，加快眼球追蹤硬件的集成工作，并將眼球追蹤的能力完整的開放給合作伙伴，幫助他們利用好注視點(diǎn)渲染、眼動交互以及用戶注視分析等數(shù)據(jù)，一起推動眼球追蹤技術(shù)的完善和應(yīng)用生態(tài)發(fā)展。

專訪的最后，路偉成表示：“七鑫易維將始終以技術(shù)為核心驅(qū)動力，除了繼續(xù)迭代目前已較為成熟的角膜反射法技術(shù)方案，同時也將持續(xù)關(guān)注和布局DVS（Dynamic Vision Sensors，動態(tài)視覺傳感器）、MEMS（微電機(jī)系統(tǒng)）等眼球追蹤新技術(shù)，力求為合作伙伴提供最領(lǐng)先的技術(shù)與最完善的服務(wù)?！?/span>

「十年磨一劍，霜刃未曾試」，一直視「讓世界讀懂你的眼神」為使命的七鑫易維，終于在13年的厚積薄發(fā)后迎來了最佳的「亮劍時機(jī)」。