美國(guó)專利商標(biāo)局正式公布了蘋(píng)果新獲授權(quán)47項(xiàng)實(shí)用專利，其中，“貼合式頭顯界面”專利與Vision Pro EyeSight功能專利備受矚目，展現(xiàn)出蘋(píng)果在頭戴式設(shè)備領(lǐng)域的前沿創(chuàng)新成果。?

在“貼合式頭顯界面”專利中，蘋(píng)果對(duì) HMD（頭戴式設(shè)備）的面部界面進(jìn)行了詳細(xì)闡述。該面部界面具備動(dòng)態(tài)自適應(yīng)能力，旨在為用戶帶來(lái)更高的舒適度、更理想的彎曲度與貼合度。從技術(shù)原理來(lái)看，這種自適應(yīng)功能能夠根據(jù)不同用戶的面部特征進(jìn)行調(diào)整，減少長(zhǎng)時(shí)間佩戴帶來(lái)的不適感。

通過(guò)蘋(píng)果專利圖6側(cè)面透視圖，我們能夠清晰看到框架#604、連桿#606以及面部接口#608的具體構(gòu)造。在實(shí)際設(shè)計(jì)中，面部接口包含多樣化的浮雕切口#660，這些切口形式豐富，涵蓋孔、狹縫、凹槽、凹陷等，甚至還包括其他在面部接口上呈現(xiàn)缺失狀態(tài)的部分。這些設(shè)計(jì)使得面部接口材料能夠產(chǎn)生浮雕效果，同時(shí)實(shí)現(xiàn)弧長(zhǎng)的靈活變化。值得注意的是，在部分示例中，浮雕并非單純的材料缺失，而是材料的變化，這一變化可以體現(xiàn)在材料厚度、尺寸的改變，或者將材料替換為其他特性更優(yōu)的材質(zhì)。這種設(shè)計(jì)不僅在結(jié)構(gòu)上獨(dú)具匠心，還帶來(lái)了諸多實(shí)際優(yōu)勢(shì)。?

這些減壓切口除了能夠更好地助力面部界面實(shí)現(xiàn)彎曲與貼合，還賦予了產(chǎn)品重量?jī)?yōu)勢(shì)。在減輕重量的同時(shí)，依然能夠確保面部界面維持良好的結(jié)構(gòu)完整性和形狀，如保持撓度完整性、應(yīng)力完整性等，在提升用戶體驗(yàn)的同時(shí)，保障了產(chǎn)品的質(zhì)量與性能。?

而蘋(píng)果專利號(hào)為12277361、名為“促進(jìn)增強(qiáng)互動(dòng)的可穿戴設(shè)備”的專利，則對(duì)Vision Pro EyeSight功能進(jìn)行了詳細(xì)說(shuō)明。該專利指出，可穿戴頭戴式顯示器，如虛擬現(xiàn)實(shí)系統(tǒng)，雖然能夠?yàn)榕宕髡郀I(yíng)造沉浸式的體驗(yàn)和環(huán)境，但也在一定程度上限制了佩戴者與外界觀察者的互動(dòng)。例如，佩戴者沉浸在虛擬世界中時(shí)，無(wú)法感知外界觀察者的存在，外界觀察者也難以知曉佩戴者的體驗(yàn)內(nèi)容和注意力焦點(diǎn)。為此，蘋(píng)果提出的解決方案是，可穿戴電子設(shè)備配備朝外的顯示器，該顯示器能夠向外界觀察者展示豐富的信息，包括佩戴者的面部圖像，或是代表、指示佩戴者及頭戴式顯示器狀態(tài)的圖像，有效打破了佩戴者與外界的隔閡，極大地增強(qiáng)了交互性。

在「黑鏡」第7季中，登場(chǎng)了一款與Quest Pro頗為相似的頭顯，不過(guò)其具備反向穿透功能，這一功能似乎是在效仿Apple Vision Pro的EyeSight功能。

官方預(yù)告片中有一段僅一秒的剪輯畫(huà)面，展現(xiàn)了一個(gè)角色用兩根手指輕點(diǎn)頭顯側(cè)面，以此激活反向穿透功能。倘若你對(duì)“反向穿透”這一術(shù)語(yǔ)感到陌生，它指的是，當(dāng)原本在技術(shù)層面不透明的頭顯，通過(guò)在正面的正視差(深度)3D 顯示屏上，呈現(xiàn)出眼睛的渲染視圖，從而模擬出對(duì)外部觀察者而言頭顯透明的效果。?

當(dāng)前，市面上唯一配備反向穿透功能的頭顯是Apple Vision Pro，而這正是「黑鏡」試圖模仿的對(duì)象。至于演員實(shí)際佩戴的硬件設(shè)備(反向透視效果大概率是在后期制作時(shí)疊加的)，盡管該設(shè)備與Quest Pro相似，但其頭帶在材質(zhì)和形狀上存在細(xì)微差異，看起來(lái)像是3D打印而成。?

Vision Pro EyeSight功能因其呈現(xiàn)出的 “驚悚” 外觀，以及僅具備水平視差、缺乏垂直視差的昏暗顯示屏，遭到了廣泛的詬病。然而，這僅僅是第一代反向穿透技術(shù)帶來(lái)的結(jié)果，并不能代表這一理念存在根本性的局限。目前，眾多初創(chuàng)公司正致力于研發(fā)更高質(zhì)量的反向穿透技術(shù)，旨在將其授權(quán)給耳機(jī)制造商。就在一年多前，Meta展示了一款具備反向穿透技術(shù)的頭顯概念渲染圖，并稱這款頭顯?“當(dāng)下即可制造”，且質(zhì)量要遠(yuǎn)高于現(xiàn)有的產(chǎn)品。?

這意味著，即便「黑鏡」的故事背景或許設(shè)定在未來(lái)，Netflix的意圖仍是對(duì)當(dāng)下的反向穿透技術(shù)予以嘲諷。正如眾多以未來(lái)為背景的電視節(jié)目和電影中，那些笨重的VR頭顯在如今輕薄鏡頭時(shí)代已顯得過(guò)時(shí)，「黑鏡」第七季所描繪的這種初級(jí)的反向穿透技術(shù)，或許在幾年之后，也會(huì)顯得格格不入。

2023年6月公布的Apple Vision Pro標(biāo)志著蘋(píng)果進(jìn)軍混合現(xiàn)實(shí)頭顯市場(chǎng)，該頭顯獨(dú)特的設(shè)計(jì)和功能吸引了用戶和競(jìng)爭(zhēng)對(duì)手的注意。盡管Meta首席執(zhí)行官馬克·扎克伯格青睞Meta Quest 3的舒適性和重量，但最近的一份專利申請(qǐng)表明，Meta可能從Vision Pro創(chuàng)新的EyeSight功能中汲取了靈感。

Meta已提交一項(xiàng)新專利申請(qǐng)，旨在復(fù)制Vision Pro EyeSight功能。這項(xiàng)名為“沉浸式現(xiàn)實(shí)頭顯中的嵌入式傳感器可實(shí)現(xiàn)社交臨場(chǎng)感”的專利表明，Meta可能正在考慮重新設(shè)計(jì)其Quest 頭顯或開(kāi)發(fā)一款采用該功能的全新頭顯。而為了將EyeSight功能與的Vision Pro EyeSight功能區(qū)分開(kāi)來(lái)，Meta計(jì)劃在面部接口中加入健康傳感器。

Vision Pro EyeSight：增強(qiáng)社交聯(lián)系

Vision Pro EyeSight功能是一項(xiàng)突破性創(chuàng)新，可讓用戶與他人保持聯(lián)系感。當(dāng)有人接近佩戴頭顯的用戶時(shí)，Vision Pro顯示屏?xí)兊猛该鳎褂脩裟軌蚩吹浇咏娜?，同時(shí)還能顯示用戶的眼睛；此外，當(dāng)用戶體驗(yàn)應(yīng)用程序或沉浸在虛擬環(huán)境中時(shí)，EyeSight功能會(huì)向其他人提供視覺(jué)提示，表明用戶正在聚焦的內(nèi)容。

雖然EyeSight功能看似微不足道，但其對(duì)用戶在使用Vision Pro相互交流的方式產(chǎn)生了重大影響。盡管Meta的專利申請(qǐng)并未透露該公司即將推出的AR/VR頭顯計(jì)劃的大量細(xì)節(jié)，但無(wú)疑是對(duì)Vision Pro創(chuàng)新方法的認(rèn)可。

Vision Pro EyeSight功能可能融入Meta未來(lái)頭顯，這標(biāo)志著AR/VR頭顯領(lǐng)域的重大轉(zhuǎn)變。隨著競(jìng)爭(zhēng)加劇，蘋(píng)果和Meta等行業(yè)領(lǐng)導(dǎo)者之間的構(gòu)想和功能交流可能會(huì)推動(dòng)進(jìn)一步的頭顯創(chuàng)新，最終為消費(fèi)者帶來(lái)更復(fù)雜、更身臨其境的體驗(yàn)。雖然Meta計(jì)劃具體內(nèi)容尚未披露，但該公司對(duì)EyeSight類功能的探索凸顯了虛擬社交臨場(chǎng)感和互動(dòng)日益增長(zhǎng)的重要性。

蘋(píng)果專利申請(qǐng)中披露的各種實(shí)現(xiàn)包括分層姿勢(shì)感知的設(shè)備、系統(tǒng)和方法。根據(jù)一些實(shí)現(xiàn)，該方法在包括非瞬時(shí)存儲(chǔ)器和一個(gè)或多個(gè)處理器的計(jì)算系統(tǒng)中執(zhí)行，其中計(jì)算系統(tǒng)以通信方式耦合到顯示設(shè)備（例如HMD或智能眼鏡）和一個(gè)或多個(gè)輸入設(shè)備。

該方法包括：在通過(guò)顯示設(shè)備呈現(xiàn)三維（3D）環(huán)境時(shí)，獲取與計(jì)算系統(tǒng)相關(guān)聯(lián)的用戶頭部姿勢(shì)信息；根據(jù)頭部姿勢(shì)信息確定用戶累積應(yīng)變值；并且根據(jù)確定用戶累積應(yīng)變值超過(guò)第一姿勢(shì)意識(shí)閾值：基于與用戶相關(guān)聯(lián)的高度值和與3D環(huán)境相關(guān)聯(lián)的深度值確定虛擬內(nèi)容的位置；并且通過(guò)顯示設(shè)備在確定位置呈現(xiàn)虛擬內(nèi)容，同時(shí)繼續(xù)通過(guò)顯示設(shè)備呈現(xiàn)3D環(huán)境。

在一些實(shí)現(xiàn)中，顯示器對(duì)應(yīng)于透明鏡片，電子設(shè)備對(duì)應(yīng)于用戶佩戴的一副眼鏡。因此，在一些實(shí)現(xiàn)中，眼鏡通過(guò)將XR內(nèi)容投影到顯示器上來(lái)呈現(xiàn)用戶界面，而顯示器又疊加在用戶的物理環(huán)境上。在一些實(shí)現(xiàn)中，用戶佩戴電子設(shè)備，例如近眼系統(tǒng)。在這樣的實(shí)現(xiàn)中，眼鏡通過(guò)在一個(gè)或多個(gè)顯示器（在眼鏡上）上顯示對(duì)應(yīng)于XR環(huán)境的數(shù)據(jù)或通過(guò)將對(duì)應(yīng)于XR環(huán)境的數(shù)據(jù)投影到用戶的視網(wǎng)膜上來(lái)呈現(xiàn)XR環(huán)境。

蘋(píng)果專利圖4D顯示了根據(jù)一些實(shí)施方案的當(dāng)前應(yīng)變信息#480的示例數(shù)據(jù)結(jié)構(gòu)。如圖4D所示，例如，肌肉應(yīng)變引擎#463分別確定用戶#150的肌肉或肌肉群/區(qū)域484A、484B、484C、484D和484E的當(dāng)前肌肉應(yīng)變值485A、485B、485C、485D和485E。此外，肌肉應(yīng)變引擎根據(jù)觸發(fā)應(yīng)變?cè)黾舆壿?65A和/或應(yīng)變減少邏輯465B的用戶的旋轉(zhuǎn)和/或平移運(yùn)動(dòng)，隨時(shí)間更新（增加或減少）肌肉應(yīng)變值485A、485B、485C、485D和485E。

蘋(píng)果最近獲得了“EyeSight”專利，這使得Apple Vision Pro的外部顯示屏可以顯示佩戴者的眼睛。該專利申請(qǐng)?jiān)缭?017年就已提交，專利設(shè)想該功能可用于顯示動(dòng)漫和毛茸茸的數(shù)字角色等風(fēng)格化的眼睛。

EyeSight可能是Vision Pro最獨(dú)特的硬件。蘋(píng)果為實(shí)現(xiàn)這個(gè)設(shè)想已研究了六年的時(shí)間，并于 2017年6月首次提交了臨時(shí)申請(qǐng)。一年后提交完整專利申請(qǐng)后，蘋(píng)果于本月剛剛獲得了這項(xiàng)專利，正式名稱為“促進(jìn)增強(qiáng)交互的可穿戴設(shè)備”。

當(dāng)一家公司申請(qǐng)專利時(shí)，通常旨在使專利范圍盡可能廣泛，以最大限度保護(hù)其知識(shí)產(chǎn)權(quán)。為此，該專利設(shè)想了廣泛的用例，超出了我們今天在Vision Pro上看到的范圍。

Vision Pro EyeSight顯示屏可顯示佩戴者眼睛的虛擬表現(xiàn)，不僅如此蘋(píng)果還設(shè)想了佩戴者的風(fēng)格表現(xiàn)，包括動(dòng)漫眼睛、毛茸茸數(shù)字角色的眼睛，甚至用各種圖形增強(qiáng)佩戴者的眼睛呈現(xiàn)效果。

另外，蘋(píng)果設(shè)想了更廣泛的用途，而不僅僅是顯示Vision Pro佩戴用戶，例如顯示天氣或用戶看到的內(nèi)容的表示。

該專利還涵蓋了Vision Pro的“突破性”功能，Vision Pro可檢測(cè)頭顯外部的人，然后將其淡入頭顯內(nèi)部的視野，以便佩戴者可以看到周圍人群。雖然該功能目前以淡入視圖的方式顯示外部人員，但蘋(píng)果還設(shè)想將外部事物顯示在帶有硬邊的窗口中，甚至無(wú)縫放置到虛擬環(huán)境之中。

此外，該專利還設(shè)想了一個(gè)看起來(lái)很滑稽的“FaceSight”版本，將使用一個(gè)足夠大的顯示屏來(lái)顯示佩戴者的整個(gè)臉部。

像這樣的專利可能很有趣，這些未實(shí)現(xiàn)的概念很可能會(huì)出現(xiàn)在未來(lái)Vision Pro上。最后，專利系統(tǒng)描述為檢測(cè)“觀察者是否與佩戴者的已知聯(lián)系人匹配”，并使用該信息來(lái)決定在顯示屏上的具體顯示。截至目前，Vision Pro確實(shí)可以檢測(cè)到附近人群，但不會(huì)具體分析單獨(dú)個(gè)體信息以及是否認(rèn)識(shí)。

Apple Vision Pro將成為首款配備前置顯示屏的頭顯。當(dāng)房間里的其他人在附近時(shí)，前置顯示屏?xí)蛴^察者顯示用戶臉部渲染視圖，這一功能稱為“EyeSight”。當(dāng)應(yīng)用程序阻擋了你查看物理環(huán)境的視線時(shí)，EyeSight則顯示半透明彩色圖案，而當(dāng)你體驗(yàn)VR應(yīng)用時(shí)，該圖案就會(huì)變得不透明。

EyeSight顯示超越了2D ——其是雙凸透鏡狀的，并會(huì)根據(jù)不同觀看角度顯示不同的視圖，以達(dá)到深度感，從而看起來(lái)像透明視圖，而不是平面圖像。

為了生成可信的視圖，頭顯需要掃描用戶的模樣，包括膚色、眼睛形狀、眼睛顏色、鼻子形狀以及臉部其他細(xì)節(jié)。因此，在設(shè)置過(guò)程中，用戶需要將Vision Pro放在臉前，前置顯示屏將會(huì)引導(dǎo)你完成面部掃描。

此面部掃描將會(huì)生成用戶數(shù)字角色、該逼真數(shù)字角色可應(yīng)用于FaceTime和具有社交功能的第三方應(yīng)用。

數(shù)字角色由頭顯眼部和面部追蹤傳感器實(shí)時(shí)驅(qū)動(dòng)，目前，數(shù)字角色只限上半身，但據(jù)報(bào)道，蘋(píng)果正在致力于全身追蹤。

此外，四年多來(lái)，Meta一直在研究虛擬化身，但很有可能蘋(píng)果將是第一個(gè)推出虛擬化身的產(chǎn)品——盡管與Meta的研究深度不同；值得一提的是，蘋(píng)果前置顯示屏還提供了一種精致且直觀的設(shè)置體驗(yàn)，相比之下沒(méi)有前置顯示屏的頭顯則必須依賴音頻反饋或智能手機(jī)掃描。

來(lái)源：UploadVR

WWDC23期間，蘋(píng)果介紹了Apple Vision Pro“Eyesight”功能。蘋(píng)果指出，“Vision Pro可以促進(jìn)你與周圍人的聯(lián)系，‘EyeSight’將會(huì)顯示用戶的眼睛，以使附近的人知道用戶正在沉浸式體驗(yàn)?！?/p>

蘋(píng)果技術(shù)開(kāi)發(fā)團(tuán)隊(duì)副總裁Mike Rockwell描述了“Eyesight”功能：“我們認(rèn)真思考了Vision Pro用戶如何與其他人互動(dòng)，‘EyeSight’機(jī)制基于獨(dú)特的曲面OLED面板和雙凸透鏡，將用戶眼睛正確視角投射給外部觀察者，結(jié)果為通過(guò)3D顯示使設(shè)備看起來(lái)透明?！?/p>

如今，微軟在歐洲申請(qǐng)的一項(xiàng)新專利“控制計(jì)算機(jī)生成的面部體驗(yàn)”，旨在獲得與Vision Pro“Eyesight”功能相同的效果。

微軟專利指出，該發(fā)明涉及顯示計(jì)算機(jī)生成的面部表情。一個(gè)示例提供了一種用于顯示計(jì)算機(jī)生成面部表情的方案。該方案包括接收表情數(shù)據(jù)，以及基于該表情數(shù)據(jù)生成用戶的眼睛區(qū)域的一個(gè)或多個(gè)面部表情；該方案還包括在頭戴式設(shè)備的朝外顯示器上顯示眼睛區(qū)域的一個(gè)或多個(gè)面部表情。

微軟專利圖11A和11B示出了示例場(chǎng)景，其中頭戴式設(shè)備上的面向外的顯示器被激活并且可顯示顯示器上計(jì)算機(jī)生成的面部表情，尤其是在眼睛區(qū)域。

來(lái)源：patentlyapple

蘋(píng)果在歐洲提交了一項(xiàng)專利，該專利描述了Apple Vision Pro“EyeSight”功能的基本原理，該專利還涵蓋了實(shí)時(shí)社交智能等內(nèi)容。

蘋(píng)果專利涵蓋了一種方法，該方法可以根據(jù)以下至少一項(xiàng)來(lái)確定頭顯用戶是否處于參與狀態(tài):在用戶的近場(chǎng)場(chǎng)景中檢測(cè)到一個(gè)人，確定用戶正在注視著這個(gè)人，以及在用戶注視著這個(gè)人時(shí)檢測(cè)到來(lái)自至少一個(gè)用戶或這個(gè)人的語(yǔ)音輸入。作為對(duì)確定用戶處于參與狀態(tài)的響應(yīng)，該方法包括前述在用戶處于參與狀態(tài)時(shí)向用戶提供輸出。

蘋(píng)果的專利圖9示出了Apple Vision（HMD）用戶的實(shí)時(shí)社交狀態(tài)系統(tǒng)。在一些示例中，在滿足兩個(gè)條件時(shí)：1）接收到語(yǔ)音輸入或話語(yǔ)，以及2）用戶正在與另一個(gè)人凝視或進(jìn)行眼神接觸。因此，如果分?jǐn)?shù)滿足預(yù)定閾值，則狀態(tài)機(jī)可以從脫離狀態(tài)#920轉(zhuǎn)變到接合狀態(tài)#930。從技術(shù)上講，這就是觸發(fā)EyeSight啟動(dòng)并讓附近的人能夠看到你的眼睛或創(chuàng)建眼睛圖像的原因。蘋(píng)果圖10B示出了當(dāng)用戶與他人進(jìn)行社交時(shí)社交參與系統(tǒng)在擴(kuò)展現(xiàn)實(shí)設(shè)備上的示例使用。

蘋(píng)果的專利圖。上面的圖10B示出了當(dāng)用戶與人進(jìn)行社交參與時(shí)社交參與系統(tǒng)在擴(kuò)展現(xiàn)實(shí)設(shè)備上的示例使用。

該專利的另一個(gè)方面涉及 Siri 如何與 Apple Vision Pro 用戶進(jìn)行交互。在下面的無(wú)花果的例子中。在圖11A和11B中，我們看到Siri可以直接向用戶的顯示器發(fā)送文本消息、通知，如下所述。

該專利另一個(gè)方面涉及Siri如何與Apple Vision Pro用戶進(jìn)行交互。圖11A和11B示例了Siri直接向用戶顯示器發(fā)送文本消息、通知。

來(lái)源：patentlyapple