基于專利，計(jì)算機(jī)生成的虛擬現(xiàn)實(shí)體驗(yàn)可提高用戶的舒適度，蘋果通過傳感器來追蹤用戶頭部位置、姿勢(shì)和目光注視區(qū)域，從而動(dòng)態(tài)調(diào)整生成虛擬現(xiàn)實(shí)環(huán)境，進(jìn)而增強(qiáng)用戶體驗(yàn)。

例如，用戶低頭，所生成的虛擬現(xiàn)實(shí)環(huán)境也會(huì)相應(yīng)移動(dòng)到新的位置，從而更符合人體工程學(xué)的頭部位置查看體驗(yàn)，這樣確保了生成的環(huán)境始終在用戶的直接視線范圍內(nèi)。

PS：Gaze技術(shù)也稱之為視線估計(jì)（Gaze Estimation）技術(shù)，是利用機(jī)械、電子、光學(xué)等現(xiàn)有各種檢測(cè)手段獲取用戶當(dāng)前“注視方向”的技術(shù)。

美國(guó)專利商標(biāo)局正式公布了包括適用于未來蘋果AR/VR頭顯先進(jìn)眼動(dòng)追蹤技術(shù)在內(nèi)的60項(xiàng)新授權(quán)蘋果專利。

據(jù)悉，該專利名為“利用事件相機(jī)數(shù)據(jù)進(jìn)行眼球追蹤的方法和設(shè)備”（Method and Device for Eye Tracking Using Event Camera Data），專利涉及未來頭戴式顯示器（HMD）設(shè)備的先進(jìn)眼動(dòng)追蹤/注視技術(shù)的另一個(gè)方面。該蘋果專利向我們介紹了眼動(dòng)追蹤系統(tǒng)如何基于事件相機(jī)數(shù)據(jù)獲取用戶的生物特征，然后自動(dòng)調(diào)整HMD顯示屏上生成的圖像亮度等參數(shù)。

蘋果專利圖1顯示了示例操作環(huán)境#100的框圖，其中控制器（#110）被配置為管理和協(xié)調(diào)用戶AR/VR體驗(yàn)。

蘋果專利圖4顯示了頭戴式設(shè)備（#400）的框圖，外殼（#401）還包括了一個(gè)或多個(gè)光源#422、相機(jī)424和控制器480的眼動(dòng)追蹤系統(tǒng)；該工作原理為，一個(gè)或多個(gè)光源422將光發(fā)射到“用戶10”眼睛，該光反射為可由相機(jī)424檢測(cè)到的光模式（例如，一圈閃光）；基于光線模式，控制器480可以確定用戶的眼睛追蹤特性：例如，控制器480確定用戶注視方向和/或用戶眨眼狀態(tài)（睜眼或閉眼）；作為另一示例，控制器480可確定用戶瞳孔中心、瞳孔大小或關(guān)注點(diǎn)。

蘋果專利圖5A顯示了具有第一注視方向的用戶眼睛；圖5B則顯示了具有第二注視方向的用戶眼睛。

更多專利詳情可查看蘋果授權(quán)專利“US 11474348 B2”。

來源：patentlyapple

據(jù)patentlyapple報(bào)道，美國(guó)專利商標(biāo)局授予蘋果一項(xiàng)與表面質(zhì)量傳感有關(guān)專利，更具體說，是與使用自混合干涉測(cè)量法傳感表面質(zhì)量有關(guān)的專利。雖然蘋果專利側(cè)重于未來VR智能手套系統(tǒng)和使用SMI傳感器的Apple Pencil，但對(duì)于喜歡游戲的人來說，VR智能手套可能會(huì)很有趣。

不可否認(rèn)蘋果AR/VR頭顯圖像效果將會(huì)令人驚嘆，但可以肯定的是，在游戲中使用智能手套會(huì)讓用戶感覺真的在觸摸虛擬環(huán)境下的各類物體，從而提高感官體驗(yàn)水平。

蘋果專利涉及基于自混合干涉測(cè)量（SMI）的表面質(zhì)量傳感。該技術(shù)可以使 Apple Pencil 等設(shè)備成為智能手套或智能戒指。與現(xiàn)有的機(jī)械表面輪廓或基于圖像的表面質(zhì)量傳感器相比，它將支持設(shè)備消耗更少功率并以更高速度運(yùn)行。

例如，一組SMI傳感器和相關(guān)的處理系統(tǒng)可以被集成至手套，當(dāng)手套用戶在AR或VR環(huán)境中導(dǎo)航時(shí)，手套可以感知物體的表面質(zhì)量。

蘋果專利圖1B顯示了包括一組一個(gè)或多個(gè)SMI傳感器的可穿戴設(shè)備示例。

在智能手套之外的一些示例中，例如專利圖1和圖2所見，參考圖11A和11B，手套操作可以包括在AR或VR環(huán)境中動(dòng)畫化虛擬對(duì)象和目標(biāo)之間的交互，并響應(yīng)于目標(biāo)的表面質(zhì)量來執(zhí)行動(dòng)畫。例如，在AR或VR環(huán)境中，在顯示器上描繪虛擬氣球的“爆裂”效果，條件1) 氣球虛擬與目標(biāo)接觸；2) 目標(biāo)表面質(zhì)量足夠粗糙，通常會(huì)導(dǎo)致氣球爆裂。而這將是頭顯SMI 傳感器所賦予的效果，使觸感變得逼真。

對(duì)于Apple Pencil，采用SMI傳感器將使用戶能夠更好感受各種表面，因此當(dāng)用戶在虛擬紙上書寫或在畫布、墻上繪畫時(shí)，將會(huì)感受觸感。

例如，一組SMI傳感器和與之耦合的處理系統(tǒng)可集成至觸控筆（或電子筆、鉛筆或刷子），該觸控筆可用于在任何表面上書寫、繪制或油漆，同時(shí)在相關(guān)電子顯示器上渲染與用戶正在書寫、繪圖或繪畫的表面質(zhì)量(例如，粗糙度或波紋度)對(duì)應(yīng)的線質(zhì)量(或筆畫)。

有關(guān)更多專利信息，請(qǐng)查看蘋果專利11460293。

據(jù)patentlyapple報(bào)道，美國(guó)專利商標(biāo)局正式授予蘋果一項(xiàng)專利，該專利與未來可能出現(xiàn)的具有三個(gè)內(nèi)部顯示屏的AR/VR頭顯有關(guān)。根據(jù)最新消息，蘋果正考慮在中央顯示區(qū)域的左右兩側(cè)添加兩個(gè)分辨率較低的“外圍顯示屏”，以提供更自然的沉浸式體驗(yàn)。

蘋果專利涵蓋了一種配置了顯示屏的頭戴式設(shè)備，頭戴式設(shè)備可用于為用戶顯示虛擬現(xiàn)實(shí)內(nèi)容，為了增強(qiáng)用戶沉浸感，此顯示屏將可能覆蓋用戶周邊視野的外圍部分。

該外圍顯示器部分可以采用具有較低密度并以較低分辨率顯示內(nèi)容的單個(gè)發(fā)光二極管或其他像素，因?yàn)橛脩粢曇巴鈬暳档?，所以相?duì)于中心部分，外圍顯示部分的分辨率降低對(duì)用戶而言并不會(huì)被注意到；而外圍顯示內(nèi)容將有助于覆蓋用戶視野，因此，當(dāng)頭顯用戶觀看虛擬現(xiàn)實(shí)內(nèi)容時(shí)，則能增強(qiáng)頭顯沉浸式效果。

另外，所述頭顯將包括可監(jiān)測(cè)用戶眼睛的注視追蹤系統(tǒng)，以收集有關(guān)用戶眼睛注視方向的信息。操作期間，電子設(shè)備中的控制電路可以基于注視方向信息來調(diào)整外圍部分的外圍顯示內(nèi)容，以校正外圍內(nèi)容和顯示屏中央內(nèi)容之間的視差。

此外，漫射器可用于隱藏中央和外圍顯示部分之間的邊界，漫射器由透鏡架結(jié)構(gòu)或單獨(dú)的漫射器層形成；不僅如此外圍顯示采用了中性密度濾光片來降低外圍顯示的像素亮度，且脈沖寬度調(diào)制方案也可用于調(diào)節(jié)像素強(qiáng)度。

蘋果專利圖10顯示了顯示屏前視圖，示例了可擴(kuò)展到外圍顯示部分的內(nèi)容區(qū)域，以隱藏中央和外圍顯示部分之間的接口；圖11是顯示屏的俯視圖，示例了顯示屏像素可以基于注視方向選擇性地?cái)嚯娀蛞云渌绞秸{(diào)整。

專利圖14示例了由剛性顯示面板（例如，平面面板）組成的中央顯示屏#14C和/或外圍顯示屏#14P，顯示屏#14C可以是柔性顯示器或由剛性基板組成的剛性顯示器；顯示器14P可為印刷電路板（例如，由剛性印刷電路板材料填充玻璃纖維的環(huán)氧樹脂組成的剛性印刷電路板），上面安裝了像素#24P的單個(gè)發(fā)光二極管。

專利圖15示例了外圍顯示屏#14P中的像素#24P部分可安裝在模制聚合物支撐結(jié)構(gòu)或具有彎曲內(nèi)表面輪廓的其他支撐結(jié)構(gòu)（支撐結(jié)構(gòu)#86）上。

有關(guān)更多詳細(xì)信息，請(qǐng)查看蘋果授權(quán)專利11,450,297

據(jù)patentlyapple報(bào)道，美國(guó)專利商標(biāo)局（USPTO）公布了蘋果一項(xiàng)專利申請(qǐng)，該申請(qǐng)涉及蘋果歌曲應(yīng)用“Shazam”下一代功能。專利表明，該應(yīng)用迭代版本將支持在包括AR/VR頭顯、iPhone、iPad、智能隱形眼鏡、汽車擋風(fēng)玻璃平視顯示屏在內(nèi)的更多設(shè)備上運(yùn)行。

值得一提的是，該專利描述了一項(xiàng)全新功能，該功能可通過一個(gè)動(dòng)作（例如搖頭）來判斷用戶對(duì)音頻內(nèi)容是否感興趣，并能根據(jù)用戶頭部搖擺節(jié)拍以觸發(fā)及識(shí)別用戶正在欣賞的曲調(diào)。

該觸發(fā)機(jī)制基于第一傳感器數(shù)據(jù)和第二傳感器數(shù)據(jù)識(shí)別音頻的一個(gè)或多個(gè)元素與身體運(yùn)動(dòng)的一個(gè)或多個(gè)方面之間的基于時(shí)間的關(guān)系。

例如，這可能涉及正在欣賞曲調(diào)的用戶的搖頭節(jié)拍，而這種頭部擺動(dòng)可以被認(rèn)為是對(duì)該音樂不感興趣的表示。

而在另一示例中，基于用戶動(dòng)作的類型（如對(duì)應(yīng)于興奮的行為）和/或在重要事件發(fā)生之后的運(yùn)動(dòng)，則視為感興趣的表示，例如，這可能涉及正在播放的特定歌曲，以及基于與歌曲節(jié)拍匹配的用戶動(dòng)作，以表示用戶對(duì)該歌曲感興趣。

另外，系統(tǒng)可根據(jù)對(duì)用戶內(nèi)容興趣的識(shí)別，以主動(dòng)執(zhí)行各種操作。作為示例，設(shè)備可顯示內(nèi)容標(biāo)識(shí)（如顯示歌曲名稱、歌手名稱等），呈現(xiàn)與內(nèi)容相對(duì)應(yīng)的文本（如歌詞），和/或呈現(xiàn)用于重放內(nèi)容、離開物理環(huán)境后繼續(xù)體驗(yàn)內(nèi)容、購(gòu)買內(nèi)容、下載內(nèi)容和/或?qū)?nèi)容添加到播放列表。

在其他示例中，內(nèi)容的特征（例如音樂類型、樂器類型、類別等）也可被識(shí)別并添加至為用戶識(shí)別的附加內(nèi)容。

蘋果專利圖3展示了圖1示例電子設(shè)備，根據(jù)公開的實(shí)施方式獲得用戶運(yùn)動(dòng)數(shù)據(jù)；圖4則說明通過用戶運(yùn)動(dòng)與檢測(cè)音頻內(nèi)容之間基于時(shí)間的關(guān)系以識(shí)別用戶是否對(duì)音頻內(nèi)容感興趣，以及相關(guān)流程圖。

據(jù)patentlyapple報(bào)道，美國(guó)專利商標(biāo)局正式授予蘋果一項(xiàng)與擴(kuò)展現(xiàn)實(shí)（XR）環(huán)境下物體變形相關(guān)的專利，而該專利的公布無疑受到了蘋果VR/AR開發(fā)者的歡迎。

這項(xiàng)蘋果專利涵蓋了XR環(huán)境下修改XR對(duì)象顯示的系統(tǒng)和方法，在某些實(shí)施例中，該方法包括獲得與XR對(duì)象骨架相關(guān)聯(lián)的第一網(wǎng)格部分和第二網(wǎng)格部分；第一網(wǎng)格部分和第二網(wǎng)格部分在位于骨架上的骨架接頭處耦合。而在某些實(shí)施例中，該方法包括檢測(cè)第一網(wǎng)格部分和第二網(wǎng)格部分的組合以滿足聯(lián)合遙測(cè)標(biāo)準(zhǔn)。

另外，在某些實(shí)施例中，該方法包括將變形關(guān)節(jié)與第一網(wǎng)格部分或第二網(wǎng)格部分中的至少一個(gè)相關(guān)聯(lián)，變形關(guān)節(jié)位于遠(yuǎn)離骨架的位置。變形關(guān)節(jié)具有屈曲度，該屈曲度是第一網(wǎng)格部分、第二網(wǎng)格部分和關(guān)節(jié)遙測(cè)標(biāo)準(zhǔn)的函數(shù)。在其他實(shí)施例中，該方法包括將變形關(guān)節(jié)與第一網(wǎng)格部分或第二網(wǎng)格部分中的至少一個(gè)相關(guān)聯(lián)之后修改XR對(duì)象的顯示。

蘋果專利圖2A說明了根據(jù)各種實(shí)施例的XR對(duì)象示例部分；圖2B展示了圖2A中XR對(duì)象的變形示例部分。

蘋果專利圖3展示了根據(jù)各種實(shí)施例在XR環(huán)境下對(duì)XR對(duì)象的操作。

有關(guān)更多詳細(xì)信息，請(qǐng)查看蘋果授予專利號(hào)11,430,184。

據(jù)patentlyapple報(bào)道，美國(guó)專利商標(biāo)局（USPTO）正式公布了蘋果54項(xiàng)授權(quán)新專利，這份特別報(bào)告涉及了AR自拍、面部識(shí)別及AR測(cè)量應(yīng)用相關(guān)專利。

實(shí)施例中，一種方法包括：通過移動(dòng)設(shè)備的第一攝像頭捕獲實(shí)時(shí)圖像數(shù)據(jù)，所述實(shí)時(shí)圖像數(shù)據(jù)包括試驗(yàn)者在物理、真實(shí)環(huán)境中的圖像數(shù)據(jù)；通過移動(dòng)設(shè)備的深度傳感器接收指示被攝體在物理、真實(shí)環(huán)境中與相機(jī)距離的深度數(shù)據(jù)；通過移動(dòng)設(shè)備的一個(gè)或多個(gè)運(yùn)動(dòng)傳感器接收指示第一攝像頭在物理、真實(shí)環(huán)境中的至少一個(gè)方向的運(yùn)動(dòng)數(shù)據(jù)；基于運(yùn)動(dòng)數(shù)據(jù)生成虛擬相機(jī)變換，該相機(jī)變換用于確定虛擬環(huán)境中虛擬相機(jī)的方向；生成復(fù)合圖像數(shù)據(jù)，使用該圖像數(shù)據(jù)，根據(jù)虛擬相機(jī)方向選擇遮罩和虛擬背景內(nèi)容。

有關(guān)這方面的更多信息，請(qǐng)查看蘋果授權(quán)專利11，394，898。

2018年12月，蘋果在歐洲申請(qǐng)了一項(xiàng)專利，該專利首次涵蓋了蘋果面部識(shí)別專利，蘋果的發(fā)明為實(shí)現(xiàn)生物識(shí)別特征的生物識(shí)別身份驗(yàn)證提供了有效的方法和接口。蘋果在其專利中指出，電子設(shè)備需要提供一種方便有效的方法來注冊(cè)生物識(shí)別功能的一個(gè)或多個(gè)部分。再舉一個(gè)例子，需要提供一種支持快速直觀技術(shù)的電子設(shè)備，以便根據(jù)生物識(shí)別身份驗(yàn)證有選擇訪問安全數(shù)據(jù)；另一個(gè)例子是，該電子設(shè)備可用于生物識(shí)別身份驗(yàn)證，以實(shí)現(xiàn)設(shè)備的功能。

此類技術(shù)可以減輕注冊(cè)生物識(shí)別功能和/或使用設(shè)備進(jìn)行生物識(shí)別身份驗(yàn)證用戶的認(rèn)知負(fù)擔(dān)，從而提高整體生產(chǎn)力。此外，這種技術(shù)可以減小處理器和電池的功率，減少用戶冗余輸入。

最后，蘋果還發(fā)布了11，391，561號(hào)專利，該專利涵蓋AR測(cè)量應(yīng)用，標(biāo)題為“基于AR技術(shù)進(jìn)行測(cè)量的設(shè)備和方法”，這是蘋果授權(quán)的第二項(xiàng)專利，2020年4月patentlyapple報(bào)道了蘋果的第一項(xiàng)授權(quán)專利，在這項(xiàng)授權(quán)專利中，蘋果增加了21個(gè)新的專利聲明，以更好保護(hù)發(fā)明免受競(jìng)爭(zhēng)對(duì)手、專利流氓和模仿者的侵害。

據(jù)patentlyapple報(bào)道，美國(guó)專利商標(biāo)局（USPTO）正式公布了蘋果67項(xiàng)授權(quán)新專利，這份特別報(bào)告涉及了兩個(gè)眼動(dòng)追蹤系統(tǒng)以及兩個(gè)面向HomePod mini和Apple TV的專利。

蘋果眼動(dòng)追蹤專利涵蓋了適用于VR/AR應(yīng)用的眼動(dòng)追蹤技術(shù)及頭戴式設(shè)備的各種示例，其中VR/AR系統(tǒng)包括諸如耳機(jī)、頭盔、護(hù)目鏡、頭顯（HMD）之類設(shè)備，頭顯包含用于顯示幀的顯示屏（例如左顯示屏和右顯示屏），可呈現(xiàn)左右眼圖像，基于頭顯用戶可觀看三維虛擬視圖。

VR/AR系統(tǒng)還包括了控制器（手柄），控制器可由有線或無線接口通信耦合至頭顯外部設(shè)備（例如，計(jì)算系統(tǒng)）以實(shí)現(xiàn)交互。

另外，控制器（controller）還可以是包括各種類型的處理器，例如圖像信號(hào)處理器（ISP）、圖形處理單元（GPU）、編碼器/解碼器（編解碼器），或用于處理和渲染視頻及圖像的其他組件；控制器可以呈現(xiàn)基于從頭顯上的攝像頭和其他傳感器所捕獲內(nèi)容的渲染幀（每個(gè)幀包括左圖像和右圖像），并且可以將所述幀傳遞給頭顯投影系統(tǒng)以用于顯示。

此外，VR/AR系統(tǒng)也包括眼動(dòng)追蹤系統(tǒng)（也被稱為注視跟蹤系統(tǒng)），蘋果專利描述了用于VR/AR的眼動(dòng)追蹤系統(tǒng)的示例，其中包括至少一個(gè)眼動(dòng)追蹤攝像機(jī)（例如，紅外（IR）相機(jī)），其位于用戶面部的兩側(cè)并且被配置為捕捉用戶眼動(dòng)圖像。

例如，位于頭顯顯示面板邊緣或附近的眼動(dòng)追蹤攝像機(jī)，可通過反射的IR光捕獲用戶眼睛圖像，而控制器則可以分析該圖像以檢測(cè)用戶眼睛的特征（例如，瞳孔）、眼球運(yùn)動(dòng)，或檢測(cè)關(guān)于眼睛的其他信息，例如瞳孔擴(kuò)張。

提供準(zhǔn)確眼動(dòng)追蹤的關(guān)鍵是了解用戶眼睛相對(duì)于眼動(dòng)追蹤相機(jī)的位置，在眼動(dòng)追蹤系統(tǒng)的一些示例中，為了準(zhǔn)確確定用戶眼睛相對(duì)于眼動(dòng)追蹤相機(jī)的位置，控制器可以基于眼動(dòng)追蹤相機(jī)捕獲的圖像重建算法以生成3D模型成像，而3D模型則顯示了眼睛相對(duì)于眼動(dòng)追蹤攝像機(jī)的3D位置，從而使控制器執(zhí)行的眼動(dòng)追蹤算法能夠準(zhǔn)確追蹤眼動(dòng)。