摘要顯示，本專利基于在擴(kuò)展現(xiàn)實(shí)（XR）環(huán)境中活動(dòng)的用戶相對(duì)于三維（3D）照片在XR環(huán)境中的放置的查看位置，來確定如何在XR環(huán)境中呈現(xiàn)（例如，以3D模式呈現(xiàn)、以2D模式呈現(xiàn)、以模糊模式呈現(xiàn)或根本不呈現(xiàn)）3D照片，方法包括：在具有處理器的電子設(shè)備處，獲得作為基于由圖像捕獲設(shè)備捕獲的一個(gè)或多個(gè)圖像創(chuàng)建的不完整的3D表示的3D照片；確定電子設(shè)備相對(duì)于3D照片的放置位置的查看位置，并且基于查看位置確定3D照片的呈現(xiàn)模式；基于XR環(huán)境中的呈現(xiàn)模式，在放置位置處提供3D照片。

專利摘要顯示，頭戴式設(shè)備可具有頭戴式外殼和由該頭戴式外殼支撐的光學(xué)部件。該光學(xué)部件可包括相機(jī)、可移動(dòng)光學(xué)模塊和其他部件。每個(gè)光學(xué)模塊可包括顯示圖像的顯示器和將該圖像提供到對(duì)應(yīng)適眼框的透鏡。光學(xué)自混傳感器可被包括在該頭戴式設(shè)備的光學(xué)模塊和其他部分中以測(cè)量光學(xué)部件位置的變化。

傳感器可響應(yīng)于檢測(cè)到光學(xué)部件位置的變化，可調(diào)節(jié)該設(shè)備中的致動(dòng)器以使該光學(xué)部件移動(dòng)或者可采取其他動(dòng)作來補(bǔ)償該變化。

隨著蘋果首款A(yù)R/VR頭顯將于今年發(fā)布的消息愈演愈烈，關(guān)于該頭顯的專利也接踵而至。此前彭博社Mark Gurman表示蘋果AR/VR頭顯將同時(shí)使用眼球追蹤和手部追蹤技術(shù)來驅(qū)動(dòng)交互系統(tǒng)，交互系統(tǒng)“允許佩戴者通過視線操作屏幕上的項(xiàng)目，用以控制設(shè)備。屏幕上可交互的項(xiàng)目包括按鈕、應(yīng)用程序圖標(biāo)以及列表?xiàng)l目。通過視線瞄準(zhǔn)項(xiàng)目后，用戶可以將拇指和食指捏合激活交互動(dòng)作，不需要握持任何額外的外設(shè)?！?/p>

而據(jù)The Information報(bào)道，蘋果正在開發(fā)全新軟件工具，以支持開發(fā)者和用戶基于AR/VR頭顯創(chuàng)建增強(qiáng)現(xiàn)實(shí)應(yīng)用。有趣的是，該報(bào)道聲稱用戶將能通過“Siri”為頭顯創(chuàng)建和發(fā)布AR應(yīng)用，即使沒有編碼能力。

至于蘋果首款A(yù)R/VR頭顯推出時(shí)間，蘋果供應(yīng)鏈分析師郭明錤發(fā)布了蘋果AR/VR頭顯最新預(yù)測(cè)時(shí)間表，據(jù)報(bào)道，這款頭顯計(jì)劃在晚秋發(fā)布，郭表示，軟件開發(fā)工具和持續(xù)測(cè)試問題意味著該設(shè)備不太可能在春季或夏季（WWDC 2023）之前發(fā)布，可能會(huì)在秋末推出。

今天，美國(guó)專利商標(biāo)局正式授予蘋果一項(xiàng)專利，該專利涉及一種新的HMD相機(jī)系統(tǒng)，該系統(tǒng)包括一個(gè)二維相機(jī)陣列，可以捕捉場(chǎng)景各個(gè)部分的圖像。

專利顯示，相機(jī)陣列將沿球面放置，以便相機(jī)具有相鄰的視野。這些相機(jī)的入瞳位置靠近用戶的眼睛，同時(shí)相機(jī)還會(huì)通過傳感器形成優(yōu)化的圖像。專利還描述了用于減少陣列中相機(jī)數(shù)量的方法，以及減少?gòu)年嚵兄凶x取并進(jìn)行后續(xù)處理的像素?cái)?shù)量的方法。

虛擬現(xiàn)實(shí)系統(tǒng)的模擬環(huán)境和混合現(xiàn)實(shí)系統(tǒng)的混合環(huán)境可用于為多個(gè)應(yīng)用程序提供交互式用戶體驗(yàn)，例如將虛擬內(nèi)容實(shí)時(shí)添加到觀看者環(huán)境、生成3D虛擬世界 (Metaverse)、與虛擬訓(xùn)練環(huán)境交互、游戲、遠(yuǎn)程控制無人機(jī)或其他機(jī)械系統(tǒng)、查看數(shù)字媒體內(nèi)容、與互聯(lián)網(wǎng)交互、探索虛擬景觀或環(huán)境等。

蘋果的專利涵蓋了可用于混合現(xiàn)實(shí) (MR) 或虛擬現(xiàn)實(shí) (VR) 視頻透視功能的頭戴式顯示器 (HMD) 場(chǎng)景相機(jī)系統(tǒng)。

在傳統(tǒng)的HMD中，一個(gè)或多個(gè)場(chǎng)景相機(jī)可以安裝在 HMD 的前方。然而，場(chǎng)景相機(jī)的視點(diǎn)（POV）會(huì)與用戶眼睛的POV有很大的偏移和差異。蘋果的專利通過讓相機(jī)的入瞳位置更貼近用戶的眼睛來校正相機(jī)視角（POV）以匹配用戶的POV。

在一些示例中，一臺(tái)HMD會(huì)包含數(shù)個(gè)小型相機(jī)二維陣列（例如，分別用于左右眼的兩個(gè)陣列），其能夠捕捉用戶前方真實(shí)世界場(chǎng)景各個(gè)部分的圖像。相機(jī)會(huì)沿球面曲線或曲面放置，以便相機(jī)具有不重疊的相鄰視場(chǎng)（FOV）。

為了更準(zhǔn)確地表現(xiàn)用戶的視角，相機(jī)的光學(xué)系統(tǒng)被配置為使得陣列中相機(jī)的入瞳位置位于圖像傳感器形成的圖像平面后方，靠近用戶眼睛的位置；同時(shí)相機(jī)傳感器還能夠生成優(yōu)化后的圖像。以這種方式，每個(gè)相機(jī)陣列捕捉場(chǎng)景的視角與用戶眼睛看到的場(chǎng)景視角基本相同。

在一些示例中，一個(gè)傳感器可用于為陣列中的多個(gè)（例如，四個(gè)）相機(jī)捕捉圖像，與傳感器一起使用的相機(jī)光學(xué)器件還可以移動(dòng)或調(diào)整，以將圖像平面與傳感器表面對(duì)齊。

在另外一些示例中，可以使用彎曲得傳感器和更簡(jiǎn)單的透鏡系統(tǒng)來為每個(gè)相機(jī)提供更寬的FOV，從而減少陣列中相機(jī)的數(shù)量。

蘋果專利圖1A展示了頭戴式顯示器(HMD)所用的相機(jī)陣列如圖。圖2展示了相機(jī)陣列的一部分。

圖3展示了陣列相機(jī)的具體結(jié)構(gòu)。

圖9A和9B展示了如何通過降低分辨率和改變周邊區(qū)域中相機(jī)的入瞳位置來減少相機(jī)的數(shù)量。

圖16以圖形方式說明了如何在相機(jī)陣列前面添加彎月形凹透鏡以增加相機(jī)的視場(chǎng)角（FOV）。圖17以圖形方式說明了如何在相機(jī)陣列前面添加彎月形凹透鏡以將相機(jī)的視點(diǎn)(POV)向外圍偏移。

圖20A到20C以圖形方式展示了場(chǎng)景相機(jī)陣列的示例，其中包括了位于相機(jī)陣列前的彎月形凹透鏡。

有關(guān)更多詳細(xì)信息，請(qǐng)查看授予蘋果的11,448,886專利。

據(jù)patentlyapple報(bào)道，美國(guó)專利商標(biāo)局（USPTO）正式公布了五項(xiàng)蘋果新授權(quán)專利，涵蓋了AR/VR頭顯各種屬性，對(duì)于關(guān)注蘋果未來頭顯消息的人而言，可以通過“’Head Odometers”（頭部運(yùn)動(dòng)傳感器）眼動(dòng)追蹤、閃光輔助凝視追蹤（glat-assisted Gaze Tracking）、基于神經(jīng)網(wǎng)絡(luò)的注視追蹤等全新專利以深入了解AR/VR頭顯具體細(xì)節(jié)。

其中，“基于低分辨率圖像的眼動(dòng)追蹤”專利，該專利涉及在AR/VR應(yīng)用中使用頭部運(yùn)動(dòng)傳感器進(jìn)行眼動(dòng)追蹤的解決方案和相關(guān)設(shè)備。

提供準(zhǔn)確眼動(dòng)追蹤的關(guān)鍵是了解用戶眼睛相對(duì)于眼動(dòng)追蹤相機(jī)的位置，在眼動(dòng)追蹤系統(tǒng)的一些實(shí)施例中，為了準(zhǔn)確確定用戶眼睛相對(duì)于眼動(dòng)追蹤相機(jī)的位置，控制器可通過基于眼動(dòng)追蹤相機(jī)捕獲的圖像執(zhí)行三維（3D）重建算法，以生成用戶眼睛的3D模型。眼睛3D模型指示眼睛相對(duì)于眼動(dòng)追蹤攝像頭的3D位置，這使得控制器執(zhí)行的眼動(dòng)追蹤算法能夠準(zhǔn)確追蹤眼動(dòng)。

該專利描述了追蹤設(shè)備相對(duì)于用戶頭部運(yùn)動(dòng)的解決方案和裝置，其中傳感器（本文稱為頭部運(yùn)動(dòng)傳感器）放置在設(shè)備中或設(shè)備上的一個(gè)或多個(gè)位置，例如用戶耳朵附近，以追蹤音調(diào)，在鼻梁處或附近主要追蹤y運(yùn)動(dòng)。

來自頭部運(yùn)動(dòng)傳感器的信號(hào)可用于檢測(cè)設(shè)備相對(duì)于用戶眼睛的移動(dòng)，這支持在檢測(cè)到設(shè)備相對(duì)于用戶眼睛移動(dòng)時(shí)執(zhí)行3D重建，從而顯著降低眼動(dòng)追蹤系統(tǒng)的功耗。

蘋果專利圖2展示了AR/VR頭顯示例，該示例實(shí)現(xiàn)了眼動(dòng)追蹤系統(tǒng)，該系統(tǒng)包括了用于檢測(cè)頭顯相對(duì)于用戶眼睛移動(dòng)的傳感器。

有關(guān)該專利更多信息，請(qǐng)查閱蘋果授予專利號(hào)11,442,540。

據(jù)patentlyapple報(bào)道，美國(guó)專利商標(biāo)局正式授予蘋果一項(xiàng)與擴(kuò)展現(xiàn)實(shí)（XR）環(huán)境下物體變形相關(guān)的專利，而該專利的公布無疑受到了蘋果VR/AR開發(fā)者的歡迎。

這項(xiàng)蘋果專利涵蓋了XR環(huán)境下修改XR對(duì)象顯示的系統(tǒng)和方法，在某些實(shí)施例中，該方法包括獲得與XR對(duì)象骨架相關(guān)聯(lián)的第一網(wǎng)格部分和第二網(wǎng)格部分；第一網(wǎng)格部分和第二網(wǎng)格部分在位于骨架上的骨架接頭處耦合。而在某些實(shí)施例中，該方法包括檢測(cè)第一網(wǎng)格部分和第二網(wǎng)格部分的組合以滿足聯(lián)合遙測(cè)標(biāo)準(zhǔn)。

另外，在某些實(shí)施例中，該方法包括將變形關(guān)節(jié)與第一網(wǎng)格部分或第二網(wǎng)格部分中的至少一個(gè)相關(guān)聯(lián)，變形關(guān)節(jié)位于遠(yuǎn)離骨架的位置。變形關(guān)節(jié)具有屈曲度，該屈曲度是第一網(wǎng)格部分、第二網(wǎng)格部分和關(guān)節(jié)遙測(cè)標(biāo)準(zhǔn)的函數(shù)。在其他實(shí)施例中，該方法包括將變形關(guān)節(jié)與第一網(wǎng)格部分或第二網(wǎng)格部分中的至少一個(gè)相關(guān)聯(lián)之后修改XR對(duì)象的顯示。

蘋果專利圖2A說明了根據(jù)各種實(shí)施例的XR對(duì)象示例部分；圖2B展示了圖2A中XR對(duì)象的變形示例部分。

蘋果專利圖3展示了根據(jù)各種實(shí)施例在XR環(huán)境下對(duì)XR對(duì)象的操作。

有關(guān)更多詳細(xì)信息，請(qǐng)查看蘋果授予專利號(hào)11,430,184。

據(jù)virtualrealitytimes報(bào)道，蘋果正在開發(fā)一款輕薄且功能強(qiáng)大的AR眼鏡（Apple Glass），一份蘋果AR眼鏡專利表明，蘋果希望通過為可穿戴設(shè)備配備視力矯正功能以解決近視用戶的體驗(yàn)問題。

目前，對(duì)于近視用戶而言，體驗(yàn)纖薄智能眼鏡的唯一方法似乎是采用隱形眼鏡，不過，對(duì)習(xí)慣了佩戴處方眼鏡的消費(fèi)者來說，相比隱形眼鏡，可能更喜歡處方眼鏡。不過，雖然有些頭顯適配處方鏡片，但如果該頭顯是多人共享用途，那么每次體驗(yàn)前必須重新調(diào)配鏡片，否則就會(huì)產(chǎn)生體驗(yàn)問題。

如今，通過蘋果新專利可以看出，蘋果針對(duì)上述情況提出了一個(gè)全新解決方案，即將視力矯正功能集成至蘋果AR眼鏡。

該專利表明，近視用戶佩戴了具有視力矯正功能的蘋果AR眼鏡后即能調(diào)整和矯正視力，這項(xiàng)專利被描述為“可調(diào)和中心凹透鏡系統(tǒng)”，該系統(tǒng)基于透鏡堆棧以對(duì)用戶眼睛進(jìn)行視力矯正。

根據(jù)該專利，該堆棧透鏡由液晶可調(diào)透鏡和非液晶可調(diào)透鏡組成，其中組合中的非液體鏡片由充液鏡片或阿爾瓦雷斯鏡片組成。

另外，液晶透鏡則由多個(gè)填充光學(xué)材料單元組成，并且單元可以通過施加功率進(jìn)行調(diào)整，這就改變了光線通過透鏡的方式。此外，設(shè)置電壓也可以根據(jù)佩戴者的目光進(jìn)行調(diào)整，以提供不同的校正水平，由于電極層多極，因此鏡片可以根據(jù)個(gè)人視力進(jìn)行精確調(diào)整。專利稱，該技術(shù)將使蘋果AR眼鏡能夠應(yīng)對(duì)包括遠(yuǎn)視、近視、散光在內(nèi)的各種視力問題。

專利還稱，組合中的鏡片還可以進(jìn)行可編程調(diào)整，以適應(yīng)不同用戶的最佳視力需求。例如，可以為用戶配置具有其他光學(xué)特性的編程鏡片，從而使不同視力的近視用戶都能使用蘋果AR眼鏡。

可以預(yù)見，隨著XR設(shè)備在未來幾年朝著小型化方向發(fā)展，蘋果AR眼鏡這項(xiàng)專利將變得意義重大，目前，全球技術(shù)消費(fèi)者中有相當(dāng)一部分是近視用戶，如果可以在不依賴近視眼鏡的情況下智能矯正獲得最佳視力，對(duì)于VR/AR頭顯的推廣也能起到積極促進(jìn)作用。