Apple Vision Pro 的一個很酷的功能是“Persona”，其是個人數(shù)字圖像或個性化化身。如今，美國專利商標(biāo)局正式發(fā)布了蘋果的一項(xiàng)專利申請，該專利申請揭示了一項(xiàng)可能的進(jìn)步，可用于創(chuàng)建全身“Persona”化身，而不僅限于臉部。這個新Persona更新可以捕捉用戶的服裝風(fēng)格、紋理、發(fā)型、頭發(fā)顏色、面部毛發(fā)特征、眼睛顏色、配飾等細(xì)節(jié)。
蘋果專利指出，當(dāng)用戶使用頭戴式設(shè)備（HMD）等設(shè)備時，可能需要生成或修改用戶的表示，例如3D用戶模型。然而，現(xiàn)有系統(tǒng)可能無法利用可能來自外部來源的數(shù)據(jù)來生成或修改此類表示。
多設(shè)備模型增強(qiáng)
總體而言，蘋果的發(fā)明涵蓋了使用來自外部設(shè)備（例如，相機(jī)、頭戴式揚(yáng)聲器設(shè)備、HMD 或用戶佩戴的其他設(shè)備）的數(shù)據(jù)來改進(jìn)可穿戴設(shè)備上生成的用戶數(shù)據(jù)（例如，3D用戶模型）的系統(tǒng)、方法和設(shè)備。
外部設(shè)備提供的數(shù)據(jù)可以包括與用戶身體各部分（例如，軀干、背部、腿部、腳等）相關(guān)的視覺數(shù)據(jù)和/或與用戶特征相關(guān)的信息（例如，身體尺寸、體形、皮膚紋理、衣服紋理/材質(zhì)、用戶姿勢等），這些信息可能無法通過用戶佩戴的設(shè)備的傳感器（例如，攝像頭）看到或以其他方式捕獲。
例如，HMD的傳感器可能僅通過Persona功能從有限的視角提供佩戴Vision Pro的用戶的有限部分視圖，以提供用于生成用戶身體模型的數(shù)據(jù)，而外部設(shè)備可以提供不同的透視圖，其中可能包括用戶的一個或多個不同部分。通過外部設(shè)備獲得的數(shù)據(jù)集（與外部設(shè)備對用戶的視圖相關(guān)聯(lián)）可以傳輸?shù)?HMD，以便可以更準(zhǔn)確、更完整、更高效或以其他方式更理想地生成或更新用戶的 3D 模型。
蘋果專利圖1示出了與基于從外部攝像頭接收的個人數(shù)據(jù)來生成和/或更新代表用戶的用戶模型的過程相關(guān)的示例操作環(huán)境。有時會使用iPhone攝像頭；圖 2示出了與生成和/或更新代表用戶的用戶模型的過程相關(guān)的示例操作環(huán)境，該模型包括被遮擋的身體部分；圖3示出了用于識別用戶以確定代表用戶的傳感器數(shù)據(jù)的示例過程。
盡管Apple Vision Pro要到2024年初才會發(fā)布，但一些開發(fā)者已開始采用該設(shè)備開發(fā)VisionOS應(yīng)用。通過反饋助手，蘋果正在收集有關(guān) Vision Pro“Persona”意見，該功能面向FaceTime。
“Persona”是Vision Pro用戶的數(shù)字角色，Vision Pro基于頭顯攝像頭以重現(xiàn)用戶臉部和手部。當(dāng)“FaceTime”通話正在進(jìn)行時，數(shù)字角色便能做出與用戶相同的面部表情和手部動作，從而使“FaceTime”通話感覺更像是人與人之間的互動。
不過，這種體驗(yàn)可能存在某種程度的“恐怖谷效應(yīng)”（恐怖谷效應(yīng)常用于解釋我們在仿真機(jī)器人和電腦特效CGI中常見的,非常像真人但又總覺得哪里不對勁、使人感到反感不適的現(xiàn)象。），因此蘋果正在努力完善這一功能，除此之外，蘋果還面向開發(fā)者詢問了一些有關(guān)數(shù)字角色體驗(yàn)的問題。
大多數(shù)問題都提供了多個選項(xiàng)，最后一個為開放式反饋表，例如“你對數(shù)字角色感覺如何？”這個問題，回答包括了“非常高興-我很高興體驗(yàn)”、“高興-我將進(jìn)行體驗(yàn)”、“不高興-我在考慮是否體驗(yàn)”和“非常不高興-我永遠(yuǎn)不會體驗(yàn)。”
來源：MacRumors
在Vision Pro上，只有蘋果的軟件可以直接捕捉現(xiàn)實(shí)世界。
蘋果將拍攝空間照片和視頻作為Vision Pro的賣點(diǎn)，但在WWDC23開發(fā)者大會上，一位蘋果工程師證實(shí)，出于隱私考慮，第三方開發(fā)者無法訪問攝像頭數(shù)據(jù)。
那么，如果你嘗試運(yùn)行一個基于設(shè)備攝像頭的iPad應(yīng)用程序，會發(fā)生什么情況？
對于自拍相機(jī)，visionOS將返回你的虛擬網(wǎng)絡(luò)攝像頭視圖作為你的“Persona”——蘋果逼真面部追蹤化身的名稱。這意味著你將能夠繼續(xù)使用Zoom等iPad視頻通話應(yīng)用，而無需特定的開發(fā)者集成。
不過，對于后置攝像頭，visionOS將返回一個“無攝像頭”圖標(biāo)黑色畫面，這確保了該應(yīng)用程序不會崩潰，但顯然會使任何應(yīng)用程序內(nèi)的攝影體驗(yàn)變得無用；它還會阻止開發(fā)者構(gòu)建計(jì)算機(jī)視覺解決方案，例如二維碼掃描或自定義對象追蹤。
相比之下，Meta還以隱私問題為由，禁止Quest頭顯訪問原始相機(jī)，XR頭顯是更廣泛文化中的一個新類別，蘋果、Meta等公司可能會試圖避免應(yīng)用程序基于原始相機(jī)訪問權(quán)限所涉及的負(fù)面宣傳，而隨著頭顯的推廣和普及，這一情況可能會發(fā)生改變，這就像iPhone開發(fā)者直到iOS 4推出時才獲得原始相機(jī)訪問權(quán)限一樣。
來源：UploadVR