Y Combinator支持的初創(chuàng)公司jo于12月23日面向macOS推出了同名的語音優(yōu)先數(shù)字角色。

該語音優(yōu)先數(shù)字角色被稱為“生產(chǎn)力助手”，指的是主要通過語音而不是文本或視覺界面與用戶互動(dòng)的人工智能實(shí)體。這些數(shù)字角色旨在讓用戶參與自然的口頭對話，使用語音識別和自然語言處理（NLP）來理解和回應(yīng)。

語音優(yōu)先的數(shù)字角色通常出現(xiàn)在Amazon Alexa、Google Assistant和Apple Siri等虛擬助手中。旨在協(xié)助完成設(shè)置提醒、回答問題、控制智能設(shè)備或提供娛樂等任務(wù)。數(shù)字角色專注于無縫、免提交互，是智能家居或車輛等無法打字或觸摸屏的環(huán)境的理想選擇。

數(shù)字角色的獨(dú)特之處在于其個(gè)性化的語調(diào)和情商，許多語音助手都經(jīng)過編程，能夠檢測用戶聲音中的情緒暗示，并相應(yīng)調(diào)整響應(yīng)，從而提供更具同理心或更具吸引力的體驗(yàn)。

jo聯(lián)合創(chuàng)始人Pradeep Elankumaran和Kevin Li擁有十多年的消費(fèi)品制造經(jīng)驗(yàn)，他們聯(lián)手應(yīng)用技術(shù)“解鎖可持續(xù)的單位經(jīng)濟(jì)結(jié)構(gòu)，旨在改善用戶的生活”。

蘋果發(fā)布了visionOS1.2，這是2月與Vision Pro一起推出的visionOS操作系統(tǒng)的第二次重大更新。visionOS 1.2是在visionOS 1.1推出三個(gè)月后發(fā)布的。

通過Vision Pro “設(shè)置”，選擇“常規(guī)”，然后選擇“軟件更新”以安裝??visionOS??更新；PS：需要移除Vision Pro頭顯才能安裝新軟件，前EyeSight顯示屏上會(huì)顯示安裝進(jìn)度條。

?visionOS? 1.2增加了數(shù)字角色改進(jìn)，例如改進(jìn)了發(fā)型和妝容，以及為Eyesight功能提供了更好的渲染；Messages支持聯(lián)系人按鍵驗(yàn)證，并對虛擬鍵盤和Mac虛擬顯示器都進(jìn)行了改進(jìn)。完整發(fā)布說明如下：

移動(dòng)設(shè)備管理

– 使用托管Apple ID實(shí)現(xiàn)賬戶驅(qū)動(dòng)的設(shè)備和用戶注冊

– 支持設(shè)備配置（Wi-Fi、VPN、電子郵件賬戶、單點(diǎn)登錄等）

– 支持批量部署應(yīng)用程序，包括兼容iPhone和iPad應(yīng)用、通用購買包含visionOS應(yīng)用以及專有內(nèi)部visionOS應(yīng)用

– 支持通過MDM和設(shè)備庫存數(shù)據(jù)進(jìn)行遠(yuǎn)程擦除

信息

– 添加對iMessage聯(lián)系人密鑰驗(yàn)證的支持

可訪問性

– 觀看Apple Immersive Video時(shí)，可將隱藏式字幕固定到播放控件上

數(shù)字角色（測試版）和EyeSight

– 增加了一個(gè)免提注冊數(shù)字角色的選項(xiàng)

– 改善數(shù)字角色發(fā)型和妝容

– 改善頸部和嘴部的表現(xiàn)

– 改善EyeSight眼部渲染

虛擬鍵盤

– 文本輸入的光標(biāo)定位現(xiàn)在更加準(zhǔn)確

– 解決了虛擬鍵盤位置遮擋文本輸入字段情況

– 修復(fù)了在某些情況下虛擬鍵盤文本預(yù)覽可能與應(yīng)用文本字段不同步的問題

– 修復(fù)了編輯菜單可能意外出現(xiàn)的問題

Mac虛擬顯示

– 提高了使用Mac虛擬顯示發(fā)現(xiàn)和連接Mac的可靠性

– 解決了Universal Control可能停止工作的問題

– 解決了無法找到先前配對的藍(lán)牙設(shè)備時(shí)發(fā)生的連接問題

強(qiáng)制網(wǎng)絡(luò)支持

– 能在使用強(qiáng)制WiFi網(wǎng)絡(luò)（如酒店、咖啡館和機(jī)場WiFi網(wǎng)絡(luò)）時(shí)設(shè)置設(shè)備

美國專利商標(biāo)局正式授予蘋果一項(xiàng)專利，該專利與基于Apple Vision Pro創(chuàng)建逼真數(shù)字角色相關(guān)。在這項(xiàng)特別授予的專利中，蘋果專注于用戶頭發(fā)數(shù)據(jù)的真實(shí)渲染。

蘋果專利指出，以往可用的頭發(fā)渲染方法存在各種缺點(diǎn)。例如，基于頭發(fā)數(shù)據(jù)的渲染計(jì)算成本高昂，因?yàn)橄鄳?yīng)的頭發(fā)紋理尺寸相對較大，并且與轉(zhuǎn)換頭發(fā)紋理相關(guān)的復(fù)雜性也很高。再例如，基于發(fā)束數(shù)據(jù)的渲染存在混疊和發(fā)束變形問題。

蘋果專利涉及基于頭發(fā)網(wǎng)格的投影，在相應(yīng)的渲染周期內(nèi)動(dòng)態(tài)生成頭發(fā)紋理的方法、系統(tǒng)和電子設(shè)備。頭發(fā)網(wǎng)格與虛擬代理相關(guān)聯(lián)，例如計(jì)算機(jī)生成的數(shù)字角色。

例如，頭發(fā)網(wǎng)格對應(yīng)于與虛擬代理的三維（3D）面部表示相關(guān)聯(lián)的二維（2D）UV圖。該方法包括基于投影的對應(yīng)部分渲染多根發(fā)束的子集以生成頭發(fā)紋理；多根發(fā)絲由頭發(fā)曲線數(shù)據(jù)表示。

因此，專利中描述的各種實(shí)施方式包括預(yù)投影（例如，在渲染之前）發(fā)束，以及在渲染時(shí)使用投影的一部分以便選擇性地生成期望的毛發(fā)紋理。

蘋果進(jìn)一步指出，XR環(huán)境可包括增強(qiáng)現(xiàn)實(shí)（AR）內(nèi)容、混合現(xiàn)實(shí)（MR）內(nèi)容、虛擬現(xiàn)實(shí)（VR）內(nèi)容等?；赬R系統(tǒng)，追蹤人體物理運(yùn)動(dòng)或其表示的子集，以作為響應(yīng)，以至少符合的方式調(diào)整在XR環(huán)境中模擬的一個(gè)或多個(gè)虛擬對象的一個(gè)或多個(gè)特征物理定律。作為示例，XR系統(tǒng)可檢測頭部運(yùn)動(dòng)，以類似于此類視圖和聲音在物理環(huán)境中變化的方式調(diào)整呈現(xiàn)的圖形內(nèi)容和聲場。

美國專利商標(biāo)局正式公布了11項(xiàng)Apple Vision Pro相關(guān)系列專利申請。這些專利涵蓋了廣泛的技術(shù)，包括沉浸式虛擬顯示、數(shù)字角色交互等。

Apple Vision Pro演示最令人印象深刻之一是工作人員能調(diào)用一系列虛擬顯示器進(jìn)行工作，如下所示。

以下是 Vision Pro沉浸式虛擬顯示專利更新圖之一。

蘋果專利重點(diǎn)關(guān)注用戶處理虛擬文檔和網(wǎng)頁，以及在未來自動(dòng)駕駛汽車中的操作，即便蘋果取消了蘋果汽車項(xiàng)目，那也沒關(guān)系，當(dāng)自動(dòng)駕駛汽車真正上市時(shí)，蘋果就可以輕松與其他汽車制造商合作。

如今，這項(xiàng)蘋果新專利取消了原來的20項(xiàng)專利標(biāo)準(zhǔn)，并用40項(xiàng)新標(biāo)準(zhǔn)取而代之，詳情可查看蘋果專利申請20240078770。

另外，蘋果專利涵蓋了與環(huán)境交互的方法和界面，其中至少包括一些虛擬元素（例如應(yīng)用程序、增強(qiáng)現(xiàn)實(shí)環(huán)境、混合現(xiàn)實(shí)環(huán)境和虛擬現(xiàn)實(shí)環(huán)境），這些方法和界面是繁瑣、低效和有限的。

因此，蘋果新專利改進(jìn)了計(jì)算機(jī)系統(tǒng)交互和界面，以適用于計(jì)算機(jī)生成的用戶數(shù)字角色，使得與計(jì)算機(jī)系統(tǒng)的交互對于用戶來說更加高效和直觀。此類方法和界面可補(bǔ)充或替換用于向通信會(huì)話中的用戶提供擴(kuò)展現(xiàn)實(shí)體驗(yàn)的傳統(tǒng)方法（例如FaceTime）。

該專利具體詳細(xì)可查閱蘋果專利申請20240077937。

美國專利商標(biāo)局正式授予蘋果一項(xiàng)專利，該專利擴(kuò)展了在Apple Vision Pro中創(chuàng)建用戶數(shù)字角色以在Facetime中使用的注冊流程。

蘋果專利指出現(xiàn)有技術(shù)可能無法準(zhǔn)確呈現(xiàn)電子設(shè)備用戶當(dāng)前（例如實(shí)時(shí)）外觀的表示。例如，設(shè)備可基于幾分鐘、幾小時(shí)、幾天甚至幾年前獲得的用戶面部圖像來呈現(xiàn)用戶數(shù)字角色。而這樣的角色可能無法準(zhǔn)確表示用戶當(dāng)前（例如，實(shí)時(shí)）的外觀。

蘋果專利涵蓋了生成一組值的設(shè)備、系統(tǒng)和方法，這些值表示用戶面部在某個(gè)時(shí)間點(diǎn)的三維 （3D）形狀和外觀，用于生成真實(shí)的用戶表示（例如，頭像）。

在一些實(shí)施方式中，可以相對于具有非平面形狀（例如，曲線平面形狀）的表面來定義該組值。該組值可以包括深度值，其定義面部的部分相對于這樣的表面上的多個(gè)點(diǎn)（例如，部分圓柱形表面上的網(wǎng)格中的點(diǎn)）的深度。

例如，一個(gè)點(diǎn)的深度值可以定義面部的一部分位于表面上該點(diǎn)的位置后面的深度D 1處，例如沿著從該點(diǎn)開始的正交射線的深度D 1處。所描述的技術(shù)使用與現(xiàn)有RGBDA圖像（例如，紅-綠-藍(lán)-深度-α圖像）中的深度值不同的深度值，因?yàn)楝F(xiàn)有RGBDA圖像定義相對于單個(gè)相機(jī)位置的內(nèi)容深度，并且所描述的技術(shù)該專利中定義了相對于平面形狀（例如，曲線平面形狀）的表面上的多個(gè)點(diǎn)的深度。

使用具有相對于表面上的多個(gè)點(diǎn)定義的深度值的相對簡單的值集可以實(shí)現(xiàn)多個(gè)優(yōu)點(diǎn)。與使用 3D網(wǎng)格或3D點(diǎn)云相比，該組值只需更少的計(jì)算和帶寬，同時(shí)能夠?qū)崿F(xiàn)比RGBDA圖像更準(zhǔn)確的用戶表示。此外，該組值能以類似于現(xiàn)有格式（例如RGBDA圖像）的方式被格式化/封裝，這可以使得能夠與基于此類格式的系統(tǒng)更有效集成。

蘋果專利圖2示出了用戶的至少一部分的三維（3D）表示的示例；圖5A和5B示出了相對于用戶的骨架表示定義的3D參考點(diǎn)的示例；圖7示出了生成和顯示用戶面部表示的部分的示例。

基于Apple Vision Pro內(nèi)置攝像頭，可創(chuàng)建一個(gè)類似于用戶的定制“角色”，且這個(gè)角色可被應(yīng)用于FaceTime等視頻聊天應(yīng)用。

創(chuàng)建數(shù)字角色需要對用戶面部和上半身進(jìn)行3D捕捉，但事實(shí)證明，蘋果的技術(shù)還不夠先進(jìn)，無法將眼鏡考慮在內(nèi)。

正如推特用戶@M1Astra0指出，VisionOS要求用戶摘掉任何遮蓋臉部的物體，例如眼鏡。目前似乎沒有任何二次掃描機(jī)制可以單獨(dú)捕獲用戶的眼鏡，相反，蘋果卻支持用戶根據(jù)各種選項(xiàng)“選擇虛擬眼鏡”。

?VisionOS?代碼表明，Vision Pro用戶將能從一系列不同的虛擬眼鏡和太陽鏡選項(xiàng)中進(jìn)行選擇，這些眼鏡和太陽鏡的形狀有方形、圓形、橢圓形、飛行員款等常見款式，更提供了粗框和細(xì)框選擇。目前尚不清楚蘋果是否會(huì)推出多彩眼鏡框選項(xiàng)，但很有可能這是蘋果未來會(huì)發(fā)布的定制選項(xiàng)。

顯而易見，通過Vision Pro攝像頭可將用戶的面部表情和手部動(dòng)作應(yīng)用于所創(chuàng)數(shù)字角色，從而使數(shù)字角色更具逼真互動(dòng)感。

數(shù)字角色是?VisionOS系統(tǒng)的一大元素，在Vision Pro推出之前蘋果正在努力完善該系統(tǒng)，今年9月，蘋果面向Vision Pro開發(fā)者展開數(shù)字角色調(diào)查，以征求有關(guān)數(shù)字角色面部表情、外觀匹配等方面的意見。

來源：MacRumors