
美國(guó)專利局公布了Apple Vision Pro創(chuàng)建逼真虛擬化身全新專利,涉及在計(jì)算機(jī)生成的內(nèi)容中代表用戶的系統(tǒng)、方案和設(shè)備。
蘋(píng)果發(fā)明涵蓋了生成一組值的設(shè)備、系統(tǒng)和方法,這些值表示用戶面部在某個(gè)時(shí)間點(diǎn)的三維(3D)形狀和外觀,以用于生成用戶表示(例如,化身)。
更重要的是,一組點(diǎn)是在與另一臺(tái)設(shè)備進(jìn)行通信會(huì)話(FaceTime)期間發(fā)送的一幀3D視頻數(shù)據(jù),而另一臺(tái)設(shè)備使用這組值,例如RGBDA信息來(lái)渲染用戶臉部的視圖。

在一些示例中,面部數(shù)據(jù)的連續(xù)幀(表示用戶面部在不同時(shí)間點(diǎn)的3D形狀和外觀值的集合)可被傳輸并用于顯示實(shí)時(shí)3D視頻狀面部描繪(例如,真實(shí)的移動(dòng)的面部)。在一些實(shí)施方式中,用戶的描繪被實(shí)時(shí)顯示(例如,在第二用戶的第二設(shè)備的顯示器上向第二用戶示出的化身)。
從技術(shù)上講,在一些實(shí)施方式中,具有非平面形狀(例如,圓柱形)的表面可用于減少失真。該組值包括定義面部部分相對(duì)于表面的多個(gè)點(diǎn)(例如,部分圓柱形表面網(wǎng)格中的點(diǎn))的深度值。
與3D網(wǎng)格或3D點(diǎn)云相比,該組值以更少的計(jì)算和帶寬,同時(shí)能實(shí)現(xiàn)比RGBDA圖像更準(zhǔn)確的用戶表示。此外,該組值可以類(lèi)似于現(xiàn)有格式(例如RGBDA圖像)的方式被格式化/封裝,從而與基于此類(lèi)格式的系統(tǒng)更有效集成。
在一些方面,HMD包括一個(gè)或多個(gè)面向內(nèi)的圖像傳感器和一個(gè)或多個(gè)面向下的圖像傳感器,并且傳感器數(shù)據(jù)由一個(gè)或多個(gè)面向內(nèi)的傳感器和一個(gè)或多個(gè)面向下的圖像傳感器捕獲。

蘋(píng)果專利圖8說(shuō)明了創(chuàng)建逼真3D化身的關(guān)鍵設(shè)備是Apple Vision Pro(HMD),該專利也適用于iPhone、iPad和Mac;圖4示出了生成和顯示用戶面部的部分示例。








