美國專利商標(biāo)局正式公布蘋果一項(xiàng)專利申請，該專利申請涉及具有用于輸出計(jì)算機(jī)生成圖像系統(tǒng)的電子設(shè)備。這似乎是一項(xiàng)與生成式人工智能相關(guān)的專利，特別是考慮到該項(xiàng)目的首席工程師是機(jī)器學(xué)習(xí)研究杰出科學(xué)家Oncel Tuzel，其在LinkedIn個(gè)人資料指出：“之前我們發(fā)布了OpenELM，現(xiàn)在，發(fā)布了CatLIP（開放視覺FM）?！?/p>

蘋果在其專利背景指出，一些電子設(shè)備可包含用于生成三維物體的真實(shí)圖像（例如面部圖像）的系統(tǒng)。三維（3D）生成框架已開發(fā)，基于最先進(jìn)的二維卷積神經(jīng)網(wǎng)絡(luò)圖像生成器以生成逼真的人臉圖像；現(xiàn)有3D生成框架對從初始視點(diǎn)捕獲的對象或場景的幾何形狀、外觀和顏色進(jìn)行建模，并能從新視點(diǎn)渲染對象或場景新圖像；然而，現(xiàn)有3D生成框架無法在不同的光照條件下渲染新圖像。

具有可控場景照明的圖像生成系統(tǒng)

該電子設(shè)備可配備有基于光照的圖像生成系統(tǒng)，該系統(tǒng)能生成三維對象的真實(shí)感圖像，例如面部圖像；基于光的圖像生成系統(tǒng)可在不同場景/環(huán)境照明條件下和從不同角度生成任何給定3D對象的圖像。

生成場景中對象圖像的方案可包括：接收關(guān)于場景照明信息和場景對象的視角；基于接收到的照明信息和視角提取相應(yīng)的特征；基于提取特征，并根據(jù)解碼的漫反射和鏡面反射參數(shù)渲染一組圖像；提取的特征可為三平面特征；該組圖像可使用體繪制操作來獲得。

操作圖像生成系統(tǒng)以生成3D對象圖像的方案還可包括使用相機(jī)捕捉3D對象的圖像、調(diào)節(jié)圖像生成系統(tǒng)以生成3D對象的圖像、以及生成3D對象的圖像基于使用漫反射和鏡面反射照明參數(shù)在不同照明條件下的訓(xùn)練模型；漫射和鏡面照明參數(shù)可單獨(dú)解碼；訓(xùn)練模型可為使用真實(shí)人臉的未標(biāo)記地面實(shí)況圖像進(jìn)行訓(xùn)練的3D生成模型；圖像生成系統(tǒng)可用于生成用戶在不同環(huán)境光照條件下和不同姿勢下的化身。

蘋果專利圖1為具有“基于光照的圖像生成器”和“位置和運(yùn)動(dòng)傳感器”的說明性電子設(shè)備示意圖；圖9為采用圖像生成系統(tǒng)的說明性步驟流程圖。