Mountain View公司的工程師將Stories和ARCore的 Augmented Faces API 的核心技術(shù)描述為AI技術(shù)，他們說(shuō)這可以模擬光反射，模型面部遮擋，模型鏡面反射等等。

Google AI的Artsiom Ablavatski和Ivan Grishchenko說(shuō):“使這些AR功能成為可能的關(guān)鍵挑戰(zhàn)之一是將虛擬內(nèi)容正確地錨定到現(xiàn)實(shí)世界，這一過(guò)程需要一套獨(dú)特的感知技術(shù)才能跟蹤每個(gè)微笑，皺眉或假笑都具有高度動(dòng)態(tài)的表面幾何形狀。”

谷歌的增強(qiáng)現(xiàn)實(shí)（AR）管道，利用TensorFlow Lite，一種輕量級(jí)，移動(dòng)和嵌入式的谷歌TensorFlow機(jī)器學(xué)習(xí)框架實(shí)現(xiàn)。用于硬件加速處理，包括兩個(gè)神經(jīng)網(wǎng)絡(luò)（即生物模擬的數(shù)學(xué)函數(shù)層）神經(jīng)元。第一個(gè)檢測(cè)器對(duì)相機(jī)數(shù)據(jù)進(jìn)行操作并計(jì)算面部位置，而第二個(gè)三維網(wǎng)格模型使用該位置數(shù)據(jù)來(lái)預(yù)測(cè)表面幾何。

為什么采用雙模式方法？有兩個(gè)原因。首先，它“大大減少”使用合成數(shù)據(jù)增加數(shù)據(jù)集的需求，并且它允許AI系統(tǒng)將其大部分容量用于準(zhǔn)確預(yù)測(cè)網(wǎng)格坐標(biāo)。這兩者都是對(duì)于實(shí)現(xiàn)虛擬內(nèi)容的正確錨定至關(guān)重要”。

下一步需要使用平滑技術(shù)將網(wǎng)格網(wǎng)絡(luò)一次應(yīng)用于單幀攝像機(jī)鏡頭，從而最大限度地減少滯后和噪聲。該網(wǎng)格是從裁剪的視頻幀生成的，并且預(yù)測(cè)標(biāo)記的真實(shí)世界數(shù)據(jù)上的坐標(biāo)，提供3D點(diǎn)位置和面部存在的概率以及幀內(nèi)合理對(duì)齊。

AR管道的最新性能和準(zhǔn)確性改進(jìn)來(lái)自最新的TensorFlow Lite，這會(huì)提高性能，同時(shí)顯著降低功耗。它們也是工作流程的結(jié)果，迭代地引導(dǎo)和細(xì)化網(wǎng)格模型的預(yù)測(cè)，使團(tuán)隊(duì)更容易處理具有挑戰(zhàn)性的案例（例如鬼臉和傾斜角度）和人工制品（如相機(jī)缺陷和極端光照條件）。

【93913原創(chuàng)內(nèi)容，轉(zhuǎn)載請(qǐng)注明及回鏈】