據(jù)Sensors Magazine報(bào)導(dǎo)，Google發(fā)表ARCore框架，將AR和虛擬實(shí)境(VR)功能帶到比Project Tango更多的Android裝置。蘋果(Apple)則推出ARKit，并將其部署到新一代iPhone中。

事實(shí)上，移動(dòng)App若要將虛擬動(dòng)作疊加到現(xiàn)實(shí)世界，不僅需要高效能的繪圖處理，還需要與判讀不同傳感器檢測(cè)到的動(dòng)作和其他環(huán)境訊號(hào)的軟件一起運(yùn)行。

在某些情況下，AR應(yīng)用將從外部來(lái)源獲得協(xié)助。在零售環(huán)境中，信標(biāo)將為AR室內(nèi)導(dǎo)航App提供位置數(shù)據(jù)。但AR和VR若要在移動(dòng)裝置上普及，內(nèi)部追蹤(Inside-Out Tracking)技術(shù)必不可少。

內(nèi)部追蹤技術(shù)能讓移動(dòng)裝置取得主控權(quán)。內(nèi)部追蹤技術(shù)依賴手機(jī)內(nèi)建的傳感器，因此更復(fù)雜且具挑戰(zhàn)性，但在大多數(shù)情況下有很大優(yōu)勢(shì)。若能將傳感器搭配高效處理能力，則大多數(shù)情況下都能在邊緣裝置本身進(jìn)行辨識(shí)目標(biāo)的所有運(yùn)算處理。

首波AR裝置依賴專門傳感器，如針對(duì)范圍檢測(cè)做優(yōu)化的飛時(shí)測(cè)距(Time of Flight；ToF)鏡頭。而最近的發(fā)展則更強(qiáng)調(diào)應(yīng)用現(xiàn)有傳感器。目前也有更先進(jìn)的信號(hào)和視覺處理演算法，能處理傳感器取得的大量周遭環(huán)境資訊。

這些趨勢(shì)的結(jié)果，將改變AR由手機(jī)內(nèi)部來(lái)處理的本質(zhì)。依靠多核心CPU和GPU中的MIPS和MFLOPS來(lái)運(yùn)算肯定行不通，這些耗電量高的子系統(tǒng)會(huì)讓手機(jī)電池?fù)尾涣硕嗑?。因此要關(guān)注的是針對(duì)機(jī)器學(xué)習(xí)和環(huán)境感知演算法做優(yōu)化的高效信號(hào)處理架構(gòu)。

CEVA是致力于將深度學(xué)習(xí)和類似演算法融入移動(dòng)領(lǐng)域的公司。高度平行化的架構(gòu)會(huì)比傳統(tǒng)CPU和GPU更審慎使用存儲(chǔ)器。而神經(jīng)網(wǎng)路能存取的存儲(chǔ)器與處理器吞吐量的整體效能同樣重要。

另一方面，渲染3D場(chǎng)景亦為高效AR和VR的重點(diǎn)。場(chǎng)景的人工部分需要盡可能貼近真實(shí)，并跟隨用戶轉(zhuǎn)身和傾斜手機(jī)時(shí)的動(dòng)作變化作出反應(yīng)。而將這些變化傳達(dá)給3D渲染引擎的軟件須有極低的延遲。

延遲若太高，虛擬動(dòng)作就會(huì)與真實(shí)場(chǎng)景脫鉤。用戶佩戴VR頭盔觀看幾乎完全虛擬的場(chǎng)景時(shí)，若在移動(dòng)時(shí)圖像轉(zhuǎn)換出現(xiàn)延遲，就會(huì)容易有暈眩感。

快速傳感器追蹤也有助于提升渲染引擎的吞吐量。鏡頭可追蹤用戶眼球的運(yùn)動(dòng)，并通知渲染引擎要集中渲染哪些區(qū)域。這種技術(shù)利用大腦對(duì)眼睛直接接觸的圖像最敏感的現(xiàn)象，因此能用更少的細(xì)節(jié)渲染周遭的元素。

此外，可處理多種傳感器的數(shù)據(jù)的高速信號(hào)和視覺處理系統(tǒng)亦為關(guān)鍵所在。CEVA這類公司正在透過(guò)讓這些系統(tǒng)比3D渲染引擎更節(jié)能，來(lái)協(xié)助創(chuàng)造出高品質(zhì)的AR和VR，而且手機(jī)電力的消耗也必須再考慮范圍之內(nèi)。