據(jù)RoadtoVR報(bào)道，Meta Reality Labs研究人員創(chuàng)建了一個(gè)原型VR頭顯，該頭顯配置了設(shè)計(jì)用于AI處理的定制加速器芯片，從而使該公司逼真的用戶虛擬化身（Codec Avatars）在VR一體機(jī)上的呈現(xiàn)成為可能。

早在更名Meta之前，Meta（Facebook）就一直致力于其“Codec Avatars”項(xiàng)目，該項(xiàng)目旨在使近乎逼真的虛擬化身成為現(xiàn)實(shí)，該系統(tǒng)整合了頭顯傳感器功能（如眼動(dòng)追蹤和嘴部追蹤）與AI處理功能，以實(shí)時(shí)呈現(xiàn)用戶虛擬化身。

基于NVIDIA Titan X GPU強(qiáng)大功能支持，Meta“Codec Avatars”研發(fā)得以突飛猛進(jìn)，如今，Meta已開始研究如何在低功率VR一體機(jī)上制作Codec Avatars，正如上個(gè)月2022 IEEE CICC會(huì)議期間Meta發(fā)表的一篇論文證明，Meta創(chuàng)建了一個(gè)采用7nm工藝構(gòu)建的定制芯片，以作為Codec Avatars的加速器。

研究人員表示，該芯片遠(yuǎn)未上市，團(tuán)隊(duì)在設(shè)計(jì)時(shí)考慮了Codec Avatars處理管道的重要組成部分——分析傳入的眼動(dòng)追蹤圖像、并生成Codec Avatars模型所需的數(shù)據(jù)，該芯片基底面僅為1.6mm2。

“該測(cè)試芯片采用7nm技術(shù)節(jié)點(diǎn)制造，具有神經(jīng)網(wǎng)絡(luò)（NN）加速器，由1024乘積（MAC）陣列、2MB片內(nèi)SRAM和32位RISC-V CPU組成?！?/p>

反過來，Meta基于芯片特定架構(gòu)，還重建了部分Codec Avatars AI模型。

“通過重構(gòu)基于卷積（神經(jīng)網(wǎng)絡(luò)）的注視提取模型并為硬件量身定制，使模型適配芯片，以減輕片外存儲(chǔ)器訪問的系統(tǒng)級(jí)能耗和延遲成本，”Reality Labs研究人員指出，“通過電路級(jí)別有效加速卷積運(yùn)算，該原型芯片在低外形尺寸下實(shí)現(xiàn)了每秒30幀的性能和低功耗?！?/p>

通過加速Codec Avatars密集部分的工作負(fù)載，該芯片不僅加快了效能，還降低了所需的功率和能耗，另外由于芯片采用定制設(shè)計(jì)，它比通用CPU更加有效。

通常而言，頭顯通用CPU（Quest 2 Snapdragon XR2芯片）以全功耗運(yùn)行，而自定義芯片則處理Codec Avatars編碼過程、XR2管理解碼過程并呈現(xiàn)化身實(shí)際視覺效果。

令人印象深刻的是，Meta Codec Avatars可以兼容于VR一體機(jī)（即使需要專門芯片），但我們尚不清楚Codec Avatars的視覺渲染處理效果。

這項(xiàng)研究代表了新計(jì)算架構(gòu)的實(shí)際應(yīng)用，Reality Lab首席科學(xué)家Michael Abrash最近將其描述為實(shí)現(xiàn)XR科幻愿景的必經(jīng)之路，Michael Abrash表示，從高度集中的處理轉(zhuǎn)向更分布式的處理，對(duì)于這類頭顯的功率和性能需求至關(guān)重要。

可以想象，XR特有的一系列功能將受益于專門設(shè)計(jì)用于加速效能的芯片，例如，基于位置跟蹤和手部跟蹤功能將能提升XR體驗(yàn)（這也是將硬件和算法結(jié)合設(shè)計(jì)以優(yōu)化功率和速率的優(yōu)勢(shì)之處）。