據(jù)RoadtoVR報道，Meta Reality Labs研究人員創(chuàng)建了一個原型VR頭顯，該頭顯配置了設(shè)計用于AI處理的定制加速器芯片，從而使該公司逼真的用戶虛擬化身（Codec Avatars）在VR一體機上的呈現(xiàn)成為可能。

早在更名Meta之前，Meta（Facebook）就一直致力于其“Codec Avatars”項目，該項目旨在使近乎逼真的虛擬化身成為現(xiàn)實，該系統(tǒng)整合了頭顯傳感器功能（如眼動追蹤和嘴部追蹤）與AI處理功能，以實時呈現(xiàn)用戶虛擬化身。

基于NVIDIA Titan X GPU強大功能支持，Meta“Codec Avatars”研發(fā)得以突飛猛進，如今，Meta已開始研究如何在低功率VR一體機上制作Codec Avatars，正如上個月2022 IEEE CICC會議期間Meta發(fā)表的一篇論文證明，Meta創(chuàng)建了一個采用7nm工藝構(gòu)建的定制芯片，以作為Codec Avatars的加速器。

研究人員表示，該芯片遠未上市，團隊在設(shè)計時考慮了Codec Avatars處理管道的重要組成部分——分析傳入的眼動追蹤圖像、并生成Codec Avatars模型所需的數(shù)據(jù)，該芯片基底面僅為1.6mm2。

“該測試芯片采用7nm技術(shù)節(jié)點制造，具有神經(jīng)網(wǎng)絡(luò)（NN）加速器，由1024乘積（MAC）陣列、2MB片內(nèi)SRAM和32位RISC-V CPU組成。”

反過來，Meta基于芯片特定架構(gòu)，還重建了部分Codec Avatars AI模型。

“通過重構(gòu)基于卷積（神經(jīng)網(wǎng)絡(luò)）的注視提取模型并為硬件量身定制，使模型適配芯片，以減輕片外存儲器訪問的系統(tǒng)級能耗和延遲成本，”Reality Labs研究人員指出，“通過電路級別有效加速卷積運算，該原型芯片在低外形尺寸下實現(xiàn)了每秒30幀的性能和低功耗。”

通過加速Codec Avatars密集部分的工作負載，該芯片不僅加快了效能，還降低了所需的功率和能耗，另外由于芯片采用定制設(shè)計，它比通用CPU更加有效。

通常而言，頭顯通用CPU（Quest 2 Snapdragon XR2芯片）以全功耗運行，而自定義芯片則處理Codec Avatars編碼過程、XR2管理解碼過程并呈現(xiàn)化身實際視覺效果。

令人印象深刻的是，Meta Codec Avatars可以兼容于VR一體機（即使需要專門芯片），但我們尚不清楚Codec Avatars的視覺渲染處理效果。

這項研究代表了新計算架構(gòu)的實際應用，Reality Lab首席科學家Michael Abrash最近將其描述為實現(xiàn)XR科幻愿景的必經(jīng)之路，Michael Abrash表示，從高度集中的處理轉(zhuǎn)向更分布式的處理，對于這類頭顯的功率和性能需求至關(guān)重要。

可以想象，XR特有的一系列功能將受益于專門設(shè)計用于加速效能的芯片，例如，基于位置跟蹤和手部跟蹤功能將能提升XR體驗（這也是將硬件和算法結(jié)合設(shè)計以優(yōu)化功率和速率的優(yōu)勢之處）。