據(jù)RoadtoVR報道，去年年底召開的IEDM會議上，Meta Reality Labs首席科學(xué)家Michael Abrash闡述了該公司對當(dāng)代計算架構(gòu)如何發(fā)展的分析，以使科幻概念化的AR眼鏡成為可能。

雖然今天市場上有一些AR“眼鏡”，但它們都不具備一副真正的普通眼鏡（即使是一副笨重的眼鏡）的外觀大小。目前最好的AR頭顯——比如HoloLens 2和Magic Leap 2——相比眼鏡形態(tài)更接近于護目鏡，而且太重且不能整天佩戴。

Michael Abrash認為，如果我們要制造真正眼鏡大小、且具有全天電池壽命及引人注目的AR體驗所需功能的AR眼鏡，那么將需要進行“一系列根本性的改進”，——在某些情況下，轉(zhuǎn)變“硬件和軟件”模式。

也就是說，Meta不確信目前的技術(shù)，能夠打造真正意義上的AR眼鏡。

去年年底，Michael Abrash在IEDM 2021大會上發(fā)表了這段講話，并提出了一種新的計算架構(gòu)，該架構(gòu)可以滿足真正眼鏡大小的AR設(shè)備的需求。

Michael Abrash表示，重新考慮如何在這些設(shè)備上處理計算的核心原因是需要大幅降低功耗以滿足電池壽命和散熱設(shè)計要求。

“我們?nèi)绾尾拍軐ⅲㄒ苿佑嬎阍O(shè)備）的能效從根本上提高100倍甚至1000倍？”Michael Abrash提問，“這將需要對整個堆棧進行深入的系統(tǒng)級重建，并對硬件和軟件端到端的協(xié)同設(shè)計，而重新設(shè)計的起點則是今天計算效能的發(fā)展方向?！?/p>

為此，Abrash繪制了一張圖表，比較了低級運算操作的功耗。

如圖表所示，最耗能的計算操作是數(shù)據(jù)傳輸，這不僅僅是指無線數(shù)據(jù)傳輸，甚至意味著將數(shù)據(jù)從設(shè)備內(nèi)部的一個芯片傳輸?shù)搅硪粋€芯片，更重要的是，該圖表使用了對數(shù)刻度；根據(jù)圖表，將數(shù)據(jù)傳輸?shù)絉AM使用的功率是基本單元12000倍（在本例中是兩個數(shù)字相加）。

綜上所述，右側(cè)的圓形圖顯示了AR功能所需的關(guān)鍵技術(shù)（SLAM和手動追蹤），只需將數(shù)據(jù)移入和移出RAM即可使用大部分功能。

“顯然，對于低功耗應(yīng)用（例如輕便AR眼鏡），盡可能減少數(shù)據(jù)傳輸量至關(guān)重要?！盇brash說。

為了實現(xiàn)這一目標(biāo)，將需要一種新的計算架構(gòu)，而不是在集中式計算中心之間傳輸大量數(shù)據(jù)，而是在整個系統(tǒng)中更廣泛分布計算操作，以最大限度減少數(shù)據(jù)傳輸?！?/p>

Abrash說，分布式計算架構(gòu)的起點可以從AR眼鏡感知用戶周圍世界所需的眾多攝像頭開始，這將涉及在相機傳感器本身進行一些初步計算，然后才通過數(shù)據(jù)傳輸通道發(fā)送最重要的數(shù)據(jù)。

Abrash表示，達成這一目標(biāo)需要硬件和軟件共同設(shè)計，這使得硬件在設(shè)計時就考慮了特定算法，該算法可計算相機傳感器本身數(shù)據(jù)，支持處理任何經(jīng)過傳感器的操作數(shù)據(jù)。

“將最低功耗、最佳性能和最小外形尺寸的標(biāo)準(zhǔn)整合，則能使XR傳感器成為圖像傳感器行業(yè)的前沿產(chǎn)物?！盇brash說。

Abrash還透露，Meta Reality Labs已開始為此而努力，甚至已創(chuàng)建了一個原型相機傳感器，專門設(shè)計用于AR眼鏡的低功耗，高性能需求。

該傳感器基于一系列數(shù)字像素傳感器陣列，可在三個不同的光照水平下同時捕獲每個像素上的數(shù)字光值，每個像素都有自己的內(nèi)存來存儲數(shù)據(jù)，并且可以決定報告三個值中的哪一個（而不是將所有數(shù)據(jù)發(fā)送到另一個芯片來完成這項工作）。

Abrash說，這不僅降低了功耗，而且還大大增加了傳感器的動態(tài)范圍（它能在同一圖像中捕獲昏暗和明亮的光線水平），同時Abrash分享了用Meta原型傳感器拍攝的樣本圖像，與典型傳感器進行了比較，以演示寬動態(tài)范圍。

在左側(cè)的圖像中，亮光掩蓋了圖像，導(dǎo)致相機無法捕捉到大部分場景。另一方面，右邊的圖像不僅可以清晰看到燈泡燈絲的極高亮度，還可以看到場景的其他部分。

這種寬動態(tài)范圍對于未來AR眼鏡的傳感器至關(guān)重要，這些眼鏡需要在低光室內(nèi)條件下如同晴天照射條件下工作。

盡管Meta原型傳感器具有HDR優(yōu)勢，但它的功耗明顯更高，在30幀/秒的情況下達到5mW，不過它的擴展性很好，雖然需要更多的功率，但傳感器每秒可以捕獲480幀。

但是，Meta想更進一步，在傳感器上進行更復(fù)雜的計算。

“例如，深度神經(jīng)網(wǎng)絡(luò)的淺層部分——XR工作負載的分割和分類，如眼動追蹤和手部跟蹤——可以在傳感器上實現(xiàn)。”

但Abrash說，在更多的硬件創(chuàng)新之前，這是不可能實現(xiàn)的，比如開發(fā)超密集、低功耗的內(nèi)存，這對于“真正的傳感器上ML計算”是必要的。

盡管Meta已經(jīng)在試驗全新AR技術(shù)，但Abrash表示，整個行業(yè)需要團結(jié)起來，才能實現(xiàn)規(guī)模化量產(chǎn)，并特別指出：“（芯片制造商）開發(fā)MRAM技術(shù)是開發(fā)AR眼鏡的關(guān)鍵因素。”

“在端到端系統(tǒng)中，我們提出的分布式架構(gòu)以及我所描述的相關(guān)技術(shù)結(jié)合在一起，將在功耗、面積和外形尺寸方面有著巨大的改進潛力，”Abrash總結(jié)道，“進行必要的改進、使其變得足夠舒適和實用，并成為十億人日常生活的一部分?！?/p>