Meta展示了去年預(yù)告的“Mirror Lake”原型的渲染圖,并表示“現(xiàn)在就可以制造了”。
Meta顯示系統(tǒng)研究總監(jiān)Douglas Lanman在亞利桑那大學(xué)光學(xué)科學(xué)學(xué)院舉行的題為“如何通過AR/VR視覺圖靈測試”的演講中,揭示了這張渲染圖。
“Mirror Lake采用全息相機(jī),支持多視圖眼動追蹤、反向直通,再加上硬件組件,使我們相信這款頭顯(這里只是一個渲染圖)實際上是可以實現(xiàn)的。”
Meta去年展示了Mirror Lake概念。Meta表示,其目的是證明“過去七年我們一直在孵化幾乎所有先進(jìn)視覺技術(shù)”。

需要明確的是,Mirror Lake并不是作為特定的未來產(chǎn)品呈現(xiàn)的。當(dāng)它被展示時,Meta首席執(zhí)行官扎克伯格表示,Mirror Lake所證明的技術(shù)可以在“本世紀(jì)下半葉”的產(chǎn)品中看到。
以下是 Mirror Lake概念設(shè)計所采用技術(shù)概述:
變焦光學(xué)器件
目前市場上所有頭顯均配備定焦鏡頭。單眼都有一個單獨的視角,但圖像聚焦在固定的焦距處,通常是幾米遠(yuǎn)。用戶眼睛將指向(會聚或發(fā)散)正在查看的虛擬對象,但實際上無法聚焦(適應(yīng))到該對象的虛擬距離。
2018年F8大會上,F(xiàn)acebook展示了一款名為Half Dome的原型頭顯,該頭顯集成了眼動追蹤功能,可以機(jī)械向前或向后移動顯示屏以調(diào)整焦點。Half Dome解決了聚散調(diào)節(jié)沖突,但機(jī)械方法會在現(xiàn)實世界中帶來嚴(yán)重的可靠性問題。
2019年Oculus Connect 6大會上,F(xiàn)acebook描述了Half Dome 2和Half Dome 3。Half Dome 2 使用更可靠的執(zhí)行器和更緊湊(但視野更低)的設(shè)計。然而,Half Dome 3采用了一種全新的方法,沒有移動部件。Half Dome 3沒有移動顯示屏,而是使用了液晶透鏡層,以向每個透鏡層施加電壓會改變其焦距,因此每個獨特的開和關(guān)組合都會產(chǎn)生不同的焦距。
雖然Half Dome 3更緊湊,但它仍然比Meta希望有一天能夠?qū)崿F(xiàn)的“滑雪鏡式”外形尺寸大得多。Mirror Lake采用與Half Dome 3相同的方法,但通過使用“Holocake”鏡頭實現(xiàn)了更小的外形尺寸。
Holocake鏡頭
在Meta Quest 3、PICO 4、Bigscreen Beyond和Apple Vision Pro等最新一波Pancake lens頭顯出現(xiàn)之前,大多數(shù)VR頭顯都使用常規(guī)折射光學(xué)器件,這使得顯示面板和鏡頭之間需要有相對較大的間隙。這種差距是Quest 2、Valve Index和PS VR2等較早設(shè)計的主要驅(qū)動因素。

Pancake lens鏡頭利用偏振來“折疊”光路,使其更短。事實上,它變得足夠短,大部分剩余厚度都是鏡片本身。
而為了進(jìn)一步縮小頭顯尺寸,Meta研究人員保留了與Pancake lens光學(xué)相同的核心概念——基于偏振的光學(xué)折疊——在2020年展示的研究基礎(chǔ)上,用“薄而扁平的全息透鏡”取代了曲面透鏡。Meta將這一成果稱為“Holocake”鏡片。需要明確的是,Meta使用“全息”一詞與業(yè)內(nèi)其他一些術(shù)語不同——這是全息膠片中的全息,而不是3D光場顯示器。

雖然Mirror Lake仍只是一個概念,但Meta確實已經(jīng)使用全息鏡頭構(gòu)建了一款名為 Holocake 2 的真實工作原型頭顯,該公司去年展示了這款頭顯,并將其描述為“我們制造過的最薄、最輕的VR頭顯”。
Holocake透鏡有一個重要的限制——它們需要專門的激光器作為光源,而LED背光不適合。Meta的Michael Abrash指出,激光器尚未達(dá)到消費產(chǎn)品所需的性能、尺寸和價格。然而,Meta聲稱,使用激光確實可以實現(xiàn)更寬的色域。
反向直通
Apple Vision Pro的標(biāo)志性功能之一是其“EyeSight”透鏡狀前顯示屏,當(dāng)房間中的其他人在附近時,它可以向?qū)Ψ斤@示用戶臉部渲染視圖。

但你知道Meta研究人員在兩年多前就展示了這個想法嗎?
Meta的版本使用兩個獨立的光柵顯示器,而不是一個,但在其他方面概念上是相同的。
當(dāng)然,展示笨重、不切實際的研究原型與實際將一項技術(shù)應(yīng)用到時髦的產(chǎn)品中是完全不同的。但Meta聲稱Mirror Lake概念設(shè)計將這項技術(shù)融入到了一個小型外形之中,令人期待。
來源:UploadVR
據(jù)RoadtoVR報道,今年6月,Meta通過多款不同概念原型展示了其最新XR研發(fā)成果,該公司表示,下一步是將研究成果全部整合至一個SDK,并希望有朝一日可以使用戶受惠。
以Meta透露的“Starburst”HDR VR頭顯原型為例,該研究目標(biāo)是通過簡單構(gòu)建,以便團(tuán)隊可以量化20000尼特HDR對沉浸感的影響,但從市場可行性來看,該原型采用的技術(shù)規(guī)模太大,耗電太多且功率巨大,無法在不完全改變底層架構(gòu)的情況下開發(fā)真正成品。
而Meta眾多研發(fā)原型都是如此——它們旨在展示一個概念,并不一定真正推向市場。

但Meta的下一個原型,Meta不僅僅是為了展示概念,而是為了將該公司大部分最新研究成果整合到一個頭顯中,并且該頭顯架構(gòu)可以成為未來產(chǎn)品的基礎(chǔ)。
Meta Reality Labs首席科學(xué)家Michael Abrash表示:“這并不意味著這款頭顯將會廉價,也不意味著頭顯會很容易實現(xiàn),但它將‘成為VR視覺體驗的游戲規(guī)則改變者’?!?/p>
這款概念原型稱為“Mirror Lake”,雖然Meta謹(jǐn)慎表達(dá)該原型還在開發(fā)中,但指出其目標(biāo)是將最新創(chuàng)新整合到該原型。

Meta Reality Labs顯示系統(tǒng)研究總監(jiān)Douglas Lanman表示,Mirror Lake將包括電子變焦鏡頭(包括處方校正)、多視點眼動追蹤、全息pancake鏡頭、高級直通、反向直通和類似護(hù)目鏡外形的激光背光。
電子變焦鏡頭
電子變焦鏡頭不僅使頭戴式設(shè)備顯示單眼正確深度,并且消除了對眼鏡的需求,這賦予了頭顯用戶更優(yōu)沉浸感,從而解決大多數(shù)頭顯所面臨的“視覺輻輳調(diào)節(jié)沖突”問題。
多視點眼動追蹤

多視點眼動追蹤通過更多用戶眼睛視圖以提高系統(tǒng)眼動追蹤準(zhǔn)確性(這是動態(tài)失真校正等其他功能的基石)。如今,大多數(shù)眼動追蹤頭顯鏡頭內(nèi)都有一個銳角攝像頭,該攝像頭可觀察用戶眼睛以估算眼球運動,但也因為銳角使得眼球運動準(zhǔn)確估計變得更加困難。Meta表示,為解決上述問題,Mirror Lake頭帶則增加了一個眼動追蹤攝像頭,該攝像頭通過嵌入頭顯鏡頭的全息膠片反射以更好觀察用戶眼球運動。
全息pancake鏡頭

全息pancake鏡片一種新型鏡片,具有更薄更輕特性,同時使得用戶眼睛更接近鏡頭,從而大大減小頭顯體積。
高級直通
高級直通功能將使頭顯成像更清晰、更逼真視圖,以實現(xiàn)混合現(xiàn)實功能,盡管Lanman沒有詳細(xì)介紹Mirror Lake的“神經(jīng)直通相機(jī)”更多細(xì)節(jié),但從表面上看,這將類似于Quest 2 Passthrough+功能的下一代迭代,該功能旨在實現(xiàn)準(zhǔn)確深度表示和低延遲。
反向直通

反向直通是當(dāng)下時髦的新技術(shù),這使得用戶眼睛顯示在頭顯外部,由于眼部是重要的溝通工具,因此該功能旨在使頭顯用戶能與其他人進(jìn)行直觀交流。
激光背光
激光背光使頭顯可顯示更廣泛的顏色范圍,以更準(zhǔn)確表示用戶在現(xiàn)實生活中看到的內(nèi)容,更能使顯示器更亮、動態(tài)范圍更大。
Meta已在各種原型中獨立展示了激光背光技術(shù),但Lanman表示,Meta目標(biāo)是圍繞“實用架構(gòu)”開發(fā)Mirror Lake,這意味著在實驗室環(huán)境之外,該技術(shù)可以構(gòu)成真實產(chǎn)品的基礎(chǔ)。

Meta Reality Labs首席科學(xué)家Abrash表示,基于Mirror Lake可以瞥見“完整的下一代顯示器(VR)系統(tǒng)會是什么樣子”,但也警告,在頭顯實際制造成品之前,該架構(gòu)不會得到最終證明(或否定)。
由此,我們還需要幾年時間才能看到像Mirror Lake這般的頭顯真正進(jìn)入市場,而Meta即將推出的頭顯“Project Cambria”,將只包含Mirror Lake的一小部分功能,即使是Holocake 2原型機(jī)——它比Cambria更先進(jìn)——仍然比Meta對Mirror Lake的設(shè)想落后了好幾步。
即便如此,Meta首席執(zhí)行官扎克伯格堅持認(rèn)為,Meta在XR研發(fā)工作中投入的數(shù)十億美元不僅僅是學(xué)術(shù)上的。
“我們是最認(rèn)真、最致力于研究10年后VR/AR技術(shù)的公司,我們會自問‘我們需要解決哪些問題’,然后系統(tǒng)解決每一個問題,以便取得進(jìn)展,盡管XR技術(shù)還有很長一段路要走,但我很高興在未來幾年將所有這些技術(shù)應(yīng)用于產(chǎn)品。”
據(jù)UploadVR報道,Meta正在打造一款名為“Mirror Lake”的原型頭顯,并以超緊湊的外形尺寸證明“公司過去七年一直在孵化先進(jìn)的視覺技術(shù)”。

Mirror Lake尚未被開發(fā)成一個實用設(shè)備——仍然僅是一個概念原型機(jī),Meta Reality Labs首席科學(xué)家Michael Abrash表示,Mirror Lake“展示了完整的下一代顯示系統(tǒng)”,早在2019年,Abrash就宣布Facebook正在研究一款“真正的下一代概念原型頭顯”。
Mirror Lake旨在通過Meta Holocake鏡片實現(xiàn)“滑雪鏡般的外形尺寸”,同時結(jié)合了先進(jìn)的眼動追蹤、可變焦點、反向直通功能,并增加了對處方鏡片(以滿足近視用戶的需求)附件的支持。

Meta首席執(zhí)行官扎克伯格表示,Mirror Lake所展現(xiàn)的技術(shù)將出現(xiàn)在“本世紀(jì)下半葉”的產(chǎn)品中。
可變焦點
目前所有的VR頭顯,除了實驗室原型,都有固定的焦點鏡頭,但無法正確聚焦眼睛與虛擬對象的距離,久之,則會導(dǎo)致用戶視覺疲勞,并使虛擬視物模糊。

F8大會上,F(xiàn)acebook展示了一款結(jié)合了眼動追蹤技術(shù)名為“Half Dome”的原型頭顯,該頭顯可以機(jī)械向前或向后移動顯示屏以調(diào)整焦點,雖然Half Dome解決了聚焦沖突,但機(jī)械方法在現(xiàn)實世界中會出現(xiàn)嚴(yán)重的可靠性問題,且不適合產(chǎn)品運輸。
Oculus Connect 6上,F(xiàn)acebook描述了“Half Dome 2”和“Half Dome 3”,其中Half Dome 2采用了更可靠的驅(qū)動器和更緊湊(但視野更?。┑脑O(shè)計;而Half Dome 3則采用了堆棧液晶透鏡層的全新方法,從而使每個透鏡層施加電壓以改變其焦距,因此每個獨特的開關(guān)組合都會產(chǎn)生不同的焦距,進(jìn)而實現(xiàn)64種焦距。

雖然Half Dome 3比其前身更緊湊,但它仍比Meta想要實現(xiàn)的“滑雪護(hù)目鏡式”外形尺寸大得多,區(qū)別的是,Mirror Lake雖然采用與Half Dome 3相同的方法,但其外形尺寸要小得多,這是通過“Holocake”鏡頭實現(xiàn)的。
“Holocake”鏡頭
目前流行的VR頭顯包括Meta Quest 2、PSVR和Valve Index都采用常規(guī)折射透鏡,這就需要相對較大的顯示面板以及鏡片空隙,而這正是阻礙當(dāng)今頭顯尺寸和體積優(yōu)化的主要因素。
2015年,eMagin展示了一款采用了“pancake”鏡片的超緊湊頭顯原型設(shè)計,pancake鏡片基于偏振技術(shù)以“折疊”光路,使光路更短;去年,HTC推出了Vive Flow,這也是一款采用pancake鏡片的緊湊型USB供電頭顯;而今年晚些時候,Meta則將推出一款同樣采用pancake鏡片、比Quest 2更薄的“Project Cambria”頭顯。

由于Pancake鏡片使光路縮短,從而預(yù)留了頭顯體積空間,為了進(jìn)一步減小頭顯尺寸,Meta研究人員保留了與“pancake光學(xué)”相同的核心概念——基于偏振的光學(xué)折疊——不過這基于2020年展示的研究成果,以“薄而扁平的全息透鏡”取代了曲面透鏡,Meta將這項成果稱為“Holocake”鏡頭。值得注意的是,Meta 對“全息”一詞的使用與業(yè)內(nèi)其他一些術(shù)語不同——此意為全息電影中的全息概念,而不是指3D光場顯示屏。
Meta表示,對于近視用戶而言,則可以在全息鏡片中添加“超薄處方鏡片”,從而無需佩戴眼鏡進(jìn)行體驗。

盡管Mirror Lake只是一個概念,但Meta已經(jīng)采用名為“Holocake 2”的全息鏡頭制造了工作原型頭顯。Meta表示,Holocake 2是一款功能齊全的PC VR頭顯,支持運行任何PCVR游戲,并稱Holocake 2是“我們制造的最薄、最輕VR頭顯”,而研究人員則認(rèn)為該頭顯還有進(jìn)一步小型化的可能性,去年10月,Meta CTO在推特上發(fā)布了一張似乎是佩戴了Holocake 2頭顯的照片。

不過,Holocake鏡頭需要特殊的激光作為光源,很顯然,LED背光并不適合,Meta的Michael Abrash指出,目前的激光器性能、尺寸和價格都無法滿足消費類產(chǎn)品的需求,但Meta聲稱,采用激光確實可以實現(xiàn)更廣泛的色域。
反向直通
另外,大規(guī)模采用XR頭顯的一個障礙是其他人看不到體驗者的面部,盡管基于彩色直通功能,頭顯用戶可以看到其他人,但他人卻因看不到用戶的面部而產(chǎn)生互動障礙。

去年,Meta研究人員展示了一款“反向直通”原型頭顯——一種帶有外部 LCD面板的頭戴式顯示器,以呈現(xiàn)佩戴者的眼睛,而Mirror Lake將很有可能是首款具有完整反向直通功能的Meta原型頭顯。

此外,值得一提的是,The Information上個月的一份報道稱,蘋果AR/VR頭顯也具備了反向直通功能,但增加屏幕意味著外部攝像頭必須放置于遠(yuǎn)離用戶眼睛的“尷尬”位置,這使得直通重投影算法的開發(fā)更加困難。