2022年4月29日，由虛擬現(xiàn)實(shí)制造業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟主辦、南昌虛擬現(xiàn)實(shí)研究院股份有限公司承辦、江西省工業(yè)和信息化廳與南昌市人民政府擔(dān)任指導(dǎo)單位的“虛擬現(xiàn)實(shí)制造業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟（VRMTA?）2022年度工作會(huì)議暨VR產(chǎn)業(yè)創(chuàng)新高峰論壇”在江西南昌圓滿落幕。

南昌虛擬現(xiàn)實(shí)研究院副總經(jīng)理孫其民在高峰論壇上做了題為《南昌虛擬現(xiàn)實(shí)研究院（江西虛擬現(xiàn)實(shí)創(chuàng)新中心）研發(fā)成果報(bào)告》的報(bào)告，詳細(xì)介紹了南昌虛擬現(xiàn)實(shí)研究院在VR/AR可變焦顯示、焦面式虛擬現(xiàn)實(shí)顯示、全息體光柵、實(shí)時(shí)三維重建、眼動(dòng)追蹤、手勢(shì)追蹤、三維可編輯投影等關(guān)鍵共性技術(shù)研發(fā)項(xiàng)目上的最新進(jìn)展與成果。

以下為演講全文：

尊敬的趙院士、莊院士、江院士，還有我們聯(lián)盟的理事長(zhǎng)，各位專家，各位領(lǐng)導(dǎo)，下午好。下面按照大會(huì)議程，我在這里向大家報(bào)告南昌虛擬現(xiàn)實(shí)研究院及江西省虛擬現(xiàn)實(shí)研究中心在虛擬現(xiàn)實(shí)關(guān)鍵共性技術(shù)研發(fā)方面所取得的進(jìn)展。

在開(kāi)展虛擬現(xiàn)實(shí)關(guān)鍵共性技術(shù)研發(fā)方面，我們從三個(gè)方面起步推進(jìn)，一個(gè)是研發(fā)平臺(tái)的建設(shè)，第二個(gè)是研發(fā)團(tuán)隊(duì)建設(shè)，第三個(gè)是共性關(guān)鍵技術(shù)攻關(guān)。

首先我們介紹一下關(guān)鍵技術(shù)研發(fā)平臺(tái)的建設(shè)情況。創(chuàng)新中心能力建設(shè)可分為5個(gè)部分開(kāi)展，一是技術(shù)研發(fā)，二是成果轉(zhuǎn)化，三是檢驗(yàn)測(cè)試，四是人才培養(yǎng)，五是國(guó)內(nèi)外合作。

技術(shù)研發(fā)能力建設(shè)方面，我們將研發(fā)體系劃分為三大板塊，一是以研究所為單元的研發(fā)團(tuán)隊(duì)，二是研發(fā)支撐平臺(tái)實(shí)驗(yàn)室，三是成果轉(zhuǎn)化平臺(tái)、中試驗(yàn)證平臺(tái)。

目前為止，在研發(fā)體系建設(shè)當(dāng)中，我們已建成5家研究所并成立團(tuán)隊(duì)開(kāi)始研發(fā)，推進(jìn)關(guān)鍵共性技術(shù)的突破，這5家研究所分別是幾何光學(xué)研究所，近眼顯示研究所、光場(chǎng)成像與顯示研究所、三維傳感與機(jī)器視覺(jué)研究所、感知交互研究所。另外，我們還有微納光學(xué)和系統(tǒng)軟件兩個(gè)研究所正在籌建中。

研發(fā)平臺(tái)方面，我們投入了大量資金構(gòu)建了研發(fā)實(shí)驗(yàn)平臺(tái)，目前已建成7個(gè)研發(fā)實(shí)驗(yàn)平臺(tái)，分別是近眼顯示，全息體光柵、液晶材料，幾何光學(xué)，光場(chǎng)成像與顯示，三維傳感與機(jī)器視覺(jué)，感知交互實(shí)驗(yàn)室。

在成果轉(zhuǎn)化方面，現(xiàn)已建成兩個(gè)中試驗(yàn)證平臺(tái)，分別是VR顯示模組和全景影像模組中試線。

在此基礎(chǔ)之上，各研究團(tuán)隊(duì)開(kāi)展共性技術(shù)研發(fā)突破，現(xiàn)在已經(jīng)啟動(dòng)了多個(gè)項(xiàng)目。

今天，我在向大家分享這7個(gè)方面的工作進(jìn)展和成果。

一．液晶變焦透鏡與VR/AR可變焦顯示。

這個(gè)研究方向的重點(diǎn)是突破變焦液晶透鏡技術(shù)，實(shí)現(xiàn)可變焦近眼顯示方案，解決視覺(jué)輻輳調(diào)節(jié)沖突（VAC）問(wèn)題，實(shí)現(xiàn)VR/AR的舒適觀看體驗(yàn)。

視覺(jué)輻輳調(diào)節(jié)沖突是大家所關(guān)注的VR暈動(dòng)癥的根本來(lái)源。目前我們?cè)谶@個(gè)領(lǐng)域已經(jīng)開(kāi)發(fā)出第一代電子變焦液晶透鏡，從樣品來(lái)看，它的厚度非常薄，其液晶能夠做到微米級(jí)。雖然說(shuō)是一個(gè)鏡片，但它是一個(gè)液晶，只有是做到啊是微密級(jí)的，這是我們?cè)趯?shí)驗(yàn)室實(shí)際檢測(cè)的情況。

在我們自己開(kāi)發(fā)的電控液晶變焦透鏡測(cè)試平臺(tái)上，擺放了有遠(yuǎn)中近三個(gè)套娃，最遠(yuǎn)的是左側(cè)藍(lán)色套娃，距離約2米；中間的套娃距離大約為1.5米；最近的套娃距離約1米，通過(guò)電控變焦實(shí)時(shí)切換焦點(diǎn)。當(dāng)焦點(diǎn)位于最遠(yuǎn)處的套娃時(shí)，它處于最清晰的狀態(tài)，另外兩個(gè)套娃則會(huì)處于模糊狀態(tài)。

將這套系統(tǒng)實(shí)踐到VR透鏡中，再加上眼動(dòng)追蹤功能，就可以實(shí)現(xiàn)實(shí)時(shí)自動(dòng)變焦和最優(yōu)的視覺(jué)觀看效果。

基于這個(gè)原理，我們?cè)O(shè)計(jì)了基于VR可變焦透鏡的VR頭顯整機(jī)方案，其中使用了我們?cè)O(shè)計(jì)集成的可變焦透鏡光學(xué)模組，它的結(jié)構(gòu)非常小，而且制程工藝只需要使用現(xiàn)有的成熟工藝，成本非常低，具有很好的產(chǎn)業(yè)化前景。

可變焦透鏡除了可以應(yīng)用于VR頭顯，還能夠應(yīng)用到手機(jī)、光通信等領(lǐng)域，只要是涉及到焦距可調(diào)的，均有應(yīng)用的前景。

二．基于玻璃基液晶相位調(diào)制器的焦面式虛擬現(xiàn)實(shí)顯示。

這個(gè)研究項(xiàng)目同樣用于解決VR/AR觀看體驗(yàn)舒適度的問(wèn)題，也就是說(shuō)剛才講的視覺(jué)輻輳調(diào)節(jié)沖突。它的特點(diǎn)是采用了光場(chǎng)的技術(shù)原理，在大家看來(lái)可能是解決視覺(jué)輻輳調(diào)節(jié)沖突的最優(yōu)方案。

這一領(lǐng)域中，目前存在一個(gè)比較大的問(wèn)題——產(chǎn)業(yè)化。這項(xiàng)技術(shù)中的核心器件空間光調(diào)制器，目前采用了硅基方案，成本高達(dá)幾萬(wàn)甚至十幾萬(wàn)。目前，我們計(jì)劃采用的玻璃基方案能夠的大幅度降低器件成本，而且可以實(shí)現(xiàn)更大的尺寸與視角，都是VR所需要的。

現(xiàn)在在這一領(lǐng)域，我們已經(jīng)研發(fā)完成了玻璃基液晶相位調(diào)制器的器件規(guī)格設(shè)計(jì)、光學(xué)設(shè)計(jì)、像素設(shè)計(jì)以及工藝制程和測(cè)試驗(yàn)證平臺(tái)的搭建，正在開(kāi)展第一代相位調(diào)制器的研制工作，預(yù)計(jì)在今年年底我們會(huì)推出第一代的液晶相位調(diào)制器，接下來(lái)開(kāi)展焦面式顯示系統(tǒng)的整機(jī)研制。

從對(duì)比來(lái)看，玻璃基液晶相位調(diào)制器的尺寸各大，價(jià)格更低，解決了產(chǎn)業(yè)化瓶頸的問(wèn)題。就VR/AR應(yīng)用場(chǎng)景而言，能夠解決觀看舒適度的問(wèn)題，實(shí)現(xiàn)連續(xù)的三維深度、自然的焦點(diǎn)模糊，帶來(lái)最佳的體驗(yàn)。此外，玻璃基液晶相位調(diào)制器在全息顯示、可編程衍射光學(xué)器件等領(lǐng)域也有廣闊的應(yīng)用前景。

三、聚合物分散液晶全息體光柵。

全息體光柵主要應(yīng)用于AR顯示。未來(lái)AR顯示技術(shù)的主流是光波導(dǎo)，光波導(dǎo)又可分為幾何光波導(dǎo)與衍射光波導(dǎo)，全息體光柵技術(shù)是衍射光波導(dǎo)領(lǐng)域的一項(xiàng)技術(shù)。

全息體光柵的技術(shù)核心首先是基礎(chǔ)材料。目前國(guó)內(nèi)在材料方面的技術(shù)與國(guó)外差距明顯，且受到了國(guó)外的技術(shù)封鎖，進(jìn)口也有非常大的難度，是目前產(chǎn)業(yè)的一個(gè)瓶頸。

在這一領(lǐng)域，我們有兩個(gè)研發(fā)方向，一是突破基礎(chǔ)材料，研制高性能全息高分子材料，我們建立了液晶材料實(shí)驗(yàn)室以及全息體光柵實(shí)驗(yàn)室正在攻克相關(guān)技術(shù)；二是突破基于全息高分子材料的全息體光柵關(guān)鍵制程工藝，實(shí)現(xiàn)批量生產(chǎn)，我們對(duì)標(biāo)的是國(guó)外最先進(jìn)的復(fù)制生產(chǎn)工藝。

目前我們已經(jīng)自主研制出了全息高分子材料，從光學(xué)參數(shù)來(lái)看，它在調(diào)制折射率、調(diào)制度方面已經(jīng)比國(guó)內(nèi)現(xiàn)有材料有所領(lǐng)先。

我們的實(shí)驗(yàn)室已經(jīng)初步完成了第一代全息體光柵的制備，未來(lái)性能還可以進(jìn)一步提升，預(yù)計(jì)在部分指標(biāo)上做到國(guó)內(nèi)領(lǐng)先，在部分指標(biāo)上達(dá)到國(guó)際先進(jìn)水平。

四、散斑結(jié)構(gòu)光實(shí)時(shí)三維重建技術(shù)與 RGB-D 相機(jī)。

基于散斑結(jié)構(gòu)光的三維信息獲取是三維傳感里較為普遍的應(yīng)用。在這項(xiàng)技術(shù)的基礎(chǔ)之上，我們開(kāi)發(fā)了嵌入式3D相機(jī)，基于這一器件和算法，進(jìn)一步延伸到三維重建技術(shù)，重點(diǎn)是三維稠密點(diǎn)云的重建。目前我們已經(jīng)研發(fā)了第二代RGB-D相機(jī)，實(shí)際測(cè)試比微軟的Kinect以及英特爾的Real Sense在深度和深度圖的連續(xù)性方面都有比較明顯的優(yōu)勢(shì)。

這一塊，我們重點(diǎn)突出兩個(gè)特點(diǎn)，一是高幀率，我們研發(fā)的相機(jī)可以達(dá)到60FPS以上，目前我們實(shí)驗(yàn)室里最高可以做到超過(guò)100FPS，比較適合VR中的互動(dòng)，以及對(duì)運(yùn)動(dòng)物體的三維感知和重建。二是我們目前采用了基于FPGA的芯片，可以很快的根據(jù)用戶的場(chǎng)景需要，去定制對(duì)應(yīng)的技術(shù)指標(biāo)。

RGB-D相機(jī)的應(yīng)用場(chǎng)景也有很多，除了VR里的交互、建模，還包括了3D視頻會(huì)議、機(jī)器人導(dǎo)航以及更多的工業(yè)應(yīng)用。

五、眼動(dòng)追蹤技術(shù)。

眼動(dòng)追蹤解決的是眼睛在看哪里、往哪兒看、怎么看的問(wèn)題，從而主動(dòng)獲取人對(duì)世界的感知信息，然后基于視覺(jué)信息的獲取來(lái)去進(jìn)行視覺(jué)的交互和視覺(jué)行為的判斷。我們?cè)谶@一領(lǐng)域的研發(fā)，重點(diǎn)解決面向VR頭顯的眼動(dòng)追蹤技術(shù)，實(shí)現(xiàn)在VR設(shè)備中眼動(dòng)追蹤與動(dòng)態(tài)變焦顯示和渲染優(yōu)化的集成，為VR基于眼動(dòng)追蹤的體驗(yàn)優(yōu)化提供一體化的技術(shù)支撐。

其中的重點(diǎn)包括變焦顯示、注釋點(diǎn)渲染和視覺(jué)交互三個(gè)方面。

我們目前的研發(fā)重點(diǎn)一是眼動(dòng)追蹤模組，二是算法。在眼動(dòng)追蹤模組方面，我們完全采用自主設(shè)計(jì)，用基于視頻的方式實(shí)現(xiàn)眼動(dòng)追蹤，并對(duì)器件的小型化、可靠性、功耗，以及紅外光的安全度方面，都參照業(yè)界的標(biāo)準(zhǔn)做了很多的優(yōu)化；在眼動(dòng)追蹤器件與VR/AR頭顯的集成度方面，我們也針對(duì)業(yè)界現(xiàn)有的頭顯形態(tài)做了優(yōu)化設(shè)計(jì)；算法方面，穩(wěn)定性以及可遷移性較好，適用于多種頭顯硬件平臺(tái)。

針對(duì)VR/AR的應(yīng)用，我們有兩方面的布局，首先是解決VR頭顯的眼動(dòng)追蹤能力，目前我們提出了三種技術(shù)路線，可以適配多種頭顯。

第一是內(nèi)部反射式，可以適配于像HTC Vive這樣的VR頭顯。

第二是針對(duì)Pancake超短焦顯示方案的外部直射式。

第三是針對(duì)大視場(chǎng)角的方案。

六、面向VR/AR的手勢(shì)追蹤技術(shù)與系統(tǒng)。

手勢(shì)交互是自然交互的一個(gè)重要形態(tài)。在這一領(lǐng)域，我們重點(diǎn)做三大技術(shù)，一是手勢(shì)姿態(tài)的采集和標(biāo)注；二是手勢(shì)追蹤與識(shí)別；三是建立3D手勢(shì)姿態(tài)數(shù)據(jù)庫(kù)，給手勢(shì)交互技術(shù)開(kāi)發(fā)以核心數(shù)據(jù)支撐。

深度學(xué)習(xí)是各個(gè)領(lǐng)域所使用的通用工具，在手勢(shì)追蹤領(lǐng)域，也是以深度學(xué)習(xí)作為一個(gè)主流的研發(fā)方向，它的痛點(diǎn)是必須要有大量的高精度數(shù)據(jù)來(lái)對(duì)模型進(jìn)行訓(xùn)練，才能得到好的結(jié)果?，F(xiàn)階段國(guó)內(nèi)缺少這樣的數(shù)據(jù)庫(kù)，一些開(kāi)源數(shù)據(jù)集的數(shù)據(jù)量和精度不達(dá)標(biāo)，只能做一些實(shí)驗(yàn)性的工作。3D手勢(shì)姿態(tài)數(shù)據(jù)庫(kù)能夠給手勢(shì)交互技術(shù)開(kāi)發(fā)以核心數(shù)據(jù)支撐。

所以在手勢(shì)追蹤領(lǐng)域，我們重點(diǎn)解決三個(gè)問(wèn)題。

第一是手勢(shì)追蹤系統(tǒng)，也就是我們的最終目標(biāo)，第二是如何獲取數(shù)據(jù)，第三是3D手勢(shì)姿態(tài)的自動(dòng)標(biāo)注，這三點(diǎn)相互關(guān)聯(lián)。在實(shí)際工作中，第一步需要拿到大量的數(shù)據(jù)，我們大規(guī)模的采集3D手勢(shì)數(shù)據(jù)，計(jì)劃完成不少于20萬(wàn)張高精度的數(shù)據(jù)圖，然后基于數(shù)據(jù)的處理研發(fā)一套自動(dòng)化的標(biāo)注工具，最后再在這一基礎(chǔ)上實(shí)現(xiàn)手勢(shì)追蹤算法。

具體到算法方面，我們已經(jīng)針對(duì)不同的相機(jī)驗(yàn)證了一些手勢(shì)追蹤方案，第一是基于彩色相機(jī)的追蹤方案，可以實(shí)時(shí)控制虛擬手。第二是基于灰度相機(jī)/深度相機(jī)的實(shí)時(shí)追蹤方案。將來(lái)，我們可以將手勢(shì)追蹤傳感器與三維重建傳感器集成到一套設(shè)備中，實(shí)現(xiàn)一體化的手勢(shì)追蹤解決方案。

手勢(shì)追蹤的主要技術(shù)指標(biāo)，是能夠追蹤21個(gè)手指關(guān)節(jié)的關(guān)鍵點(diǎn)，獲取它們?cè)诳臻g的深度信息，然后進(jìn)行實(shí)時(shí)追蹤，控制虛擬手。在具體的指標(biāo)方面，我們重點(diǎn)關(guān)注微手勢(shì)操作的指標(biāo)，例如點(diǎn)、拿、捏這樣在VR/AR中使用較多的動(dòng)作；還有一些關(guān)鍵手指，例如拇指和食指的追蹤精度。

七、面向AR的三維可編輯投影系統(tǒng)。

面向AR的三維可編輯投影系統(tǒng)是我們面向內(nèi)容制作領(lǐng)域研發(fā)的內(nèi)容工具，也是一套完整的系統(tǒng)。它包括兩塊，一個(gè)是內(nèi)容創(chuàng)作，二是 AR內(nèi)容的投影。

形式上來(lái)說(shuō)，它類似于燈光秀，是一個(gè)比較小型的裝置，適用于室內(nèi)小場(chǎng)景和小物體的投影與增強(qiáng)。它的特點(diǎn)是基于三維傳感獲取物體表面較精準(zhǔn)的3D信息，也就是說(shuō)物體表面的凹凸深淺不同都可以捕捉到，配合可以做到像素級(jí)編輯的內(nèi)容制作工作，從而完成精細(xì)的作品，實(shí)現(xiàn)非常逼真的投影效果。

這套內(nèi)容制作工作，被我們稱為光輝AR投影編輯系統(tǒng)，擁有PS等平面設(shè)計(jì)工具經(jīng)驗(yàn)的人都能夠輕松的上手。工具內(nèi)包括了自動(dòng)選取、特效、實(shí)時(shí)視頻導(dǎo)入等功能，也擁有時(shí)間軸的編輯與控制功能。從創(chuàng)作的角度來(lái)說(shuō)，它是一款能夠提高很多生產(chǎn)力的工具。

這是我們?cè)趯?shí)驗(yàn)室做的靜物增強(qiáng)投影以及在動(dòng)態(tài)旋轉(zhuǎn)體上的投影，在不同的時(shí)間實(shí)際上看到的投影是不一樣的。

這一系統(tǒng)可以用于文物展示、科技展示、產(chǎn)品展示等領(lǐng)域，作為一種展覽展示的方案，還能夠提供一些交互與互動(dòng)。

以上是我們目前在做的一些工作，涉及到交互、光學(xué)、器件、材料等各個(gè)方面，也將和產(chǎn)業(yè)界的諸多同行有大量交叉和合作的機(jī)會(huì)，希望我們能與業(yè)界同仁們一起攜手共進(jìn)，共同創(chuàng)新，共創(chuàng)虛擬現(xiàn)實(shí)新局面，謝謝大家！