2022年4月29日，由虛擬現(xiàn)實制造業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟主辦、南昌虛擬現(xiàn)實研究院股份有限公司承辦、江西省工業(yè)和信息化廳與南昌市人民政府擔任指導(dǎo)單位的“虛擬現(xiàn)實制造業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟（VRMTA?）2022年度工作會議暨VR產(chǎn)業(yè)創(chuàng)新高峰論壇”在江西南昌圓滿落幕。
南昌虛擬現(xiàn)實研究院副總經(jīng)理孫其民在高峰論壇上做了題為《南昌虛擬現(xiàn)實研究院（江西虛擬現(xiàn)實創(chuàng)新中心）研發(fā)成果報告》的報告，詳細介紹了南昌虛擬現(xiàn)實研究院在VR/AR可變焦顯示、焦面式虛擬現(xiàn)實顯示、全息體光柵、實時三維重建、眼動追蹤、手勢追蹤、三維可編輯投影等關(guān)鍵共性技術(shù)研發(fā)項目上的最新進展與成果。
以下為演講全文：
尊敬的趙院士、莊院士、江院士，還有我們聯(lián)盟的理事長，各位專家，各位領(lǐng)導(dǎo)，下午好。下面按照大會議程，我在這里向大家報告南昌虛擬現(xiàn)實研究院及江西省虛擬現(xiàn)實研究中心在虛擬現(xiàn)實關(guān)鍵共性技術(shù)研發(fā)方面所取得的進展。
在開展虛擬現(xiàn)實關(guān)鍵共性技術(shù)研發(fā)方面，我們從三個方面起步推進，一個是研發(fā)平臺的建設(shè)，第二個是研發(fā)團隊建設(shè)，第三個是共性關(guān)鍵技術(shù)攻關(guān)。
首先我們介紹一下關(guān)鍵技術(shù)研發(fā)平臺的建設(shè)情況。創(chuàng)新中心能力建設(shè)可分為5個部分開展，一是技術(shù)研發(fā)，二是成果轉(zhuǎn)化，三是檢驗測試，四是人才培養(yǎng)，五是國內(nèi)外合作。
技術(shù)研發(fā)能力建設(shè)方面，我們將研發(fā)體系劃分為三大板塊，一是以研究所為單元的研發(fā)團隊，二是研發(fā)支撐平臺實驗室，三是成果轉(zhuǎn)化平臺、中試驗證平臺。
目前為止，在研發(fā)體系建設(shè)當中，我們已建成5家研究所并成立團隊開始研發(fā)，推進關(guān)鍵共性技術(shù)的突破，這5家研究所分別是幾何光學研究所，近眼顯示研究所、光場成像與顯示研究所、三維傳感與機器視覺研究所、感知交互研究所。另外，我們還有微納光學和系統(tǒng)軟件兩個研究所正在籌建中。
研發(fā)平臺方面，我們投入了大量資金構(gòu)建了研發(fā)實驗平臺，目前已建成7個研發(fā)實驗平臺，分別是近眼顯示，全息體光柵、液晶材料，幾何光學，光場成像與顯示，三維傳感與機器視覺，感知交互實驗室。
在成果轉(zhuǎn)化方面，現(xiàn)已建成兩個中試驗證平臺，分別是VR顯示模組和全景影像模組中試線。
在此基礎(chǔ)之上，各研究團隊開展共性技術(shù)研發(fā)突破，現(xiàn)在已經(jīng)啟動了多個項目。
今天，我在向大家分享這7個方面的工作進展和成果。
一．液晶變焦透鏡與VR/AR可變焦顯示。
這個研究方向的重點是突破變焦液晶透鏡技術(shù)，實現(xiàn)可變焦近眼顯示方案，解決視覺輻輳調(diào)節(jié)沖突（VAC）問題，實現(xiàn)VR/AR的舒適觀看體驗。
視覺輻輳調(diào)節(jié)沖突是大家所關(guān)注的VR暈動癥的根本來源。目前我們在這個領(lǐng)域已經(jīng)開發(fā)出第一代電子變焦液晶透鏡，從樣品來看，它的厚度非常薄，其液晶能夠做到微米級。雖然說是一個鏡片，但它是一個液晶，只有是做到啊是微密級的，這是我們在實驗室實際檢測的情況。
在我們自己開發(fā)的電控液晶變焦透鏡測試平臺上，擺放了有遠中近三個套娃，最遠的是左側(cè)藍色套娃，距離約2米；中間的套娃距離大約為1.5米；最近的套娃距離約1米，通過電控變焦實時切換焦點。當焦點位于最遠處的套娃時，它處于最清晰的狀態(tài)，另外兩個套娃則會處于模糊狀態(tài)。
將這套系統(tǒng)實踐到VR透鏡中，再加上眼動追蹤功能，就可以實現(xiàn)實時自動變焦和最優(yōu)的視覺觀看效果。
基于這個原理，我們設(shè)計了基于VR可變焦透鏡的VR頭顯整機方案，其中使用了我們設(shè)計集成的可變焦透鏡光學模組，它的結(jié)構(gòu)非常小，而且制程工藝只需要使用現(xiàn)有的成熟工藝，成本非常低，具有很好的產(chǎn)業(yè)化前景。
可變焦透鏡除了可以應(yīng)用于VR頭顯，還能夠應(yīng)用到手機、光通信等領(lǐng)域，只要是涉及到焦距可調(diào)的，均有應(yīng)用的前景。
二．基于玻璃基液晶相位調(diào)制器的焦面式虛擬現(xiàn)實顯示。
這個研究項目同樣用于解決VR/AR觀看體驗舒適度的問題，也就是說剛才講的視覺輻輳調(diào)節(jié)沖突。它的特點是采用了光場的技術(shù)原理，在大家看來可能是解決視覺輻輳調(diào)節(jié)沖突的最優(yōu)方案。
這一領(lǐng)域中，目前存在一個比較大的問題——產(chǎn)業(yè)化。這項技術(shù)中的核心器件空間光調(diào)制器，目前采用了硅基方案，成本高達幾萬甚至十幾萬。目前，我們計劃采用的玻璃基方案能夠的大幅度降低器件成本，而且可以實現(xiàn)更大的尺寸與視角，都是VR所需要的。
現(xiàn)在在這一領(lǐng)域，我們已經(jīng)研發(fā)完成了玻璃基液晶相位調(diào)制器的器件規(guī)格設(shè)計、光學設(shè)計、像素設(shè)計以及工藝制程和測試驗證平臺的搭建，正在開展第一代相位調(diào)制器的研制工作，預(yù)計在今年年底我們會推出第一代的液晶相位調(diào)制器，接下來開展焦面式顯示系統(tǒng)的整機研制。
從對比來看，玻璃基液晶相位調(diào)制器的尺寸各大，價格更低，解決了產(chǎn)業(yè)化瓶頸的問題。就VR/AR應(yīng)用場景而言，能夠解決觀看舒適度的問題，實現(xiàn)連續(xù)的三維深度、自然的焦點模糊，帶來最佳的體驗。此外，玻璃基液晶相位調(diào)制器在全息顯示、可編程衍射光學器件等領(lǐng)域也有廣闊的應(yīng)用前景。
三、聚合物分散液晶全息體光柵。
全息體光柵主要應(yīng)用于AR顯示。未來AR顯示技術(shù)的主流是光波導(dǎo)，光波導(dǎo)又可分為幾何光波導(dǎo)與衍射光波導(dǎo)，全息體光柵技術(shù)是衍射光波導(dǎo)領(lǐng)域的一項技術(shù)。
全息體光柵的技術(shù)核心首先是基礎(chǔ)材料。目前國內(nèi)在材料方面的技術(shù)與國外差距明顯，且受到了國外的技術(shù)封鎖，進口也有非常大的難度，是目前產(chǎn)業(yè)的一個瓶頸。
在這一領(lǐng)域，我們有兩個研發(fā)方向，一是突破基礎(chǔ)材料，研制高性能全息高分子材料，我們建立了液晶材料實驗室以及全息體光柵實驗室正在攻克相關(guān)技術(shù)；二是突破基于全息高分子材料的全息體光柵關(guān)鍵制程工藝，實現(xiàn)批量生產(chǎn)，我們對標的是國外最先進的復(fù)制生產(chǎn)工藝。
目前我們已經(jīng)自主研制出了全息高分子材料，從光學參數(shù)來看，它在調(diào)制折射率、調(diào)制度方面已經(jīng)比國內(nèi)現(xiàn)有材料有所領(lǐng)先。
我們的實驗室已經(jīng)初步完成了第一代全息體光柵的制備，未來性能還可以進一步提升，預(yù)計在部分指標上做到國內(nèi)領(lǐng)先，在部分指標上達到國際先進水平。
四、散斑結(jié)構(gòu)光實時三維重建技術(shù)與 RGB-D 相機。
基于散斑結(jié)構(gòu)光的三維信息獲取是三維傳感里較為普遍的應(yīng)用。在這項技術(shù)的基礎(chǔ)之上，我們開發(fā)了嵌入式3D相機，基于這一器件和算法，進一步延伸到三維重建技術(shù)，重點是三維稠密點云的重建。目前我們已經(jīng)研發(fā)了第二代RGB-D相機，實際測試比微軟的Kinect以及英特爾的Real Sense在深度和深度圖的連續(xù)性方面都有比較明顯的優(yōu)勢。
這一塊，我們重點突出兩個特點，一是高幀率，我們研發(fā)的相機可以達到60FPS以上，目前我們實驗室里最高可以做到超過100FPS，比較適合VR中的互動，以及對運動物體的三維感知和重建。二是我們目前采用了基于FPGA的芯片，可以很快的根據(jù)用戶的場景需要，去定制對應(yīng)的技術(shù)指標。
RGB-D相機的應(yīng)用場景也有很多，除了VR里的交互、建模，還包括了3D視頻會議、機器人導(dǎo)航以及更多的工業(yè)應(yīng)用。
五、眼動追蹤技術(shù)。
眼動追蹤解決的是眼睛在看哪里、往哪兒看、怎么看的問題，從而主動獲取人對世界的感知信息，然后基于視覺信息的獲取來去進行視覺的交互和視覺行為的判斷。我們在這一領(lǐng)域的研發(fā)，重點解決面向VR頭顯的眼動追蹤技術(shù)，實現(xiàn)在VR設(shè)備中眼動追蹤與動態(tài)變焦顯示和渲染優(yōu)化的集成，為VR基于眼動追蹤的體驗優(yōu)化提供一體化的技術(shù)支撐。
其中的重點包括變焦顯示、注釋點渲染和視覺交互三個方面。
我們目前的研發(fā)重點一是眼動追蹤模組，二是算法。在眼動追蹤模組方面，我們完全采用自主設(shè)計，用基于視頻的方式實現(xiàn)眼動追蹤，并對器件的小型化、可靠性、功耗，以及紅外光的安全度方面，都參照業(yè)界的標準做了很多的優(yōu)化；在眼動追蹤器件與VR/AR頭顯的集成度方面，我們也針對業(yè)界現(xiàn)有的頭顯形態(tài)做了優(yōu)化設(shè)計；算法方面，穩(wěn)定性以及可遷移性較好，適用于多種頭顯硬件平臺。
針對VR/AR的應(yīng)用，我們有兩方面的布局，首先是解決VR頭顯的眼動追蹤能力，目前我們提出了三種技術(shù)路線，可以適配多種頭顯。
第一是內(nèi)部反射式，可以適配于像HTC Vive這樣的VR頭顯。
第二是針對Pancake超短焦顯示方案的外部直射式。
第三是針對大視場角的方案。
六、面向VR/AR的手勢追蹤技術(shù)與系統(tǒng)。
手勢交互是自然交互的一個重要形態(tài)。在這一領(lǐng)域，我們重點做三大技術(shù)，一是手勢姿態(tài)的采集和標注；二是手勢追蹤與識別；三是建立3D手勢姿態(tài)數(shù)據(jù)庫，給手勢交互技術(shù)開發(fā)以核心數(shù)據(jù)支撐。
深度學習是各個領(lǐng)域所使用的通用工具，在手勢追蹤領(lǐng)域，也是以深度學習作為一個主流的研發(fā)方向，它的痛點是必須要有大量的高精度數(shù)據(jù)來對模型進行訓練，才能得到好的結(jié)果?，F(xiàn)階段國內(nèi)缺少這樣的數(shù)據(jù)庫，一些開源數(shù)據(jù)集的數(shù)據(jù)量和精度不達標，只能做一些實驗性的工作。3D手勢姿態(tài)數(shù)據(jù)庫能夠給手勢交互技術(shù)開發(fā)以核心數(shù)據(jù)支撐。
所以在手勢追蹤領(lǐng)域，我們重點解決三個問題。
第一是手勢追蹤系統(tǒng)，也就是我們的最終目標，第二是如何獲取數(shù)據(jù)，第三是3D手勢姿態(tài)的自動標注，這三點相互關(guān)聯(lián)。在實際工作中，第一步需要拿到大量的數(shù)據(jù)，我們大規(guī)模的采集3D手勢數(shù)據(jù)，計劃完成不少于20萬張高精度的數(shù)據(jù)圖，然后基于數(shù)據(jù)的處理研發(fā)一套自動化的標注工具，最后再在這一基礎(chǔ)上實現(xiàn)手勢追蹤算法。
具體到算法方面，我們已經(jīng)針對不同的相機驗證了一些手勢追蹤方案，第一是基于彩色相機的追蹤方案，可以實時控制虛擬手。第二是基于灰度相機/深度相機的實時追蹤方案。將來，我們可以將手勢追蹤傳感器與三維重建傳感器集成到一套設(shè)備中，實現(xiàn)一體化的手勢追蹤解決方案。
手勢追蹤的主要技術(shù)指標，是能夠追蹤21個手指關(guān)節(jié)的關(guān)鍵點，獲取它們在空間的深度信息，然后進行實時追蹤，控制虛擬手。在具體的指標方面，我們重點關(guān)注微手勢操作的指標，例如點、拿、捏這樣在VR/AR中使用較多的動作；還有一些關(guān)鍵手指，例如拇指和食指的追蹤精度。
七、面向AR的三維可編輯投影系統(tǒng)。
面向AR的三維可編輯投影系統(tǒng)是我們面向內(nèi)容制作領(lǐng)域研發(fā)的內(nèi)容工具，也是一套完整的系統(tǒng)。它包括兩塊，一個是內(nèi)容創(chuàng)作，二是 AR內(nèi)容的投影。
形式上來說，它類似于燈光秀，是一個比較小型的裝置，適用于室內(nèi)小場景和小物體的投影與增強。它的特點是基于三維傳感獲取物體表面較精準的3D信息，也就是說物體表面的凹凸深淺不同都可以捕捉到，配合可以做到像素級編輯的內(nèi)容制作工作，從而完成精細的作品，實現(xiàn)非常逼真的投影效果。
這套內(nèi)容制作工作，被我們稱為光輝AR投影編輯系統(tǒng)，擁有PS等平面設(shè)計工具經(jīng)驗的人都能夠輕松的上手。工具內(nèi)包括了自動選取、特效、實時視頻導(dǎo)入等功能，也擁有時間軸的編輯與控制功能。從創(chuàng)作的角度來說，它是一款能夠提高很多生產(chǎn)力的工具。
這是我們在實驗室做的靜物增強投影以及在動態(tài)旋轉(zhuǎn)體上的投影，在不同的時間實際上看到的投影是不一樣的。
這一系統(tǒng)可以用于文物展示、科技展示、產(chǎn)品展示等領(lǐng)域，作為一種展覽展示的方案，還能夠提供一些交互與互動。
以上是我們目前在做的一些工作，涉及到交互、光學、器件、材料等各個方面，也將和產(chǎn)業(yè)界的諸多同行有大量交叉和合作的機會，希望我們能與業(yè)界同仁們一起攜手共進，共同創(chuàng)新，共創(chuàng)虛擬現(xiàn)實新局面，謝謝大家！
