近日，4DV AI帶來令人矚目的技術(shù)突破，推出基于20個(gè)攝像機(jī)視圖創(chuàng)建的體積6DoF（六自由度）視頻的WebXR演示。用戶只需擁有VR頭顯，即刻便能踏入這場沉浸式的視覺盛宴，感受前沿科技帶來的震撼體驗(yàn)。

4DV AI的技術(shù)之所以能實(shí)現(xiàn)如此驚艷的效果，核心在于其采用的高斯濺射技術(shù)。這項(xiàng)技術(shù)巧妙借助機(jī)器學(xué)習(xí)領(lǐng)域的最新成果，如同一位技藝精湛的“數(shù)字雕刻家”，能夠從普通的視頻輸入中“訓(xùn)練”出逼真的體積輸出。

在當(dāng)下的科技發(fā)展浪潮中，高斯濺射技術(shù)對于逼真體積渲染的意義，絲毫不亞于大型語言模型（LLM）之于聊天機(jī)器人——它正推動著相關(guān)技術(shù)走出高成本、小范圍應(yīng)用的困境，逐漸融入大眾視野。從高端專業(yè)設(shè)備Varjo Teleport，到面向大眾的Niantic Scaniverse，高斯濺射技術(shù)的身影無處不在，正加速著體積渲染技術(shù)的普及與革新。?

與此前同類技術(shù)相比，4DV AI的優(yōu)勢極為顯著。以Gracia為例，去年其發(fā)布的移動飛濺演示雖然引發(fā)關(guān)注，但其系統(tǒng)訓(xùn)練一幀圖像竟需漫長的六分鐘，這無疑極大限制了應(yīng)用場景和效率。反觀4DV AI，其研究論文中明確指出，技術(shù)速度實(shí)現(xiàn)了質(zhì)的飛躍，達(dá)到Gracia的30倍之多，能夠在相同的六分鐘內(nèi)，完成整整一秒視頻的訓(xùn)練。不僅如此，在拍攝場景搭建方面，二者也存在巨大差異。

Gracia的場景搭建堪稱“豪華配置”，需要使用昂貴且笨重的攝影棚，數(shù)十臺攝像機(jī)圍繞拍攝對象呈球形排列，如此復(fù)雜的設(shè)置不僅成本高昂，而且拍攝過程中幾乎難以納入完整背景。4DV AI則另辟蹊徑，僅需約20臺普通攝像機(jī)，在場景一側(cè)捕捉整個(gè)正面弧線即可完成拍攝。雖然這尚未達(dá)到傻瓜相機(jī)般簡單易用的程度，但對于專業(yè)攝影師而言，搭建這樣的拍攝方案已是相對輕松便捷。?

在數(shù)據(jù)處理效率方面，4DV AI同樣表現(xiàn)亮眼。其每秒鏡頭的數(shù)據(jù)量約為12.5兆字節(jié)，這意味著在每秒100兆比特的互聯(lián)網(wǎng)連接條件下，理論上每秒鏡頭僅需一秒的加載時(shí)間，極大減少了用戶等待時(shí)長，讓流暢的沉浸式體驗(yàn)不再是空想。?

進(jìn)入4DV AI的WebXR演示，用戶仿若置身于一段獨(dú)特的180°3D視頻之中。與傳統(tǒng)視頻不同的是，這段視頻具備6DoF特性，用戶可以自由傾斜身體，場景會根據(jù)視角變化做出自然響應(yīng)，不會出現(xiàn)如同固定在頭上般的生硬移動，仿佛真正置身于立體的虛擬世界。不過需要注意的是，當(dāng)用戶遠(yuǎn)離攝像頭重疊的中心區(qū)域，尤其是進(jìn)入完全遮擋的區(qū)域時(shí)，畫面可能會出現(xiàn)模糊和偽影。盡管目前的重建效果尚未達(dá)到盡善盡美，但相較于傳統(tǒng)的沉浸式視頻，這種自由傾斜視角的能力已然是一次重大突破，為用戶帶來了前所未有的交互體驗(yàn)。?

想要親自體驗(yàn)4DV AI的WebXR演示十分便捷。無論是使用Quest、PICO、Apple Vision Pro等獨(dú)立頭顯，在其自帶的網(wǎng)絡(luò)瀏覽器中打開；還是通過支持WebXR的瀏覽器，如Chrome，在PC VR設(shè)備上開啟，都能輕松實(shí)現(xiàn)。演示內(nèi)容豐富多樣，包含八個(gè)10秒的精彩片段，還有一些精心設(shè)計(jì)的靜態(tài)場景。即便暫時(shí)沒有VR頭顯，也能通過平面屏幕觀看所有場景，同樣能領(lǐng)略到4DV AI技術(shù)的魅力。?

從實(shí)際體驗(yàn)來看，在Apple Vision Pro和PC VR設(shè)備上，演示運(yùn)行相對流暢，畫面抖動較小，能夠?yàn)橛脩魩磔^為舒適的沉浸式體驗(yàn)。而在Quest3設(shè)備上，部分用戶可能會遇到屏幕空間偽影和較為嚴(yán)重的性能問題。由此可見，不同設(shè)備上的體驗(yàn)會有所差異，用戶可以根據(jù)自身設(shè)備情況，感受4DV AI技術(shù)帶來的獨(dú)特魅力。

然而，雖然有傳統(tǒng)的點(diǎn)云、網(wǎng)格以及現(xiàn)在火熱的隱式輻射場（NeRF）等三維表征，但想將三維應(yīng)用在直播媒體層面卻尤為困難，原因在于三維產(chǎn)出的數(shù)據(jù)量遠(yuǎn)大于傳統(tǒng)直播鏈路，需要更高的帶寬以及特定的三維顯示設(shè)備來確保流暢的傳輸和播放。

面對這一挑戰(zhàn)，火山引擎多媒體實(shí)驗(yàn)室近期提出了一項(xiàng)突破性技術(shù)——可實(shí)時(shí)交互的自由視角視頻技術(shù)。這項(xiàng)技術(shù)通過鏈路革新，為三維直播媒體的發(fā)展貢獻(xiàn)了重要力量。2024年7月27日至8月1日，在美國科羅拉多州丹佛市舉辦的SIGGRAPH 2024的沉浸體驗(yàn)展館中，火山引擎多媒體實(shí)驗(yàn)室會展示這項(xiàng)最新的研究成果。

接下來，讓我們跟隨小編的步伐，揭開這項(xiàng)技術(shù)的面紗一探究竟：

首先火山引擎多媒體實(shí)驗(yàn)室使用稀疏的多同步相機(jī)陣列進(jìn)行光場采集，而面對高精度光場重建難題，實(shí)驗(yàn)室提出了基于三維人體先驗(yàn)的神經(jīng)輻射場技術(shù)。神經(jīng)輻射場（NeRF）技術(shù)是一種先進(jìn)的深度學(xué)習(xí)方法，能夠從多視角二維圖像中學(xué)習(xí)和重建三維場景的連續(xù)體積表示，并從任意視角渲染出逼真的三維視圖?？紤]到采集主體多以人物為主，可通過AI模型計(jì)算二維人體先驗(yàn)，再利用相機(jī)間位置關(guān)系投射到三維空間，從而形成了一個(gè)粗糙的人體可視外殼。通過訓(xùn)練階段將輻射場中的光線限制在可視外殼內(nèi)，可以得到更準(zhǔn)確的幾何表征，同時(shí)也抑制了人體外離群噪聲的出現(xiàn)。更重要的是，光線遍歷的范圍大幅減少，極大的降低了輻射場生成的時(shí)間。

其次是更為關(guān)鍵的問題——如何進(jìn)行三維內(nèi)容的傳輸和呈現(xiàn)。對此，多媒體實(shí)驗(yàn)室聯(lián)合視頻架構(gòu)直播團(tuán)隊(duì)，搭建了一條可實(shí)時(shí)交互的直播鏈路。這一鏈路不僅包括了高效的模型壓縮編碼傳輸，還實(shí)現(xiàn)了移動端側(cè)的快速解碼渲染。

直播鏈路流程圖如下所示：

可以看到，人物模型會首先被轉(zhuǎn)換為一系列多視角的視頻幀，隨后通過高效的聚合編碼技術(shù)，這些幀以離散化的視頻流形式被優(yōu)化壓縮，確保了與現(xiàn)行視頻編碼標(biāo)準(zhǔn)的完美對接。在移動設(shè)備端，實(shí)驗(yàn)室獨(dú)立研發(fā)的空間計(jì)算模塊能夠?qū)崟r(shí)捕捉用戶的視角和位置變化，迅速轉(zhuǎn)化為精確的切流指令，指導(dǎo)快速拉流模塊獲取并呈現(xiàn)相應(yīng)的視頻內(nèi)容。特別值得一提的是，直播技術(shù)團(tuán)隊(duì)開發(fā)了快速拉流算法，可以實(shí)現(xiàn)了低于100毫秒的超低延時(shí)切流，保障了視角轉(zhuǎn)換的無縫流暢，而空間計(jì)算技術(shù)除了加深用戶與三維視頻內(nèi)容的互動，還承載了三維場景與視頻內(nèi)容的融合，極大地增強(qiáng)了沉浸感，為用戶帶來了前所未有的觀看體驗(yàn)。

然而，三維只是人們獲取真實(shí)感的起點(diǎn)， 為了獲得更高維度的沉浸感，實(shí)驗(yàn)室聯(lián)合PICO硬件團(tuán)隊(duì)研發(fā)了一款力反饋模組，該模組主要通過雙通道的低延遲數(shù)據(jù)傳輸，震動頭部對應(yīng)位置以模擬作用力的反饋。觀看者的空間位置變化和裸手交互觸碰，都可以觸發(fā)力反饋機(jī)制，甚至是一個(gè)拳擊手的拳風(fēng)也可以設(shè)計(jì)觸發(fā)，身臨其境的感覺莫過如此。并且經(jīng)過主觀體驗(yàn)，小編發(fā)現(xiàn)該項(xiàng)反饋機(jī)制還能很大程度上緩解虛擬與現(xiàn)實(shí)感覺不匹配產(chǎn)生的VR眩暈問題！這是沉浸式體驗(yàn)的一大步！

此外，為進(jìn)一步降低使用多同步相機(jī)陣列進(jìn)行自由視角視頻生產(chǎn)的采集成本，團(tuán)隊(duì)也提出了一種可交互的單目3D視頻技術(shù)。對應(yīng)單目輸入的情況，通過基于編碼器-解碼器結(jié)構(gòu)的網(wǎng)絡(luò)高效估計(jì)2D視頻的深度信息，并進(jìn)一步重建為粗糙動態(tài)網(wǎng)格。然后，為了生成對應(yīng)6DoF觀看的正確視圖，團(tuán)隊(duì)實(shí)現(xiàn)了一種改進(jìn)的高性能的基于深度圖像的新視角渲染算法。一方面，粗糙動態(tài)網(wǎng)格在渲染過程中被用作約束以加速渲染速度并減少失真；另一方面，使用圖像修復(fù)算法消除由遮擋引起的空洞偽影。針對直播鏈路，團(tuán)隊(duì)提出了一種增強(qiáng)的全景/2D視頻格式，其中編碼了深度信息，使用高精度的非均勻量化方法進(jìn)行深度壓縮，以實(shí)現(xiàn)低延遲實(shí)時(shí)傳輸，帶寬為消費(fèi)級（15Mbps）。

火山引擎多媒體實(shí)驗(yàn)室的這一創(chuàng)新技術(shù)，無疑將為沉浸式視頻技術(shù)領(lǐng)域帶來新的變革，相信在不久的將來，隨著技術(shù)的不斷成熟和普及，將涌現(xiàn)出更多創(chuàng)新且沉浸的媒體表現(xiàn)形式，沉浸式媒體技術(shù)將不再局限于高端應(yīng)用，而是成為人們?nèi)粘Ｉ畹囊徊糠?。無論是在家中觀看電影，還是在虛擬空間中與朋友互動，都能夠享受到如同親臨其境的體驗(yàn)?；鹕揭娑嗝襟w實(shí)驗(yàn)室正不斷推進(jìn)這一愿景，致力于將沉浸式體驗(yàn)的邊界推向新的高度。我們邀請每一位用戶，與我們一同期待并見證這一激動人心的時(shí)刻——一個(gè)全新的媒體時(shí)代的到來！

火山引擎多媒體實(shí)驗(yàn)室是字節(jié)跳動旗下的研究團(tuán)隊(duì)，致力于探索多媒體領(lǐng)域的前沿技術(shù)，參與國際標(biāo)準(zhǔn)化工作，其眾多創(chuàng)新算法及軟硬件解決方案已經(jīng)廣泛應(yīng)用在抖音、西瓜視頻等產(chǎn)品的多媒體業(yè)務(wù)，并向火山引擎的企業(yè)級客戶提供技術(shù)服務(wù)。實(shí)驗(yàn)室成立以來，多篇論文入選國際頂會和旗艦期刊，并獲得數(shù)項(xiàng)國際級技術(shù)賽事冠軍、行業(yè)創(chuàng)新獎(jiǎng)及最佳論文獎(jiǎng)。

火山引擎是字節(jié)跳動旗下的云服務(wù)平臺，將字節(jié)跳動快速發(fā)展過程中積累的增長方法、技術(shù)能力和工具開放給外部企業(yè)，提供云基礎(chǔ)、視頻與內(nèi)容分發(fā)、大數(shù)據(jù)、人工智能、開發(fā)與運(yùn)維等服務(wù)，幫助企業(yè)在數(shù)字化升級中實(shí)現(xiàn)持續(xù)增長。

來源：字節(jié)跳動技術(shù)團(tuán)隊(duì)

相信很多人都曾有過偵探夢，想象著自己化身為聰明的名偵探福爾摩斯，披著風(fēng)衣，叼著煙斗，尋找嫌疑人留下的蛛絲馬跡，解開一個(gè)個(gè)復(fù)雜謎題，推理還原事實(shí)真相……如果你也曾擁有這樣的偵探夢，那這部由No Ghost制作并由James Castillo執(zhí)導(dǎo)的，結(jié)合了互動解謎、情感敘事、黑色電影、戲劇、探案推理、冒險(xiǎn)等諸多元素的6DoF交互VR動畫作品「黑色馬德里」就一定非看不可啦！

故事的主線即主人公羅拉意外地收到了多年來鮮有聯(lián)系的叔叔去世的消息，心灰意冷的她前往馬德里清理叔叔留下的公寓，看著公寓里塵封的老物件，羅拉勾起了許多曾經(jīng)的回憶，而困擾了羅拉多年的疑問也漸漸浮現(xiàn)出真相……而觀眾則化身羅拉的朋友，陪伴羅拉一同前往公寓，傾聽羅拉講述她兒時(shí)在叔叔家寄宿時(shí)經(jīng)歷的種種往事，并與羅拉不斷搜集零星的線索來拼湊出叔叔生前疑云密布的生活，解開一系列謎團(tuán)。

6DoF超高自由度，在電影中邊看邊玩

這部VR作品的一大特色便是其基于6DoF技術(shù)的高自由度交互觀賞形式。與我們以往觀看傳統(tǒng)2D影片的體驗(yàn)不同，在這部6DoF交互VR作品中，觀眾可以完全融入到劇情當(dāng)中。你可以在影片搭建的場景中隨意走動，四處查看，而且借助其高自由度的交互設(shè)計(jì)，你甚至可以與場景中的角色和物品進(jìn)行直接互動。作品完全可以讓觀眾相信——我就是這個(gè)故事當(dāng)中的一員，我就是羅拉的朋友，我正在幫助羅拉解開她叔叔的謎團(tuán)。而在傳統(tǒng)2D影片中，無論劇情如何引人入勝，觀眾也始終只能以一個(gè)局外人、旁觀者的身份去觀看電影，并不能與影片產(chǎn)生互動，在趣味性方面就遠(yuǎn)不及VR電影了。

例如，在陪同羅拉清理她叔叔的公寓時(shí)，你可以與羅拉進(jìn)行各種對話及交互，還可以通過控制器操控影片中的虛擬雙手打開臺燈、撿起并查看掉落在地板上的信件、拉開叔叔的抽屜翻看他留下的各種書籍、拿起叔叔留下的舊煙斗吸上幾口。在后續(xù)的劇情當(dāng)中，觀眾甚至還會化身為兒時(shí)回憶中的小羅拉，用相機(jī)偷拍叔叔與神秘人的“犯罪證據(jù)”、用手電筒在夜色中尋找躲避警察追捕的叔叔的身影等等……各種操作簡單但卻極具趣味性的交互設(shè)計(jì)讓我不知不覺就完全沉浸在了這部影片當(dāng)中，再加上影片精心選配的背景音樂，我竟一度忘卻了我只是在觀影，內(nèi)心甚至感受到一種強(qiáng)烈的緊張和興奮感，仿佛此刻我真的變成了一名偵探，在濃濃夜色籠罩下的神秘馬德里親眼見證了一場驚天犯罪案件。

電影進(jìn)度由你掌控，化身偵探解開犯罪謎團(tuán)

這部VR作品的另一特色便是觀眾可自由控制影片的時(shí)長，雖然官方給出的影片時(shí)長為42分鐘，但這只是一個(gè)參考時(shí)間長度而已，如果觀眾想認(rèn)真查看影片中所有可互動的物品，或者放慢推理進(jìn)度而認(rèn)真觀賞每一個(gè)場景和畫面的話，則完整體驗(yàn)可能在1小時(shí)都不止。這種看似是在看電影、但卻能實(shí)際操控電影的參與感，是普通2D電影所不具備的。影片的故事不再是已被設(shè)計(jì)好的固定情節(jié)，故事的進(jìn)度反而掌握在觀眾手中，如果你愿意，你也可以忽略影片中畫外音的劇情提示，在房間中四處走動，專心搜查各種蛛絲馬跡，依靠自己搜集的信息來解開重重謎團(tuán)。

精美畫面引人入勝，每一幀都值得截圖收藏

除了讓人印象深刻的交互設(shè)計(jì)以外，影片本身的制作也極其精美，無論是場景搭建、人物表情動作的流暢度、轉(zhuǎn)場動畫還是整體的色彩渲染，都完全打破了我對VR作品線條粗糙、穿模嚴(yán)重、畫面混亂的刻板印象，影片中的每一個(gè)細(xì)節(jié)都仿佛經(jīng)過了精心打磨，整場觀影體驗(yàn)都讓人感到身心愉悅。在觀影過程中，由于屢屢被電影中制作精美的畫面所吸引，我甚至要經(jīng)常暫停下來將畫面進(jìn)行截圖保存。

人物劇情設(shè)計(jì)飽滿，值得N刷的高口碑佳作

作品在人物設(shè)計(jì)上也非常用心，雖然影片大部分情節(jié)都以旁白形式敘述，但敘事風(fēng)格的代入感和沉浸感卻極強(qiáng)。影片中的每個(gè)人物都個(gè)性鮮明，如通過主人公羅拉的對話及行為演繹，就將其天真善良、古靈精怪、聰明伶俐的性格展現(xiàn)的淋漓盡致，甚至讓我感覺羅拉并不是影片當(dāng)中的動畫角色，而是現(xiàn)實(shí)世界中的一個(gè)真實(shí)人物。據(jù)電影制片人表示，經(jīng)常有觀眾下意識地與羅拉對話，因?yàn)樗麄冇X得太真實(shí)了。盡管只是一個(gè)卡通形象，但羅拉的角色的確極富人性，當(dāng)她與觀眾對視和互動時(shí)，很容易讓觀眾與她建立起心靈上的聯(lián)系。

隨著影片劇情推進(jìn)，事件真相也逐漸浮出水面，整個(gè)影片由前半段的緊張、刺激、神秘的氛圍轉(zhuǎn)變?yōu)闇剀暗母腥朔諊?，籠罩在馬德里上空多年的疑云終于散去，困擾羅拉多年的心結(jié)也終于打開。整部影片的劇情基本上沒有bug，情節(jié)完整，結(jié)局也完美填補(bǔ)了影片前半段挖的所有坑，拋開該影片所呈現(xiàn)出來的諸多技術(shù)特色不談，故事本身的劇情設(shè)計(jì)也非常優(yōu)秀，屬于那種看完之后會讓觀眾會心一笑的好故事。

舊日里，那些珍貴的小秘密是熠熠閃光的星星，總能照亮人生的夜空。通過揭開叔叔隱瞞的故事真相，讓觀眾讀懂了來自于親人的愛，也可以學(xué)會換一種眼光去看待世界。在這部充滿黑色電影元素、沉浸式和劇場式視角的切換、以戲劇手法呈現(xiàn)出來的VR作品中，觀眾可以酣暢淋漓地沉浸在充滿神秘和罪惡的黑色馬德里，在“第四堵墻”的界限中自由穿梭，在觀察者和親歷者的身份間來回切換，獲得一種獨(dú)一無二的體驗(yàn)和感受。

當(dāng)我摘下VR頭顯，回到現(xiàn)實(shí)里，竟還有些許不適應(yīng)的感覺，這也許就是沉浸觀影的魅力所在，讓人可以在這喧囂的現(xiàn)實(shí)世界之中，找到一方凈土，延伸出不同的情緒長度，體驗(yàn)不同的人生可能。

MetaReal Group的子公司MATRIX Inc.最近宣布，該公司已成功將基于人工智能自動生成的虛擬世界與該公司專有的引擎相結(jié)合，該引擎可將360度圖像轉(zhuǎn)換為六自由度圖像(6DoF)格式。

據(jù)該公司稱，其元宇宙先進(jìn)技術(shù)研究機(jī)構(gòu)Matrix Genesis Labs (MGL)已經(jīng)成功地整合了“Project GENESIS”(基于人工智能的元宇宙自動生成技術(shù))和“Project Dimensions”(該公司的6DoF運(yùn)動技術(shù))。

MATRIX表示，這意味著將實(shí)現(xiàn)在AI實(shí)時(shí)連續(xù)生成的無限虛擬空間中自由移動。

此外，據(jù)該公司稱，目前在使用AI自動生成的圖像時(shí)還存在圖像失真以及在轉(zhuǎn)換為虛擬空間時(shí)無法流暢轉(zhuǎn)換等問題。當(dāng)該公司的6DoF引擎將扭曲的圖像轉(zhuǎn)換為三維時(shí)，這些扭曲也會在三維中呈現(xiàn)，從而導(dǎo)致整個(gè)空間扭曲。

MATRIX指出，公司將繼續(xù)進(jìn)一步開發(fā)所涉及的技術(shù)，以解決上述失真問題。

目前，Project Genesis測試版已在該公司的現(xiàn)實(shí)元宇宙平臺DOKODEMO Door(https://dokodemodoors.com)上發(fā)布。

來源：auganix

據(jù)mixed報(bào)道，芬蘭屏幕測量系統(tǒng)制造商歐拓飛（Optofidelity）推出了6DoF VR/AR頭顯測試系統(tǒng)“Buddy”，基于機(jī)器人模型人頭及其專有視覺模塊，該系統(tǒng)可用于測試VR頭顯和AR眼鏡。

該系統(tǒng)高級版本支持6Do測試，顯而易見，“Buddy”被津津樂道的設(shè)計(jì)是能夠以完全自由運(yùn)動的方式檢測頭顯參數(shù)。

多軸使Buddy系統(tǒng)的測試多功能性成為可能，該框架在地板導(dǎo)軌上橫向滑動，圍繞其軸線旋轉(zhuǎn)，并升高和降低“模型人頭”，這模仿了頭顯用戶所執(zhí)行的自由運(yùn)動：前進(jìn)/后退、上/下、左/右、點(diǎn)頭、滾動和偏航（側(cè)向轉(zhuǎn)動）。

Buddy系統(tǒng)主要應(yīng)用領(lǐng)域?yàn)閂R/AR頭顯的開發(fā)部門和生產(chǎn)線。示例包括校準(zhǔn)、性能測試和檢查軟件內(nèi)容，除了清晰度或色彩保真度等圖像質(zhì)量因素，該追蹤系統(tǒng)還會檢測并發(fā)現(xiàn)偏差等問題。

制造商提供有關(guān)與測試系統(tǒng)兼容的所有VR頭顯信息，為了提高檢測效率，歐拓飛簡化了包括所有必要組件在內(nèi)的設(shè)置，Buddy系統(tǒng)甚至可以取代復(fù)雜的實(shí)驗(yàn)室。

此外，Buddy系統(tǒng)一個(gè)重要的指標(biāo)是“運(yùn)動到光子的延遲”，其測量頭部運(yùn)動與在虛擬世界中可見執(zhí)行之間的延遲，如果延遲太高，背景移動響應(yīng)久，這可能會觸發(fā)用戶惡心或降低沉浸感。

不僅如此，Buddy系統(tǒng)還可以檢測物體在頭部前方的穩(wěn)定性，由于采用了新穎的同步技術(shù)，現(xiàn)代和未來的屏幕技術(shù)也可保持可測量性，這可應(yīng)用于包括OLED，光場顯示器和基于投影的屏幕。

由趣立研發(fā)的6DoF一體機(jī)解決方案“騏驥”中已經(jīng)搭載最新的自然手勢識別系統(tǒng)，合作方可在系統(tǒng)中直接去調(diào)用此模塊最終完成自然手勢的識別任務(wù)。趣立科技也成為國內(nèi)VR行業(yè)首家擁有自然手勢識別產(chǎn)品化方案的公司，而全球目前也僅有Quest擁有該項(xiàng)技術(shù)。

基礎(chǔ)技術(shù)原理

【自然手勢識別】是基于計(jì)算機(jī)視覺和人工智能算法，對攝像機(jī)采集到的圖像中用戶手部區(qū)域進(jìn)行檢測和對其姿態(tài)進(jìn)行估計(jì)，從而得到全自由度自然手勢跟蹤的技術(shù)。?通俗地可對其拆分為3個(gè)步驟：第一要解決手在什么位置；第二、解決手是何種姿態(tài)；第三、識別手在做什么？前面兩項(xiàng)很多時(shí)候是放在一起做姿態(tài)預(yù)估，最后對動、靜態(tài)手勢做時(shí)間序列劃分，并完成最終的指令實(shí)現(xiàn)。

從硬件來說，目前市面上常見的手勢識別方案中所采用的檢測設(shè)備大致分為四類：純紅外攝像機(jī)、灰度攝像機(jī)、RGB攝像機(jī)及深度攝像機(jī)。

各方案都有比較明顯的優(yōu)劣勢，比如深度攝像機(jī)雖然可以根據(jù)深度信息較其他方法更簡單的獲取手部區(qū)域的位置和形狀，但FOV很小、幀率很低、成本高、功耗較大，而且目前VR一體機(jī)的現(xiàn)狀，手勢識別與SLAM的攝像頭需要做復(fù)用，而深度攝像頭很難拿來做SLAM算法，所以目前在XR的領(lǐng)域應(yīng)用場景中會有局限性。

紅外攝像機(jī)的原理是將模塊內(nèi)置紅外LED光源，光線反射回手勢識別模塊的紅外攝像頭中，實(shí)現(xiàn)基于光學(xué)數(shù)據(jù)的手勢識別。由于使用主動光源，所以它的環(huán)境適應(yīng)性好，也比較容易能檢測到手部區(qū)域，但是它同時(shí)會加大功耗，尤其是伴隨對手部使用范圍的增大，需要更多數(shù)量和更大功耗的紅外光，這對整體的ID設(shè)計(jì)以及成本都是非常大的挑戰(zhàn)。此方案比較知名的則是Leap?Motion。

針對灰度相機(jī)與RGB相機(jī)的方案，RGB相機(jī)由于能更好地將手和環(huán)境用顏色進(jìn)行區(qū)分所以具備較好的識別作用，但同樣也有FOV較小、幀率較低的問題。而灰度相機(jī)優(yōu)勢是FOV比較大、幀率高、覆蓋范圍大、適應(yīng)性強(qiáng)、且成本相對可控，缺點(diǎn)則是難度系數(shù)較高，因?yàn)樵诤诎谆业氖澜缰?，將手和?fù)雜的環(huán)境背景準(zhǔn)確快地剝離開，需要在算法方面下足功夫。

而趣立科技新的6DoF解決方案“騏驥”中，融合的則是根據(jù)現(xiàn)有一體機(jī)的灰度攝像頭進(jìn)行復(fù)用的方式。趣立科技依附集團(tuán)影創(chuàng)科技大背景，在算法實(shí)現(xiàn)上具有多年的經(jīng)驗(yàn)積累和沉淀。

此項(xiàng)手勢識別技術(shù)算法經(jīng)多期打磨調(diào)整，目前已達(dá)到通用狀態(tài)，算法框架可適用于任何的攝像機(jī)設(shè)備中，在未來產(chǎn)品中，新一代的VR一體機(jī)解決方案可能采用彩色RGB攝像機(jī)和灰度攝像機(jī)的搭配（彩色負(fù)責(zé)透視、灰度負(fù)責(zé)6DoF追蹤）。而自然手勢識別本質(zhì)依舊會采用基于6DoF的灰度攝像頭為主，彩色攝像頭作為輔助在識別過程中對手在與環(huán)境剝離時(shí)的精度進(jìn)行補(bǔ)充。

整個(gè)手勢識別技術(shù)比較難的是，手與面部、人體的識別不同，因?yàn)槭植繌?fù)雜度相對比較高、自遮擋嚴(yán)重，手部可以非?？斓囊苿硬⑶彝庥^可以在幾幀內(nèi)大幅變化。而目前“騏驥”解決方案中能做到準(zhǔn)確性高、低延遲是因?yàn)橐揽考瘓F(tuán)所屬搭建自研的數(shù)據(jù)深層采集和標(biāo)注平臺，基于平臺有非常多的參考數(shù)據(jù)，同時(shí)在深度模型的序列方面有自研成果，并沉淀了6年多的技術(shù)積累及龐大的數(shù)據(jù)參考值。

未來應(yīng)用場景

【C端互動娛樂】

手勢識別技術(shù)的發(fā)展能夠更好地拓寬內(nèi)容開發(fā)者的想象空間，在內(nèi)容創(chuàng)作時(shí)增加多重玩法及交互體驗(yàn)，比如在玩音游的時(shí)候可以直接用手來操作，或是在RPG游戲中一個(gè)特定手勢就可以實(shí)現(xiàn)魔法攻擊，甚至在未來一組手勢也能夠完成“火影忍者”里的結(jié)印。

【B端教育辦公】

B端的應(yīng)用場景則更廣泛。在智能辦公方面，隨著VR設(shè)備逐漸向辦公工具靠攏，自然手勢識別能更好地通過特定的放大縮小拖拽等手勢，完成匯報(bào)方案演講的展示，實(shí)現(xiàn)真正意義上的便攜式辦公環(huán)境；而教育教學(xué)中，也可更好的直接用手部識別技術(shù)完成教學(xué)課件的拆裝、組合等要求，更便捷有效地完成操作互動，相信未來隨著自然手勢識別的更進(jìn)一步發(fā)展，定能催生更多的應(yīng)用場景，同時(shí)還可以根據(jù)不同需求，量身定制專屬的解決方案。

未來趣立科技將融合影創(chuàng)總部多方資源，逐漸在其原有解決方案中集成更多的前驅(qū)技術(shù)，更好地服務(wù)上下游合作方，為其提供全方位綜合技術(shù)支持。

據(jù)UploadVR報(bào)道，一些Quest用戶收到了一封來自O(shè)culus@email.Oculusvr.com、標(biāo)題名為“Re: Holiday Drop Inquiry”的神秘郵件，有意思的是，該郵件被“包裝成DR.6DOF博士的內(nèi)部備忘錄”，Meta最終確認(rèn)，這是公司的營銷郵件。

郵件內(nèi)容透露，DR.6DOF博士一直在從事絕密工程實(shí)驗(yàn)項(xiàng)目，其建議在“Quest Day”期間展示全新Quest技術(shù)。

而BOSS的回復(fù)也很耐人尋味，BOSS表示是時(shí)候舉辦活動為Quest粉絲提供一些免費(fèi)配件啥的，那個(gè)一直在Realtty Labs“搗鼓”的家伙在哪，他能提供什么“好貨”嗎？

盡管這是一封營銷郵件，但Meta透露了以“6DOF”為核心的全新Quest技術(shù)以及潛在Quest假日活動的信息，預(yù)示Quest用戶將會收到驚喜大禮。

在11月17日舉辦的華為全場景智慧生活發(fā)布會上，“跳票”許久的HUAWEI VR Glass 6DoF游戲套裝終于發(fā)布了！

據(jù)了解，這套售價(jià)3999元的HUAWEI?VR Glass 6DoF游戲套裝包括一臺VR眼鏡（2019年10月發(fā)布，雙眼分辨率3200×1600，PPI 1058，90° FOV）和一套6DoF定位交互套件（包括視覺模組、游戲手柄以及手機(jī)散熱背夾）。單獨(dú)購買6DoF定位交互套件則是1999元。

考慮到目前電商平臺上華為VR眼鏡（HUAWEI VR Glass）不到700元就能買到，所以對于想要嘗鮮的用戶來說，單獨(dú)購買顯然是明智之舉。另外，需要指出的是，目前HUAWEI?VR Glass 6DoF游戲套裝僅支持鴻蒙OS 2.0.0.165及之后版本的華為手機(jī)和華為平板，具體適用支持機(jī)型如下：

「93913原創(chuàng)內(nèi)容，轉(zhuǎn)載請注明出處」