視覺SLAM,讓大朋E4的游戲體驗(yàn)再進(jìn)化

?? 由 文心大模型 生成的文章摘要

3DoF(三自由度)和6DoF(六自由度)定位之間的差距,可不是簡單地由“3”數(shù)到“6”。

當(dāng)頭顯采用3DoF定位時(shí),使用者只具備在X、Y、Z三軸上扭轉(zhuǎn)的才能,但無法下蹲、閃躲、大范圍行走,就像是一根不被放飛的竹蜻蜓,永遠(yuǎn)只能在手掌中肆意旋轉(zhuǎn)。

而6DoF定位就完全不同。頭顯除了具備3DoF的能力外,還具有在X、Y、Z三軸上移動的才能,幾乎能夠模仿一切的頭部靜態(tài)。

如今,市面上的主流XR產(chǎn)品,都已進(jìn)階6DoF,帶來了沉浸感更強(qiáng)、精度更高的虛擬交互體驗(yàn)。以大朋E4為例,頭部定位精度已達(dá)毫米級別,角度偏差小于0.2°;手柄定位精度位移偏差小于2毫米,角度偏差小于0.002°。

毫不夸張地說,由3DoF到6DoF,是XR產(chǎn)品們一次破繭成蝶般的質(zhì)變。

而這場質(zhì)變的功臣,便是最早應(yīng)用于潛艇、太空車等軍用領(lǐng)域的核心技術(shù)——SLAM。

視覺SLAM,VR頭部定位的關(guān)鍵技術(shù)

SLAM是Simultaneous localization and mapping縮寫,意為“同步定位與建圖”。

在VR/AR應(yīng)用中,頭顯在運(yùn)動過程中通過自身傳感器觀測周圍環(huán)境,并根據(jù)環(huán)境定位自身位置,再根據(jù)自身的位置進(jìn)行增量式的地圖構(gòu)建,從而達(dá)到同時(shí)定位和地圖構(gòu)建的目的。

SLAM的細(xì)分類別很多,應(yīng)用于XR領(lǐng)域的主要是“視覺SLAM”。視覺SLAM又可下分為“特征點(diǎn)法”、“直接法”等等。其中,“特征點(diǎn)法”相比之下計(jì)算量更小,運(yùn)行速度更快,定位、構(gòu)建延遲也就更小,體驗(yàn)更為流暢。

大朋E4便是采用的這種方法,并通過4個(gè)魚眼攝像頭(四目)對拍攝區(qū)域進(jìn)行特征點(diǎn)識別、采集后,整合反饋給SLAM系統(tǒng)的其他模塊,完成精準(zhǔn)定位。該過程的采集速率越高,采集到的特征點(diǎn)及各類數(shù)據(jù)就越多,建圖的速度和精確度就越高。

目前,大朋E4的攝像頭刷新率可達(dá)100FPS,相比之下,一體機(jī)的刷新率普遍在60FPS左右。原因在于E4作為PCVR,頭顯可以直接連電運(yùn)行,電壓足夠支撐大功率攝像頭,而一體機(jī)由于采用電池供電,攝像頭功率難以達(dá)到同等級別,采集速率也就偏低。

同時(shí),由于一體機(jī)的所有算法、應(yīng)用都在頭顯芯片中同時(shí)運(yùn)行,SLAM的運(yùn)算負(fù)荷又較大,難免會對用戶體驗(yàn)造成一定影響。

PCVR就少去了這部分煩惱。E4采用了PCVR獨(dú)有的分體機(jī)結(jié)構(gòu),使得SLAM算法的全部流程都可以在位于頭顯中的16核dsp芯片陣列內(nèi)完成,而PC端則負(fù)責(zé)運(yùn)行游戲應(yīng)用,互不打擾,游戲體驗(yàn)得到保障。

除此之外,E4還針對視覺SLAM存在的部分缺陷進(jìn)行了調(diào)節(jié)與優(yōu)化,以保障穩(wěn)定的定位效果。

打破弱紋理、暗環(huán)境限制,實(shí)現(xiàn)穩(wěn)定定位

其實(shí)E4剛發(fā)售時(shí),也有不少用戶也曾向大朋反饋過在純色環(huán)境(弱紋理)或是低光強(qiáng)環(huán)境下,頭部追蹤穩(wěn)定性和精準(zhǔn)度均有下滑。事實(shí)上,這也是采用視覺SLAM的XR產(chǎn)品共有的問題。

為此,大朋在幾次版本中不斷優(yōu)化相關(guān)算法,提升效果也是比較顯著的。目前,E4在弱紋理環(huán)境下(例如家庭中常見的純白色墻壁),也能夠完成質(zhì)量達(dá)標(biāo)的特征點(diǎn)采集;在光照方面,通過調(diào)整魚眼相機(jī)的采集算法,E4可在30lux以上的環(huán)境條件下,實(shí)現(xiàn)與正常亮度環(huán)境相近的定位精度。值得一提的是,隨著頭部追蹤、定位性能提升,配合長尾追蹤算法的優(yōu)化,手柄抖動情況也得到明顯好轉(zhuǎn)。

當(dāng)然,上述優(yōu)化并沒有完全達(dá)到彌補(bǔ)視覺SLAM缺陷的程度,如若想要追求最佳游玩體驗(yàn),最好在紋理豐富、光照強(qiáng)度適宜的環(huán)境中進(jìn)行游玩。

對性能的追求,向來是沒有上限的。大朋E4如今仍在通過一月一次的版本更新,針對定位、顯示、操作等等性能進(jìn)行優(yōu)化和調(diào)整,希望為玩家們帶來更優(yōu)質(zhì)的虛擬交互體驗(yàn),讓E4成為更多人的游戲VR首選。