
眾所周知,VR行業(yè)核心技術之一便是頭部與手部的6DoF追蹤定位。關于StarTraq方案攻克的難點,NOLO的技術負責人表示,隨著VR設備的越來越輕便,大量用戶愿意將其攜帶到室外使用,但目前市面上多數計算機視覺定位的VR設備在強光環(huán)境下都會遇到定位失效的問題,用戶使用效果大打折扣。
為了解決強光直射定位丟失的問題,NOLO采用高精度4目視覺追蹤+高精度慣性測量方案,通過AI算法模塊加持突破了強太陽光照射場景下的視覺追蹤難題。同時利用深度學習技術識別圖像中特定的物體,結合運動物體的先驗知識,可更好的去除潛在的動態(tài)區(qū)域,以保障用戶即使在強光照射環(huán)境下也可正常使用設備。
日常用戶使用中,另一個常見問題為:當手柄移出定位范圍后很容易丟失,一旦丟失回正的速度慢會導致延遲明顯。
針對這個問題,NOLO技術負責人表示:定位追蹤從技術上分為定位初始化階段和追蹤維持階段。目前雙目完成定位初始化,單目維持追蹤是主流的視覺定位方案。NOLO突破了單目視覺定位即可完成初始化的瓶頸,四顆Camera使手柄被定位FOV達到了水平250°,豎直210°。當手柄完全超出視覺傳感器的覆蓋范圍時,NOLO充分利用慣性測量+基于人體臂肘關節(jié)追蹤的運動預測,以保證手柄定位的長時穩(wěn)定流暢追蹤。
如果用戶在手柄超出定位FOV后,再次重新進入,得益于視覺和慣導定位以及NOLO對用戶使用行為習慣進行了大量的建模分析,可保證回正時間在毫秒級,即用戶基本無法感知到該部分的延遲。
經深度優(yōu)化,StarTraq具有良好的跨平臺可移植性,除了支持傳統的Qualcomm平臺外,還可應用于Rockchip等算力平臺,適配Android、Windows、Linux等各種操作系統。交互手柄NOLO M2可適配VR一體機、VR分體機、AR眼鏡等各種XR產品形態(tài)。同時,通過對無線通信進行了深度定制優(yōu)化,自動感知WiFi干擾自適應跳頻,NOLO M2手柄支持大空間多人同時使用6DoF交互。

與StarTraq同步推出的NOLO M2手柄除了搭載StarTraq定位技術,擁有出色的定位精度和極低的延遲外,手柄還可實現五指識別功能,即通過壓力傳感器識別手指運動,AI算法可在VR中準確模擬手部動作,為用戶提供完整的五指識別體驗。作為NOLO推出的手柄方案,NOLO M2交互手柄擁有更廣的有效頻寬,振感更加細膩逼真。自研的音頻轉震動算法,可以使開發(fā)者更方便地在游戲中調校觸覺反饋的功能,讓用戶可以享受到更多場景更豐富的振感效果。
得益于NOLO多年在XR交互領域的積累,StarTraq+NOLO M2手柄還開放支持對頭顯攝像頭布局SDK的調整,以便于更好的滿足客戶的功能定制和工業(yè)設計需求,幫助客戶快速推出整機產品。
作為以XR交互核心技術起家的NOLO,一直將給用戶提供多樣化的交互方案作為研究重點,從外向內的PolarTraq到內向外的SodarTraq,到裸手自然交互,再到今天推出的StarTraq技術。無一不見證了NOLO持續(xù)以用戶需求為準則,不斷為客戶帶來更沉浸逼真VR體驗的初心。
]]>