研究人員基于VR手柄攝像頭組建全身追蹤解決方案“ControllerPose”

?? 由 文心大模型 生成的文章摘要

據(jù)UploadVR報道,美國卡內(nèi)基梅隆大學(xué)研究人員基于VR手柄攝像頭建立了身體追蹤系統(tǒng)。

如今,消費者VR系統(tǒng)只能追蹤用戶頭部和手部位置,市場上還沒有可追蹤用戶軀體或四肢的追蹤系統(tǒng),為解決追蹤問題,PCVR玩家便基于HTC Vive Trackers以連接身體腰臀部和腳部搭建全身追蹤系統(tǒng),但由于Vive Trackers單個售價139美元,且如果用戶沒有配置SteamVR基站,則總搭建費用超過700美元;另外,還有一些非官方的身體追蹤解決方案采用舊硬件和自制驅(qū)動程序,例如微軟Kinect,則只能從前置角度工作,且追蹤質(zhì)量不是很好。

從理論上講,頭顯指向身體的額外攝像頭可以追蹤四肢,但腿部視野通常會被軀體或手臂遮擋,特別是在頭顯越來越輕薄的時下,而像Meta這樣的大廠也可以通過發(fā)布整合了攝像頭、電池和集成計算機視覺算法移動芯片組的無線外部跟蹤站,但很明顯,讓用戶購買和設(shè)置如此昂貴的追蹤配件并不現(xiàn)實。

而“ControllerPose”則是一個全身追蹤原型解決方案,其基于兩個與VR手柄連接的魚眼攝像頭進(jìn)行身體追蹤,該軟件可將兩個攝像頭拍攝的視圖拼接,以實現(xiàn)更寬廣視野,盡可能實現(xiàn)全身追蹤,研究人員表示,身體追蹤可精確到8.59厘米以內(nèi)。

為了解決攝像頭追蹤問題,研究人員嘗試了兩種方法:將數(shù)據(jù)流式傳輸?shù)礁浇黀C,以及基于Raspberry Pi Compute Module 4和Google Coral進(jìn)行處理,而通過PC(或VR一體機)搭建追蹤系統(tǒng)相對便宜,但板載處理則會降低延遲。

去年9月,泄露的Project Cambria手柄圖顯示手柄擁有三個板載攝像頭(支持inside-out?追蹤),同時泄露的教程視頻也確認(rèn)了身體追蹤的可行性,由此預(yù)見,Project Cambria或未來Meta頭顯可能都將采用類似于“ControllerPose”的解決方案進(jìn)行身體追蹤。

研究人員稱,“ControllerPose”的缺點是,“有32%的操控時間處于視野盲區(qū)”,未來,手柄或頭顯都將搭載支持全身追蹤的集成攝像頭,但似乎只有外部解決方案才能實現(xiàn)完全可靠身體追蹤,更為重要的是,該解決方案的市場前景如何,也需要時間證明。

「93913原創(chuàng)內(nèi)容,轉(zhuǎn)載請注明出處」