美密歇根大學(xué)研發(fā)HandProxy系統(tǒng) 語音指令破解VR/AR操作難題

?? 由 文心大模型 生成的文章摘要

近日,美國密歇根大學(xué)一支科研團(tuán)隊宣布,成功開發(fā)出名為HandProxy的創(chuàng)新交互系統(tǒng)。該系統(tǒng)可讓用戶通過語音指令,在虛擬現(xiàn)實(VR)與增強(qiáng)現(xiàn)實(AR)環(huán)境中靈活操控虛擬手,不僅能完成抓取物體、調(diào)整窗口等基礎(chǔ)操作,還具備理解復(fù)合指令的能力,為VR/AR技術(shù)的實用化突破提供了新路徑。?

據(jù)科研團(tuán)隊介紹,HandProxy系統(tǒng)的核心創(chuàng)新在于重構(gòu)了VR/AR傳統(tǒng)交互邏輯。以往,用戶需依賴手柄或手勢追蹤設(shè)備操作,不僅受限于操作空間,還需雙手配合完成動作,在特定場景下存在明顯局限性。而HandProxy系統(tǒng)徹底改變這一模式——用戶只需通過自然語言下達(dá)指令,例如“抓取桌面左側(cè)的藍(lán)色文件,并將其拖入右上角的文件夾”,系統(tǒng)便能快速解析指令,驅(qū)動虛擬手連貫執(zhí)行整套動作,無需分步操作,大幅提升交互效率。?

更值得關(guān)注的是,該系統(tǒng)具備極強(qiáng)的兼容性與場景適配性。一方面,HandProxy可直接接入市面上大多數(shù)現(xiàn)有VR程序,無需開發(fā)者進(jìn)行額外適配開發(fā),極大降低了技術(shù)落地的門檻,用戶能在熟悉的應(yīng)用環(huán)境中快速啟用該功能;另一方面,系統(tǒng)精準(zhǔn)覆蓋“雙手無法直接操作”的三類核心場景:在空間受限的辦公隔間、交通工具內(nèi),用戶無需揮舞手柄即可操作;醫(yī)護(hù)人員操作醫(yī)療設(shè)備、工人手持工具維修時,可雙手專注本職工作,通過語音操控VR/AR設(shè)備查看數(shù)據(jù)或獲取指導(dǎo);對于存在手部運動障礙的用戶,該系統(tǒng)更打破了肢體控制的限制,僅靠語音就能流暢使用VR/AR設(shè)備,體現(xiàn)出技術(shù)的人文關(guān)懷。?

“HandProxy的研發(fā)初衷,是讓VR/AR技術(shù)擺脫‘小眾體驗’的標(biāo)簽,真正走向更廣泛的實用場景?!笨蒲袌F(tuán)隊負(fù)責(zé)人在接受采訪時表示,此前VR/AR技術(shù)多集中于游戲、娛樂領(lǐng)域,而HandProxy系統(tǒng)在醫(yī)療、工業(yè)、遠(yuǎn)程辦公等專業(yè)領(lǐng)域的應(yīng)用潛力,有望推動其從“娛樂工具”向“生產(chǎn)力工具”轉(zhuǎn)型。例如在醫(yī)療場景中,醫(yī)生可通過語音操控VR設(shè)備查看患者三維影像,同時雙手進(jìn)行手術(shù)準(zhǔn)備;在工業(yè)維修場景,工人可借助AR界面獲取設(shè)備圖紙,通過語音指令調(diào)整圖紙角度、標(biāo)記故障點,無需暫停手中維修工作。

「93913原創(chuàng)內(nèi)容,轉(zhuǎn)載請注明出處」