“在虛擬現(xiàn)實環(huán)境下寫作”,Meta Quest Pro眼動追蹤功能揭秘

?? 由 文心大模型 生成的文章摘要

Meta Quest Pro開辟了新的可能性,一位開發(fā)者演示了如何基于Quest Pro眼動追蹤功能在虛擬現(xiàn)實環(huán)境下寫作。

在YouTube和其他頻道發(fā)布的一段視頻里,iOS開發(fā)者和XR愛好者Fabio Dela Antonio演示了一項Quest Pro眼動追蹤實驗,隨著Antonio的目光掃過虛擬鍵盤上的每個鍵?!癏ello World”赫然顯現(xiàn),不僅如此,Antonio還能通過眼動追蹤來選擇角色。

只要視線停留在虛擬鍵上半秒鐘,就能產(chǎn)生輸入,而這一切Antonio僅需通過眼睛就能完成,

在視頻中,Antonio特意將雙手放在身前,以證明他沒有偷偷在用鍵盤打字。

“Blipping”不是鍵盤的替代品

盡管眼動打字或“眨眼”打字的想法很不錯,但它不太可能取代物理打字,因為這樣打字太費時了,例如,Antonio輸入“Hello World”花費了12秒。

倘若通過手柄按鍵進行輸入確認,可能會加速輸入速度,然而,這種方法也將會遇到一種問題:那就是打字必須時刻盯著鍵盤,然而,對于當(dāng)今的鍵盤俠而言,盲打已是一項基本技能。

盡管如此,眼動追蹤功能仍然有用。例如,作為VR手柄和虛擬激光指示器進行更繁瑣輸入的替代方法,該功能是Quest 2和Pro的標準輸入法。

另外,對于殘障人士而言,將能受益于眼動輸入功能,對此,Antonio希望Meta能為Quest Pro帶來更多這樣的輔助功能。

長久以來,在VR和AR中高效打字是一個尚未解決的問題,除了上面提到的激光筆方法,Quest 2 & Pro用戶還可以選擇將物理鍵盤帶入VR,但這只能部分解決問題。畢竟,我們希望有一天能夠體驗無鍵盤輸入,例如,借助可將任何表面變成鍵盤的腕帶。

為此,Meta開發(fā)了一種支持AI的手指追蹤鍵盤,并演示了一種名為“Pinchtype”的系統(tǒng),該系統(tǒng)輸入來自捏合手勢,這種方法無疑是創(chuàng)新的,但需要實踐。

說到AI,智能手機上的Slide-To-Type系統(tǒng)則可以簡化和加快Antonio的注視控制打字,基于這個系統(tǒng),你可將手指在需要輸入的鍵盤字母上停頓,AI模型便會猜測要輸入的單詞,在這種情況下,用戶的眼睛在字母序列上停留即能生成輸入效果。

現(xiàn)在,你可從Github下載Antonio演示原型并通過Sidequest (Guide)安裝至Quest Pro進行體驗。

來源:Mixed

「93913原創(chuàng)內(nèi)容,轉(zhuǎn)載請注明出處」