Meta和蘇黎世聯(lián)邦理工學院研究人員開發(fā)了一種名為TouchInsight的軟件系統(tǒng)，并稱該系統(tǒng)解決了將任意表面變成虛擬鍵盤的問題。

如今，VR和AR中的文本輸入非常繁瑣，而且速度比PC和智能手機慢得多。懸浮式虛擬鍵盤需要笨拙舉起雙手，然后慢慢一次按下一個鍵，且無法提供觸覺反饋，也無法讓手腕得到休息。Quest頭顯支持配對藍牙鍵盤以實現(xiàn)全速打字，但這意味著必須隨身攜帶比頭顯本身更大的單獨設備。

如果頭顯可以將任意平面變成虛擬鍵盤，那么將帶來部分觸覺反饋，讓用戶手腕得到休息，且無需隨身攜帶實體鍵盤。從技術上講，開發(fā)者已經(jīng)可以在Quest上構建表面鎖定的虛擬鍵盤，方法是使用手部追蹤并讓用戶點擊表面來校準其位置。但在實踐中，即使虛擬表面高度與真實表面有絲毫偏差，也會導致不可接受的錯誤率。

Meta去年展示了解決這一問題的研究成果，其首席技術官Andrew Bosworth表示，他的翻譯速度幾乎達到了每分鐘120個單詞（WPM）。但去年的解決方案似乎需要在桌子上放置一系列基準標記，這些標記可能充當了強大的動態(tài)校準系統(tǒng)。此外，Meta并未透露該系統(tǒng)的錯誤率。

而根據(jù)TouchInsight系統(tǒng)論文，六位研究人員表示，他們的新解決方案最高速度僅為70 WPM，平均速度為37 WPM。普通人在傳統(tǒng)鍵盤上的打字速度約為40 WPM，而專業(yè)打字員則根據(jù)其技能水平達到70至120 WPM。

至關重要的是，TouchInsight可兼容Quest 3，可放在任意桌子上，無需任何標記或外部硬件。雖然Meta沒有透露去年系統(tǒng)的錯誤率，但研究人員表示，TouchInsight的平均未校正錯誤率僅為2.9%。

“在本文中，我們提出了一種實時管道，可以檢測任何物理表面上十根手指的觸摸輸入，完全基于自我中心手部跟蹤。TouchInsight包含一個神經(jīng)網(wǎng)絡，用于預測觸摸事件的時刻、手指接觸和觸摸位置。TouchInsight通過雙變量高斯分布表示位置，以解決由于傳感不準確而導致的不確定性，我們通過上下文先驗來解決這些問題，以準確推斷用戶的預期輸入?！?/p>

不僅如此，TouchInsight還可以用于檢測手指在物理表面上的按壓，而不僅僅是打字。例如，研究人員表示，系統(tǒng)支持混合現(xiàn)實打地鼠游戲，玩家可以用手指壓扁小地鼠。

研究人員表示，將于下周在匹茲堡舉行ACM用戶界面軟件和技術研討會上演示TouchInsight。

目前尚不清楚Meta是否計劃近期將TouchInsight集成到Horizon OS。