Meta和蘇黎世聯(lián)邦理工學(xué)院研究人員開發(fā)了一種名為TouchInsight的軟件系統(tǒng)，并稱該系統(tǒng)解決了將任意表面變成虛擬鍵盤的問題。

如今，VR和AR中的文本輸入非常繁瑣，而且速度比PC和智能手機(jī)慢得多。懸浮式虛擬鍵盤需要笨拙舉起雙手，然后慢慢一次按下一個(gè)鍵，且無法提供觸覺反饋，也無法讓手腕得到休息。Quest頭顯支持配對藍(lán)牙鍵盤以實(shí)現(xiàn)全速打字，但這意味著必須隨身攜帶比頭顯本身更大的單獨(dú)設(shè)備。

如果頭顯可以將任意平面變成虛擬鍵盤，那么將帶來部分觸覺反饋，讓用戶手腕得到休息，且無需隨身攜帶實(shí)體鍵盤。從技術(shù)上講，開發(fā)者已經(jīng)可以在Quest上構(gòu)建表面鎖定的虛擬鍵盤，方法是使用手部追蹤并讓用戶點(diǎn)擊表面來校準(zhǔn)其位置。但在實(shí)踐中，即使虛擬表面高度與真實(shí)表面有絲毫偏差，也會導(dǎo)致不可接受的錯(cuò)誤率。

Meta去年展示了解決這一問題的研究成果，其首席技術(shù)官Andrew Bosworth表示，他的翻譯速度幾乎達(dá)到了每分鐘120個(gè)單詞（WPM）。但去年的解決方案似乎需要在桌子上放置一系列基準(zhǔn)標(biāo)記，這些標(biāo)記可能充當(dāng)了強(qiáng)大的動態(tài)校準(zhǔn)系統(tǒng)。此外，Meta并未透露該系統(tǒng)的錯(cuò)誤率。

而根據(jù)TouchInsight系統(tǒng)論文，六位研究人員表示，他們的新解決方案最高速度僅為70 WPM，平均速度為37 WPM。普通人在傳統(tǒng)鍵盤上的打字速度約為40 WPM，而專業(yè)打字員則根據(jù)其技能水平達(dá)到70至120 WPM。

至關(guān)重要的是，TouchInsight可兼容Quest 3，可放在任意桌子上，無需任何標(biāo)記或外部硬件。雖然Meta沒有透露去年系統(tǒng)的錯(cuò)誤率，但研究人員表示，TouchInsight的平均未校正錯(cuò)誤率僅為2.9%。

“在本文中，我們提出了一種實(shí)時(shí)管道，可以檢測任何物理表面上十根手指的觸摸輸入，完全基于自我中心手部跟蹤。TouchInsight包含一個(gè)神經(jīng)網(wǎng)絡(luò)，用于預(yù)測觸摸事件的時(shí)刻、手指接觸和觸摸位置。TouchInsight通過雙變量高斯分布表示位置，以解決由于傳感不準(zhǔn)確而導(dǎo)致的不確定性，我們通過上下文先驗(yàn)來解決這些問題，以準(zhǔn)確推斷用戶的預(yù)期輸入。”

不僅如此，TouchInsight還可以用于檢測手指在物理表面上的按壓，而不僅僅是打字。例如，研究人員表示，系統(tǒng)支持混合現(xiàn)實(shí)打地鼠游戲，玩家可以用手指壓扁小地鼠。

研究人員表示，將于下周在匹茲堡舉行ACM用戶界面軟件和技術(shù)研討會上演示TouchInsight。

目前尚不清楚Meta是否計(jì)劃近期將TouchInsight集成到Horizon OS。