Apple Vision Pro引入了全新的應(yīng)用手勢控制方式,而種種跡象表明,蘋果似乎有意將這一創(chuàng)新交互拓展至其旗下所有設(shè)備的操控之中。?
在Apple Vision Pro問世之前,對著電腦做手勢常被視作不禮貌之舉。但隨著Apple Vision Pro 的發(fā)布,蘋果推出了一系列豐富且實用的手勢操作,涵蓋移動窗口、調(diào)整文檔大小等功能。這些手勢堪稱Apple Vision Pro搭載的visionOS系統(tǒng)中最為精妙的設(shè)計元素之一,其完整性令人贊嘆不已。?
這套手勢系統(tǒng)極為完善,一旦體驗,你便會驚嘆于其操作的自然流暢,甚至難以想象還有其他更優(yōu)的交互方式,其新穎性可見一斑。一項新近獲批的專利顯示,蘋果對這些手勢同樣青睞有加。名為“使用光標與三維環(huán)境交互的設(shè)備、方法和圖形用戶界面”的專利,核心聚焦于將這些手勢應(yīng)用到更多設(shè)備上。事實上,蘋果早在2009年就提交過類似專利申請,不過此次申請得益于Apple Vision Pro手勢識別技術(shù)的巨大成功。?
專利申請文件開篇便是示意圖與圖表,其中36幅與Apple Vision Pro緊密相關(guān),甚至還提供了頭顯的組件分解圖,種種細節(jié)表明,蘋果正深入探索Apple Vision Pro識別用戶手勢,并將其傳輸至Mac或其他使用設(shè)備的技術(shù)路徑。然而,文件中也有簡筆畫描繪出用戶手持普通 iPad,或是站在帶顯示器的老式塔式電腦前操作的場景,且在這兩種情形下,用戶均未佩戴頭顯。?
蘋果指出,這項專利適用于“提供計算機生成體驗的設(shè)備,包括但不限于通過顯示器呈現(xiàn)虛擬現(xiàn)實和混合現(xiàn)實體驗的電子設(shè)備”。允許用戶自主選擇是否使用,這一設(shè)定十分合理。當下,iPad和iPhone均配備了可掃描全臉的Face ID傳感器,使其具備檢測面前揮手動作的能力。?
蘋果已將Face ID傳感器的應(yīng)用拓展至生物識別解鎖設(shè)備之外的領(lǐng)域。在iOS 18系統(tǒng)中,用戶只需注視iPhone,即可借助這些傳感器輕松操控設(shè)備。?
這項新專利著重于正確識別手勢所需的步驟,并致力于排除誤報,比如有人抓鼻子這類動作。舉例來說,當系統(tǒng)“判定相應(yīng)手部移動滿足第一組標準”時,該手勢便能引導(dǎo)設(shè)備 “依據(jù)相應(yīng)手部移動改變光標的位置”。
反之,如果同一系統(tǒng)判定該手勢不滿足一組標準,則會忽略此動作。由于這是一項專利,其對用途的描述較為簡略,因為專利通常很少涉及具體用例。不過,這項專利相較大多數(shù)專利而言更為繁復(fù),它單獨闡述了所有手勢的判定過程,以及從光標移動到窗口操作的不同結(jié)果。
盡管該專利幾乎未明確暗示其應(yīng)用方向,但一旦蘋果實施這項專利,將帶來一個顯而易見的成果——公司一直以來表示,出于人體工程學(xué)考量,不會在Mac上配備觸摸屏,因為頻繁抬手觸摸屏幕對用戶身體不利。有了這項技術(shù),用戶無需觸摸屏幕,僅通過揮手就能指示文檔的操作,為Mac操作交互帶來全新變革。
美國專利局公開了蘋果一項專利申請,該申請聚焦于可用于確定兩種生理信號的電極。從專利內(nèi)容來看,其描述的是一種更為進階的AssistiveTouch系統(tǒng),其中手勢支持可與HMD、Mac、Apple TV等設(shè)備協(xié)同使用。?
在計算系統(tǒng)中,可通過多種輸入方式執(zhí)行操作,諸如按鈕或按鍵、鼠標、軌跡球、操縱桿、觸摸傳感器面板、觸摸屏等。除此之外,還存在其他類型的輸入形式,像音頻輸入(例如語音指令)、加速度計輸入(例如設(shè)備運動、搖動等)以及用戶手勢。
具體而言,個體的物理運動,比如眼神注視、身體動作等,可在一段時間內(nèi)被檢測與追蹤,作為計算系統(tǒng)的輸入信息。?
手勢尤其能夠借助觸摸感應(yīng)面板中的觸摸或接近傳感器來進行檢測。不過,這些傳感器的檢測范圍通常較為有限,所以手勢必須在靠近面板的位置執(zhí)行。?
部分計算系統(tǒng)會包含用于檢測系統(tǒng)用戶心臟特征的電路。若試圖集成除檢測心臟特征之外還能感測手勢的電路,往往需要制造復(fù)雜且笨重的計算系統(tǒng)。?
蘋果專利所列舉的例子涉及可在設(shè)備背面構(gòu)建的電極,該電極既能被配置用于檢測設(shè)備用戶手部的姿勢與運動,也可被設(shè)置用來檢測用戶的心跳。這一技術(shù)有望在Apple Watch上得以實現(xiàn),未來或許還能應(yīng)用于健身追蹤器。?
在一些示例中,設(shè)備能夠配置傳感電路,通過測量電極來檢測肌電圖(EMG)信號,這是肌肉收縮時產(chǎn)生的電活動。在部分示例里,設(shè)備會配置電極,以檢測由用戶前臂、手腕和 / 或手部的屈肌、伸肌以及肌腱活動所產(chǎn)生的EMG信號。EMG信號可被傳輸至腕戴式設(shè)備外殼內(nèi)的處理電路。?
這些EMG信號經(jīng)處理后,能夠識別手部運動,例如手部的屈曲、伸展、內(nèi)旋、外旋、橈偏、尺偏、手指捏合以及手指移動等動作,并識別與這些手部運動相關(guān)的手勢和/或姿勢。在某些示例中,設(shè)備可被配置為檢測心電圖(ECG)信號,也就是由用戶心臟悸動引發(fā)的電活動。?

據(jù)外媒Auganix報道,加拿大AR解決方案商Nextech AR Solutions宣布將于9月推出基于HoloLens2而開發(fā)的MR解決方案“HoloX”。
據(jù)悉HoloX是一款MR全息視圖應(yīng)用,該應(yīng)用支持用戶通過手勢、眼球追蹤功能進行UI操控、導(dǎo)航。
Nextech表示HoloX是其HoloLens計劃的一部分,這也是該公司AR創(chuàng)新實驗室推出的首款支持頭戴式頭顯的產(chǎn)品,除了微軟,Nextech還在積極尋找其他AR/MR頭顯廠商,以基于該解決方案構(gòu)建一個面向教育、醫(yī)療、軍事領(lǐng)域的沉浸式交互培訓(xùn)、協(xié)作平臺。
Nextech首席執(zhí)行官 Evan Gappelberg表示:“隨著Facebook、SNAP、蘋果、谷歌、聯(lián)想和微軟進軍AR行業(yè),未來全息視圖領(lǐng)域?qū)⒋笥锌蔀?,目前我們已與微軟取得合作,將全息視圖解決方案應(yīng)用于企業(yè)和政府部門,相信隨著沉浸式技術(shù)的快速發(fā)展,基于HoloLens2等AR/MR頭顯+HoloX的全息視圖解決方案將會得到廣泛運用?!?/p>
【913VR原創(chuàng)內(nèi)容,轉(zhuǎn)載請注明及回鏈】


