
“正如Mac把我們帶入個人計算時代,iPhone把我們帶入移動計算時代,那么Vision Pro將把我們帶入空間計算時代?!?/strong>
北京時間6月6日凌晨,隨著庫克話音落下,萬眾期待的Vision Pro正式登場,「空間計算(Spatial Computing)」新時代的大門也就此緩緩敞開。
作為蘋果7年磨一劍的首款空間計算設(shè)備,Vision Pro是一款在硬件和性能參數(shù)都拉滿的產(chǎn)品:雙自研芯片(M2+R1)、雙眼8K級超高解析度顯示系統(tǒng),以及12個攝像頭/5個傳感器。

但,Vision Pro的「意義與價值」,遠(yuǎn)不止于此——
蘋果的入局,在給陷入低潮期的XR行業(yè)帶來希望與曙光的同時,也指出了一條明路。
那么,蘋果這款七年磨一劍的Vision Pro,都有哪些設(shè)計巧思值得XR行業(yè)「抄作業(yè)」呢?
第一堂課:交互設(shè)計
對于任何終端設(shè)備而言,最核心要解決的就是人機(jī)交互的定義問題:PC如此,智能手機(jī)如此,XR設(shè)備亦如此。從Mac到iPhone,蘋果分別引領(lǐng)了PC時代和智能手機(jī)時代人機(jī)交互標(biāo)準(zhǔn)的建立與推廣,Vision Pro這一次又悄無聲息走在了空間計算時代交互的最前沿。

Vision Pro在交互設(shè)計上的理念完全可以稱之為開創(chuàng)性的,它完全擺脫了手柄或者其他控制器,只需動動眼睛(眼球追蹤)、手(手勢識別)以及嘴(語音交互),就讓用戶可以完成所有操控,自然、優(yōu)雅且可靠。

比如,要放大照片的某一個點,只需要盯住它,然后雙手往外一拉。

在這其中,扮演著類似「光標(biāo)」作用的是眼睛(視線),在交互體系中的優(yōu)先級非常高,以至于visionOS把所有的按鈕和窗口都設(shè)計成圓潤的;手則扮演類似「左/右鍵」的功能,實現(xiàn)確認(rèn)或者放大/縮小等功能。除此之外,還可以用語音喚起Siri,執(zhí)行打開應(yīng)用等操作。

眼球追蹤、手勢識別、語音交互等技術(shù)在人機(jī)交互領(lǐng)域已經(jīng)被研究了很多年,都不算什么多特別的黑科技,并且經(jīng)過多年的技術(shù)積累和改進(jìn),都比較成熟。
只不過,微軟、Meta、索尼等一直都是對這些技術(shù)進(jìn)行相對獨立地研究與應(yīng)用,蘋果是真正意義上將這些技術(shù)結(jié)合起來,做成一套最符合直覺的交互系統(tǒng),近乎完美的詮釋了什么叫空間交互“本應(yīng)如此”——無處不在,無縫銜接,極度絲滑。
蘋果Vision Pro這套最接近自然的交互系統(tǒng),與國內(nèi)眼球追蹤技術(shù)解決方案商七鑫易維所推崇的“眼手口”多模態(tài)自然交互體系不謀而合,三種交互技術(shù)之間既各展所長又互相彌補(bǔ),在實現(xiàn)更少學(xué)習(xí)成本的同時,更加符合人類交互習(xí)慣,幾乎肯定會成為空間計算時代標(biāo)配。
第二堂課:Optic ID
Optic ID,可以簡單理解成基于虹膜識別技術(shù)的安全認(rèn)證系統(tǒng)。
按照蘋果官方的說法,Optic ID除了用于解鎖設(shè)備,還可用于Apple Pay、Apple Store下載應(yīng)用以及密碼自動填充等,數(shù)據(jù)經(jīng)加密且不離開設(shè)備,也無法被任何App訪問。


關(guān)于Optic ID其實沒有太多可說的,實用、優(yōu)雅,注定會成為XR行業(yè)的標(biāo)配。事實上,將眼球追蹤與虹膜識別技術(shù)融合應(yīng)用的好處顯而易見——安全性進(jìn)一步提升的同時,實現(xiàn)了便捷的用戶管理。
此外,蘋果對用戶隱私安全的注重,也讓人們能夠更加放心的享受先進(jìn)的生物識別技術(shù)帶來的便利。從Touch ID到Face ID再到Optic ID,蘋果采用的生物識別技術(shù)在安全性上大幅度提升,例如Face ID的安全級別是Touch ID的20倍,虹膜識別更是被稱作目前生物識別技術(shù)中安全系數(shù)最高的識別方式。不過,也正是因為虹膜特征的唯一性極強(qiáng),如果無法妥善保管導(dǎo)致信息泄露將造成嚴(yán)重的后果——密碼可以更換,但生物信息幾乎無法替代。
蘋果M2芯片所提供的Secure Enclave安全隔區(qū)正是對Optic ID信息安全的強(qiáng)力保障。安全隔區(qū)是蘋果SoC上集成的獨立安全子系統(tǒng),自身擁有獨立的Boot ROM和AES引擎,為數(shù)據(jù)保護(hù)密鑰管理提供所有加密操作,并保持?jǐn)?shù)據(jù)保護(hù)的完整性(即使內(nèi)核已被破壞)。安全隔區(qū)還為加密靜態(tài)數(shù)據(jù)所需密鑰的安全生成和儲存提供了基礎(chǔ),通過特殊通道向AES引擎提供所需的密鑰材料,而不將此信息透露給應(yīng)用程序處理器(或CPU)或者整個操作系統(tǒng)。

值得一提的是,除了蘋果,國內(nèi)在眼球追蹤+虹膜識別方案上也早有布局:微信支付聯(lián)合七鑫易維開發(fā)的「XR虹膜識別&眼球追蹤」方案,已于前不久正式推出。據(jù)悉,通過定制化的虹膜&眼動圖像傳感器,兩種技術(shù)共用一套硬件系統(tǒng),可以最大可能的降低重量、體積、功耗以及成本,并在安全性、便捷性等方面相輔相成。
據(jù)了解,這套結(jié)合七鑫易維眼球追蹤算法+微信支付虹膜識別算法的軟硬件一體解決方案,已面向XR行業(yè)開放接入,感興趣的朋友可以多關(guān)注一下。
傳送門:虹膜識別&眼球追蹤創(chuàng)新融合XR開啟「刷眼」新時代

素材來源:七鑫易維官網(wǎng)
第三堂課:8K級顯示
蘋果之所以敢為天下先的選擇雙眼8K級的micro-OLED顯示方案(單眼像素數(shù)超過4K電視,總像素達(dá)到驚人的2300萬),一方面要歸功于Mac同款配置的M2芯片的強(qiáng)悍性能,以及R1完全承擔(dān)了實時傳感器的信號傳輸、處理等工作;另一方面,則要歸功于發(fā)布會上visionOS環(huán)節(jié)所重點提到的注視點渲染器(Foveated Renderer),這也是眼球追蹤技術(shù)的核心功能之一。


人眼在看東西時,并不是整個視野范圍都一樣清晰,而是中心點清晰,越往周邊越模糊。因此,在XR設(shè)備上渲染顯示圖像時,也并不需要整個畫面都同一解析度,而是正在注視的畫面中間的視覺“甜蜜點”最高,往周圍依次降低,通過這樣的方法,能大幅減少每幀畫面需要渲染的像素數(shù)量,這就是注視點渲染的原理。
根據(jù)索尼在GDC 2022上透露出的PSVR 2表現(xiàn)數(shù)據(jù):在開啟注視點渲染和眼球追蹤時,最多可以將GPU幀時間縮短3.6倍。這意味著,原本只能達(dá)到30多幀的內(nèi)容,在開啟眼球追蹤+注視點渲染后,就可以流暢跑到90幀,甚至更高。
不難想象,未來隨著XR設(shè)備視場角(FOV)的進(jìn)一步擴(kuò)大,中心渲染區(qū)占比將更小,眼球追蹤與注視點渲染技術(shù)能夠起到更明顯的降低芯片負(fù)載效果,進(jìn)一步彌合視網(wǎng)膜級渲染所需的算力缺口。
第四堂課:自動IPD(瞳距)調(diào)節(jié)
關(guān)于自動IPD調(diào)節(jié),蘋果官方并未公開提及,但如此重要且關(guān)乎用戶體驗的設(shè)計又怎會缺席?
具體來說,借助眼球追蹤技術(shù),只需長按數(shù)碼表冠(Digital Crown),Vision Pro就會快速、精準(zhǔn)地檢測用戶的IPD,并自動把鏡片調(diào)整到最佳位置。
至于實際效果如何,科技大V貪玩歌姬小寧子給出的體驗答案是,“最優(yōu)雅無痛,只需2秒”。

素材來源:B站UP主貪玩歌姬小寧子
自動IPD調(diào)節(jié)并非不可或缺,但相較于傳統(tǒng)的手動三檔式IPD調(diào)節(jié),通過眼球追蹤技術(shù)實現(xiàn)的自動IPD調(diào)節(jié)更加精準(zhǔn)、科學(xué),對于用戶體驗的提升是必要的。
第五堂課:EyeSight
沉浸于虛擬世界時如何“兼顧”現(xiàn)實世界?這可以說是困擾XR行業(yè)多年的一個老大難問題。EyeSight就是蘋果給出的答案,這大概也是Vision Pro與其他XR設(shè)備最大的不同。
EyeSight的邏輯并不復(fù)雜:通過面部跟蹤攝像頭和眼球追蹤攝像頭,Vision Pro可以精準(zhǔn)捕捉用戶的面部表情變化和眼睛動作,并顯示到外置屏幕上。

當(dāng)用戶使用Vision Pro時,外置屏幕會隱藏用戶的雙眼,并呈現(xiàn)光暈變換的效果,提示周圍的人用戶正沉浸于虛擬世界;當(dāng)有人出現(xiàn)在附近時,Vision Pro的外置屏幕會顯示用戶的面部表情變化和眼睛動作,讓周圍的人知道用戶已經(jīng)停止操作,并專心與他溝通。
EyeSight本質(zhì)上還是為了解決交互的問題——佩戴XR設(shè)備時與他人的交互。Vision Pro的實現(xiàn)方式有些簡單粗暴,但還算有效。至于是否會產(chǎn)生“恐怖谷”效應(yīng),這就因人而異,或者說“仁者見仁智者見智”了吧。
第六堂課:Persona
為了在Vision Pro中提供沉浸式FaceTime,讓視頻通話更有“面對面”交流的感覺,蘋果給用戶提供了一項名為Persona的功能。
具體來說,通過Vision Pro的前置攝像頭掃描用戶的面部信息,基于機(jī)器學(xué)習(xí)技術(shù),系統(tǒng)會使用先進(jìn)的編解碼神經(jīng)網(wǎng)絡(luò),快速構(gòu)建出一個接近于用戶本人的3D數(shù)字形象。

綜合發(fā)布會上的演示和來自媒體的體驗報告來看,這個3D數(shù)字形象可以動態(tài)模仿用戶的面部表情和手部動作,其他用戶可以從各個方位去觀察這個立體的3D數(shù)字形象,幾乎可以做到以假亂真。同時,結(jié)合眼球追蹤功能,可以在社交等多人交互的場景中更具真實感和沉浸感。但許多親身體驗過Vision Pro的自媒體博主都表示這個3D數(shù)字形象在某些時刻還是會讓人明顯感覺到這并不是真正的“人”,會有些許的“恐怖谷效應(yīng)”。
Persona遠(yuǎn)談不上完美,但大概也是當(dāng)下最好的解決方案了吧。
寫在最后
總結(jié)一下,不難發(fā)現(xiàn)上述“六堂課”其實都是指向用戶體驗,更進(jìn)一步講,都是“感知交互”的范疇——不管是人與機(jī)器,還是人與世界,充分彰顯了Vision Pro技術(shù)外殼下的人文內(nèi)核,而這也正是最值得XR行業(yè)思考和學(xué)習(xí)的。
所以,蘋果真正厲害的地方在于「想到」并且「做到」。就像前面提到的,在人機(jī)交互領(lǐng)域,眼球追蹤、手勢識別、語音交互等本身都不算多特別的黑科技,但直到Vision Pro出現(xiàn),才第一次將“眼手口”充分調(diào)動起來,并完整地應(yīng)用于人機(jī)交互,提供自然、無縫并且智能化的用戶體驗。
事實上,不僅Vision Pro,從iPhone到iPad,從Apple Watch到AirPods,無不如此。
「魔鬼都在細(xì)節(jié)里」,這樣的產(chǎn)品,又有誰會不愛呢?








