Pokémon GO讓AR和手游、街頭甚至社交相結合，僅僅是這幾個關鍵詞就足夠吸引人，再加上Pokémon 這一世紀大IP，好像不火反而沒道理。但是在手機上用長按→滑動的觸屏操作模擬“拋出”精靈球，將寶可夢收入其中……會不會有些略顯拘謹和中二？雖然國服還未開放，但是中國玩家對Pokémon GO的思考和想象并不少，Pokémon GO確實帶給我們很多驚喜，但是玩家最期待看到的不是技術最初級的樣子，而是將之與最適合的技術表現(xiàn)形式相結合，從情節(jié)設計和操作方式來看，VR/MR+手感操控能帶給我們更爽的體驗。

開腦洞容易，但實現(xiàn)呢？

微動和易瞳共同嘗試了VR和MR版Pokémon GO，寶可夢從手機屏幕中解禁，你可以抓住想要選擇的精靈球，在眼前調(diào)整角度瞄準后沖著寶可夢拋出。如果你遇到的是一只剛烈而又狡猾的寶可夢，為了避免被帶節(jié)奏，還可以打圈兒扔出最強旋轉(zhuǎn)精靈球、投喂食物，大概沒有哪只寶可夢可以從閣下手中逃脫了吧。

關于開發(fā)教程

相信各位老司機們對VR的了解已經(jīng)非常透徹，微動和易瞳攜手做的這段demo除了想要幫大家解鎖抓寶可夢的新姿勢，還想把MR+手感操控的技術表現(xiàn)形式普及給大家，以下為開發(fā)教程，除此之外SDK也可以在微動Vidoo官網(wǎng)免費下載，期待開發(fā)者在吃下這記良心安利后會有更多大作產(chǎn)生。

手感操控：

首先，通過微動的雙目深度傳感器得到深度圖像。在深度圖像中，我們通過修改每個像素RGB的值用以標定該像素與傳感器之間的距離。當我們觀察深度圖像時，會發(fā)現(xiàn)其效果與我們熟悉的紅外熱成像圖像類似，只不過我們把溫度替換成了距離。下圖中，左側為深度圖像，右側為原始圖像。通過觀察可以看出，距離越近的區(qū)域，顏色越紅；距離越遠的區(qū)域，顏色越藍。

其次，我們將深度圖像中符合人體手部特征的部分分割出來，進行手部姿態(tài)、動作的識別。這里需要指出的是手勢識別算法是基于深度圖像而不是普通圖像的。這樣可以方便我們獲得手部每個點的深度信息。從而還原出整手的骨骼結構。如果我們想要與虛擬物體進行觸碰式的交互，骨骼結構是不可缺失的技術前提。

最后，我們通過算法將傳感器坐標系（包含手部骨骼空間信息）、虛擬世界坐標系（包含所有虛擬物體的空間信息）、現(xiàn)實坐標系（包含環(huán)境信息和手部信息）這三個坐標系對齊。這樣，我們可以將檢測到的手部骨骼與真實的雙手對齊；將虛擬物體與現(xiàn)實環(huán)境對齊。當真實的手部觸碰到虛擬的物體時，將會產(chǎn)生類似鼠標點擊的事件，來驅(qū)動程序的執(zhí)行，具體到Pokémon GO里面，就是投喂小精靈，扔出精靈球等操作。

至此，已完成了手感操控的基礎部分，后續(xù)將進一步在Unity3D中完善事件的邏輯，完成Pokémon GO中將精靈球、食物拋向小精靈的功能。

MR顯示

接下來，我們要做的就是在空間當中顯示Pokémon GO中的游戲元素，并且讓皮卡丘和精靈球顯示在合理的空間范圍之內(nèi)。我們采用視頻透視技術，通過雙目攝像頭實時采集你看到的“現(xiàn)實”世界并將之數(shù)字化，然后通過計算機算法實時渲染畫面。這樣做完既可以完全疊加虛擬圖像，也可以看到的經(jīng)過計算機渲染后新的“現(xiàn)實畫面”。滿足了我們對于虛擬物體和現(xiàn)實環(huán)境同時存在的需求。

在解決了交互和顯示核心技術之后，在Unity3D里面加入相應的SDK，調(diào)整下流程邏輯。MR版Pokémon GO便誕生啦！

MR正名

值得注意的是本文提到的“MR”并非“混合現(xiàn)實”。MR是介于VR與AR之間的技術，名為介導現(xiàn)實技術，由“智能硬件之父”多倫多大學教授SteveMann提出的介導現(xiàn)實，全稱Mediated Reality（簡稱MR）。VR是純虛擬數(shù)字畫面，包括AR在內(nèi)的Mixed Reality是虛擬數(shù)字畫面+裸眼現(xiàn)實，MR是數(shù)字化現(xiàn)實+虛擬數(shù)字畫面。

MR也并非近幾年才出現(xiàn)，上世紀七八十年代，為了增強自身視覺效果，讓眼睛在任何情境下都能夠“看到”周圍環(huán)境，Steve Mann設計出可穿戴智能硬件"Digital Eye Glass"作為視覺輔助設備，這被看作是對MR的初步探索。

革新人類視覺感知的能力，不僅涉及到對現(xiàn)實進行數(shù)字疊加，還需要用到增刪改等其他視覺修飾手段，從上世紀90年代開始，MR（介導現(xiàn)實）的研究逐步在多倫多大學的HI實驗室中展開，一批頂尖學科人才從HI實驗室脫穎而出。易瞳科技CTO艾韜師承Steve Mann，帶領團隊在計算機視覺，計算機攝影等領域取得多項技術突破，最終將MR概念落地為產(chǎn)品。2016年8月，易瞳科技推出全球首款MR智能眼鏡–易瞳VMG-PROV。

“手感操控”非“手勢識別”

劃重點：手感操控不等于手勢識別，手感操控包括手勢識別。

手感操控要滿足以下三個基本點：

1、手感操控一定要有深度信息，傳感器要知道手離用戶有多遠。

2、手感操控包括手勢識別。手勢識別通過圖像算法更新得到手部姿態(tài)和手部動作指令，將手的深度信息和手勢識別信息相疊加，得到：手離我有多遠，手在做什么的完整信息，才能稱為手感操控。

3、在VR中，手感操控要給用戶提供真實的手部圖像。通過算法把手部影像拉近到和用戶真實的前庭感官同步，能看到深度信息，給用戶最真實的操控的感覺。如果用戶看到的是機械的手或者模擬的手，交互友好度會大打折扣。

微動Vidoo是全球首款可以應用于移動端的手感操控設備，可以完成手部影像坐標系與虛擬世界坐標系的重合，構建1：1的虛擬手感操控空間；交互過程中使用原始的手部圖像，使用者就像是在用自己真實的雙手與VR/AR/MR世界中的虛擬物體進行交互；不再使用頭部瞄準作為選擇的工具，讓顯示交互與指令交互分離。微動的下一代產(chǎn)品，將雙目模組作為傳感基站，可同時進行手感操控、空間定位、光學手柄的檢測，致力于打造完整的虛擬現(xiàn)實交互解決方案。除此之外還將致力于為車載電子、全息投影、智能家居等前沿領域提供手感操控的軟/硬件解決方案。

微動Vidoo和易瞳在硬件和軟件層面已達成深入合作，接下來會為大家?guī)砀嗍指胁倏丶癕R領域有趣有料的合作成果。