我們看別人玩VR游戲的時候總覺得，這人有病吧?正在玩游戲的朋友就想說，我也好像跟你們分享VR游戲的有趣之處，只可惜頭顯阻礙了我!

為了讓VR玩家看上去不會太智障，一般在體驗PC VR時，旁邊都會有顯示屏同時播放游戲內(nèi)容，而有些體驗店還會用綠幕技術(shù)把你人也P進去，相當良心。

不過最關(guān)鍵的臉還是無可避免的被擋住了——這點很關(guān)鍵。有人曾經(jīng)統(tǒng)計過，大家在和基友妹子看電視、看電影時，看到笑點時往往會更加注意身邊朋友的反應(yīng)，而不是電影本身的內(nèi)容。舉個不太適當?shù)睦樱褪悄阍谂杂^朋友用PSVR玩《生化危機7》，屏幕上面目猙獰的喪尸能比旁邊瑟瑟發(fā)抖的畫面有趣嘛?這時候看不到、拍不到基友的表情實在太遺憾!為了解決玩家在虛擬現(xiàn)實中的情感交流“障礙”，谷歌工程師(對，又是他們!)用混合現(xiàn)實技術(shù)把表情給“加”上去了。

如何給VR體驗玩家在視頻中添加真實表情?

既然VR頭顯暫時無法做透明，藏在眼鏡后面的眼神怎么還原出來?谷歌工程師的是用人臉模型來來代替VR眼鏡，實際技術(shù)過程很復雜，小編只能講解幾個簡單的步驟：

模型收集與捕捉。既然要用人臉替代VR眼鏡，那么收集人臉數(shù)據(jù)是必須的。首先工程師讓玩家注視屏幕上一個移動的點，并且用動態(tài)采集系統(tǒng)將其各個角度注視的3D表情記錄下來，為后期添加做準備;

定位與對齊。表情收集了，下一步就是怎么用表情自然地替代VR眼鏡——這需要在3D坐標中完成定位，并用收集的表情去完美替換眼鏡的位置。這里谷歌的主要是利用外部攝像頭對頭顯進行校準與同步，并且將3D采集的表情整合到混合現(xiàn)實視頻中(過程和算法還是很復雜的)。

圖像合成與處理。當然光是找到位置還不夠，要是表情不會隨之變化，還不如打印個表情貼在眼鏡上是吧……為了讓收集的3D表情隨著游戲動作而變化，谷歌在HTC Vive內(nèi)部搭載了SMI眼動追蹤.由于前面我們的表情就是根據(jù)注視點而收集的“數(shù)據(jù)庫”，每一個點幾乎都有對應(yīng)著一個表情，這時候只需要追蹤到玩家的眼睛注視點，并調(diào)用對應(yīng)的表情就可以了。當然，后期還需要大量的顏色修正、平滑度調(diào)節(jié)等圖像處理環(huán)節(jié)，才能得到這看上去還算OK的畫面。

大家可能會有疑問，為什么在用表情替代了VR眼鏡后，仍然會看到一個輪廓的效果?由于該效果只是在MR合成視頻中近似還原，目前準確度和畫面細節(jié)仍有待提升，經(jīng)過工程師親身體驗后，逼真但又變形的程度容易讓人作噩夢(恐怖谷效應(yīng))。為了避免這種情況，谷歌工程師特地加入了一個半透明面罩，既可以避免細節(jié)錯誤過于明顯，同時在畫面銜接上也更加舒服。

這項技術(shù)有谷歌Daydream Labs、Research和YouTube團隊合作完成，在進行多人VR會議、VR聊天和VR游戲等場景，加入了人臉表情后顯然看上去更加自然，以實現(xiàn)了剛開始“表情交流”的目的。

不過小編覺得這挺過去好像挺有趣，但是實際效果還是有待提高。