今天，由VR陀螺聯(lián)合中國(guó)電信天翼云VR、人民網(wǎng)5G創(chuàng)新中心聯(lián)合打造首檔VR虛擬訪談節(jié)目《超V對(duì)話》第五期在天翼云VR App（4K VR版）、人民網(wǎng)5G頻道、騰訊視頻、Bilibili、優(yōu)酷、Youtube等各大視頻網(wǎng)站同步播出。

本期超V對(duì)話與數(shù)字虛擬影像精英論壇合作推出特別篇，對(duì)話Facebook（臉書(shū)）虛擬現(xiàn)實(shí)研究實(shí)驗(yàn)室（Facebook Reality Labs）高級(jí)技術(shù)美術(shù)指導(dǎo)劉曉雨，其多年從事VR和AR相關(guān)的交互設(shè)計(jì)和3D研究開(kāi)發(fā)工作，將從VR/AR交互、內(nèi)容開(kāi)發(fā)、發(fā)展趨勢(shì)等多方面帶來(lái)干貨分享。

以下為本期訪談的上篇：

Q：現(xiàn)在劉老師任職于Facebook虛擬現(xiàn)實(shí)研究實(shí)驗(yàn)室，請(qǐng)介紹一下現(xiàn)在自己從事的工作可以嗎？

劉曉雨：我其實(shí)現(xiàn)在是在Facebook做研究院的一些工作，但是鑒于一些保密項(xiàng)目，我不能說(shuō)具體的是在做什么，我可以分享一下我過(guò)去幾年在做什么東西。

首先我剛?cè)ッ绹?guó)的時(shí)候，我的工作與電影和動(dòng)畫(huà)相關(guān)，然后大概是在4~5年前，我接觸到了一些交互和VR相關(guān)的東西，然后從此我就決定要多做一些和游戲、和最前沿的技術(shù)相關(guān)的一些產(chǎn)品，或者是很有娛樂(lè)性的東西。最后在過(guò)去的3~4年，我一直在做VR和AR相關(guān)或者是交互相關(guān)的游戲產(chǎn)品或各種展示、各種研究。

Q：疫情現(xiàn)在對(duì)FB研究的這些項(xiàng)目會(huì)有影響嗎？

劉曉雨：如果你公司里面有員工是要做那種需要到實(shí)驗(yàn)室，需要到辦公室去做的工作；比如說(shuō)要去碰一些研究的東西、硬件什么的，可能你需要回到辦公室。但是我做的東西主要還是在軟件方面，所以說(shuō)有一個(gè)頭顯和一個(gè)電腦基本上90%以上的工作是可以的。

Q：我們先來(lái)聊一下劉老師非常擅長(zhǎng)的一個(gè)交互設(shè)計(jì)的部分，交互設(shè)計(jì)是一門(mén)非常深的學(xué)問(wèn)，涉及到行為學(xué)心理學(xué)，不僅要考慮到個(gè)人的一些行為習(xí)慣，還要平衡設(shè)備技術(shù)是否能夠?qū)崿F(xiàn)，老師之前在研究一些新的交互的時(shí)候會(huì)遵循一些特定的邏輯嗎？

劉曉雨：對(duì)，會(huì)有一些不管是技術(shù)還是設(shè)計(jì)上的一些規(guī)則。比如說(shuō)首先我本身不是一個(gè)純交互設(shè)計(jì)師，我是做3D偏技術(shù)應(yīng)用方面的交互，更多的是和代碼、軟件相關(guān)，不怎么把它們運(yùn)用在真正的那種交互上，所以我可以更側(cè)重于在應(yīng)用方面做一講解。

當(dāng)我們做一款游戲或者是產(chǎn)品的時(shí)候，我們有些考量。比如說(shuō)是你設(shè)計(jì)一種交互，你適用用手做一些動(dòng)作或者是完成一些任務(wù)的話，首先你要感覺(jué)你的一個(gè)動(dòng)作會(huì)不會(huì)讓用戶感覺(jué)到疲勞。第二點(diǎn)，比如我在虛擬世界中做怎么樣的動(dòng)作，會(huì)讓這個(gè)用戶感覺(jué)在做這個(gè)動(dòng)作像跟在現(xiàn)實(shí)世界中一樣；比如說(shuō)你在虛擬世界做一種交互，這種交互不是比現(xiàn)實(shí)世界中更高效；比如說(shuō)你用一種虛擬鍵盤(pán)來(lái)打字，或者是用一種虛擬的手柄，又或者是桌子玩一些游戲，它會(huì)不會(huì)娛樂(lè)性和高效率方面比真實(shí)世界中能更好。

Q：Oculus Quest手勢(shì)識(shí)別功能近期上線，不久前他們也有消息稱Facebook正在開(kāi)發(fā)PinchType的VR/AR手勢(shì)追蹤鍵盤(pán)，是一種新型的輸入方法，您認(rèn)為這種方式會(huì)變成跟PC的鍵鼠一樣普及交互方式嗎？

劉曉雨：首先它也是一個(gè)鍵盤(pán)，只不過(guò)是一個(gè)虛擬鍵盤(pán)，它在虛擬世界中和真實(shí)世界中的形狀不一樣。

首先從算法上來(lái)說(shuō)，現(xiàn)在咱們用的是手柄，咱們的手是一個(gè)固定的動(dòng)畫(huà)，你需要按鈕來(lái)做一些動(dòng)作，展示里的手是完全自由的手，這個(gè)方面確實(shí)有挑戰(zhàn)。但是你可以看Oculus最近幾個(gè)月發(fā)布的視頻，公開(kāi)的視頻的進(jìn)度，你可以發(fā)現(xiàn)它是越來(lái)越好的，它的追蹤會(huì)越來(lái)越穩(wěn)定，甚至有些可以追蹤到一個(gè)手和手之間遮擋，算法上面其實(shí)進(jìn)步是很大的。

我覺(jué)得這種挑戰(zhàn)可能會(huì)在幾年之內(nèi)被克服得很好，有很好的進(jìn)度。但是我想說(shuō)的是哪怕算法解決了，也許這種鍵盤(pán)還是不是會(huì)很快的取代現(xiàn)實(shí)的那種鍵盤(pán)操作，我覺(jué)得可能有幾個(gè)原因：首先基本上現(xiàn)在世界上只要你用過(guò)電腦的人都會(huì)用鍵盤(pán)，這種交互你已經(jīng)用了十幾年、二十幾年、三十幾年，已經(jīng)深入到你的肌肉記憶里面，如果真的有一款新的東西進(jìn)來(lái)，不管它是虛擬的還是非虛擬的，都是需要一個(gè)很長(zhǎng)的時(shí)間，或者有一個(gè)群體來(lái)促進(jìn)這種概念。

舉個(gè)例子，我曾經(jīng)在紐約上學(xué)的時(shí)候，當(dāng)時(shí)學(xué)校的項(xiàng)目是一個(gè)做交互和做3D的，各種稀奇古怪的一個(gè)專業(yè)，然后其中有一個(gè)同學(xué)做了一款非常有意思的展示——機(jī)械手套，可以打字，適用不同的手指的結(jié)合來(lái)激活，效率非常高，他給我們展示他的打字速度是比一般人用鍵盤(pán)打字要快。但是即使如此，他試圖把他技術(shù)推廣到學(xué)校里面，但真正想推廣起來(lái)還是挺困難的。現(xiàn)在Pico的一款手柄設(shè)計(jì)，每個(gè)手柄所有的東西都是不一樣的，包括現(xiàn)在大家設(shè)計(jì)內(nèi)容也會(huì)根據(jù)不同的手柄來(lái)設(shè)計(jì)不同的按鍵方式。

Q：您覺(jué)得現(xiàn)在有沒(méi)有比較好的一種方法來(lái)將它們統(tǒng)一，或者是說(shuō)您覺(jué)得手柄的設(shè)計(jì)應(yīng)該從哪些方面來(lái)考量？

劉曉雨：我可以說(shuō)一下我的看法，首先我不是一個(gè)設(shè)計(jì)硬件的人，但是我用過(guò)很多的軟件，我也做過(guò)很多的那種游戲和應(yīng)用，還有設(shè)計(jì)一些交互。我個(gè)人認(rèn)為最開(kāi)始的 HTC Vive的那一套系統(tǒng)是不錯(cuò)，但是手柄本身太笨重了，它沒(méi)有用傳統(tǒng)意義上游戲的旋鈕，而是一個(gè)觸摸板，其實(shí)很多玩家是有一些抱怨，就是說(shuō)它可能沒(méi)有像之前的Play Station，PS一樣。

比如說(shuō)Oculus Touch的，它的好處是很符合手型，包括它有一些較近距的感應(yīng)器，就是你的手放在不同的控制器上，在3D世界里你可以看到你的手張合，它不是一個(gè)純按鍵，它的識(shí)別是比較有突破性的，對(duì)游戲體驗(yàn)是很有幫助的。和Vive的第一款控制器相比，我感覺(jué)他有一點(diǎn)像Oculus控制器，Pico的控制器其實(shí)算是我第二次用，感覺(jué)到重量其實(shí)挺輕的，但是我用時(shí)間不長(zhǎng)，沒(méi)法做什么評(píng)論。

我最近最喜歡的是光手追蹤的，這是比較重要的一個(gè)突破。我感覺(jué)Vive和HTC可能是一個(gè)硬件生產(chǎn)廠，受到了Oculus Touch的啟發(fā)，第二代它有容器桿，很多游戲的移動(dòng)都是用游戲桿，這個(gè)是符合傳統(tǒng)游戲玩家的感覺(jué)的，再就是比較貼合手型，確實(shí)是最新的一種發(fā)展趨勢(shì)。

Q：現(xiàn)在其實(shí)您的觀點(diǎn)會(huì)不會(huì)就覺(jué)得沒(méi)有哪種代替哪種，或者是完全就只有一種了？

劉曉雨：我覺(jué)得現(xiàn)在的硬件還是沒(méi)有一個(gè)完全統(tǒng)一的交互形式。比如說(shuō)我的按鈕，我的A在上面，B在下面；或者是我的按鈕，多大多小，在左在右；還有你的手拿的是一個(gè)長(zhǎng)柄，還是個(gè)圓球，這些都不一樣的。我個(gè)人覺(jué)得最終手勢(shì)或者是純的手，甚至是其他身體部位的識(shí)別，會(huì)是一個(gè)最終的趨勢(shì)。

如果你真的是可以隨時(shí)隨地在3D里探測(cè)到自己的手，交互也許不是按鈕的形式了，而是可以拿一個(gè)觸摸板，你可以用另一只手在上面劃，這樣的話不管是對(duì)游戲開(kāi)發(fā)者還是對(duì)用戶，其實(shí)都是一個(gè)非常符合直覺(jué)的一種方式，可以統(tǒng)一很多的因素。比如說(shuō)有的游戲是為knuckles設(shè)計(jì)的，有的游戲是為Oculus Touch設(shè)計(jì)的，你把適用于這款控制器的游戲，放到其他的控制器上玩可能就很不舒服。我覺(jué)得最終的趨勢(shì)可能會(huì)是手部識(shí)別，或者是你可能手上會(huì)有一些硬件，硬件是為了輔助你的手部識(shí)別，而不是一種按鈕的不同擺布。其實(shí)我們最近也看了Oculus Quest上的手勢(shì)，它已經(jīng)能夠做到很精準(zhǔn)了，實(shí)際上面對(duì)一些比如說(shuō)很復(fù)雜的操作，能夠?qū)崿F(xiàn)的還是相對(duì)比較少。

Q：在內(nèi)容的開(kāi)發(fā)上，尤其是針對(duì)最容易產(chǎn)生旋暈的移動(dòng)方式，不管是平移、勻速平移、瞬移，還有擺臂來(lái)實(shí)現(xiàn)移動(dòng)，有很多不同的移動(dòng)方式。針對(duì)這個(gè)最基礎(chǔ)的問(wèn)題，你認(rèn)為在移動(dòng)交互設(shè)計(jì)上什么方式最適合VR？

劉曉雨：我一直在想這個(gè)問(wèn)題，并沒(méi)有一個(gè)精確的答案。因?yàn)槲抑霸谧鲇螒虻臅r(shí)候，本身是一個(gè)其實(shí)挺容易眩暈的人，比如說(shuō)之前參與過(guò)一款 Steam上面的VR游戲，當(dāng)時(shí)我們做完這個(gè)游戲，需要做不停的測(cè)試，包括也需要找一些玩家來(lái)做預(yù)測(cè)試，我自己暈自己的游戲，但是很多玩家卻沒(méi)事，這個(gè)可能是因人而異。

我們當(dāng)時(shí)研究不同的方式，比如說(shuō)有瞬移、黑起黑落的瞬移，或者是要用一些手勢(shì)來(lái)跑步、擺臂，但是其實(shí)每個(gè)人有每個(gè)人不同的傾向，我個(gè)人傾向的是瞬移加黑起黑落。另外一點(diǎn)，就是性質(zhì)在真實(shí)的移動(dòng)，我覺(jué)得這可能比較困難，在船上、飛機(jī)上、車上，否則我覺(jué)得這種移動(dòng)方式是不可能涵蓋很大范圍游戲的題材。除此以外，我目前沒(méi)有想到別的，你要是問(wèn)我最覺(jué)得什么是對(duì)的，我肯定覺(jué)得是讓我最舒服的。

Q：瞬移就很出戲，它在游戲里面有點(diǎn)類似于作弊，不然很多時(shí)候要靠跑跟其他怪物來(lái)斗智斗勇，如果能夠瞬移的話，相當(dāng)于作弊了。

劉曉雨：這個(gè)也是看有沒(méi)有游戲開(kāi)發(fā)者能夠把這種所謂的作弊和帶引號(hào)的作弊和游戲連在一起，比如說(shuō)有些人喜歡用瞬移，有些人喜歡用手勢(shì)，但是你設(shè)計(jì)一款游戲，讓做手勢(shì)的人和瞬移能達(dá)到難度是一樣的。舉個(gè)例子，你可以瞬移的時(shí)候掉一點(diǎn)血，或者是你少一些其他的屬性之類的，反正就是一個(gè)挺復(fù)雜的問(wèn)題，需要平衡。

Q：國(guó)內(nèi)近期上的一個(gè)VR游戲《半衰期：愛(ài)莉克斯》，不管是抓石頭，開(kāi)門(mén)拿著筆去畫(huà)畫(huà)，這些都跟真實(shí)交互是一樣的，您覺(jué)得怎么來(lái)看待這種交互設(shè)計(jì)？與現(xiàn)有的硬件設(shè)備存在的矛盾點(diǎn)該怎么解決呢？

劉曉雨：有些VR醫(yī)療里面要做的很細(xì)，我想要捏取某個(gè)東西，但是現(xiàn)在的手柄其實(shí)只能夠做到這種大范圍的抓取動(dòng)作，其實(shí)還是挺難平衡的。首先交互是對(duì)的，更開(kāi)放了，更多手勢(shì)，而不是一個(gè)按鈕。為了游戲性的話，還是需要按扭來(lái)做一些很堅(jiān)定的動(dòng)作，基本上我覺(jué)得這個(gè)趨勢(shì)是好的。手勢(shì)和手的識(shí)別是一種趨勢(shì)，有時(shí)候如果你的手拿一個(gè)東西，哪怕手勢(shì)識(shí)別到了，可能你沒(méi)有回饋，你就不知道你在摸這個(gè)東西。你就會(huì)需要一些物理上的回饋，有一種可能會(huì)用手套，手套本身當(dāng)然什么方法都可以了，可以內(nèi)外追或者外內(nèi)追，它本身有馬達(dá)，傳感器也可以追蹤。

Q：從劉老師個(gè)人關(guān)于技術(shù)美術(shù)方面的經(jīng)歷來(lái)看，我看您自己其實(shí)也做了挺多的VR游戲，從您TA的角度來(lái)看，您認(rèn)為在一個(gè)VR作品里面，TA的作用和價(jià)值會(huì)有多大呢？他是不是非常必要的一個(gè)角色呢？

劉曉雨：TA是一個(gè)很典型的多功能角色，你需要知道一些3D，你需要知道一些程序技術(shù)，兩方面基本都要碰，這是TA本身存在的一個(gè)價(jià)值。小團(tuán)隊(duì)也應(yīng)該有技術(shù)美術(shù)這個(gè)職位，哪怕只有一個(gè)人。舉個(gè)例子，比如說(shuō)你有兩個(gè)島，你只有一個(gè)橋你也可以過(guò)去，但是你如果一條橋都沒(méi)有，你過(guò)不去。

TA在團(tuán)隊(duì)里頭是作為中間橋梁的作用。TA在VR團(tuán)隊(duì)中的一個(gè)主要工作內(nèi)容，舉個(gè)例子，TA是技術(shù)美術(shù)，首先其中一個(gè)職能是要做一些給藝術(shù)家使用的工具，或者是做一些讓藝術(shù)家之間，或藝術(shù)家和工程師之間相互溝通的工具。就是工具的不同類型也分很多種，也會(huì)做一些跟渲染和優(yōu)化相關(guān)的工作，比如說(shuō)3D藝術(shù)家做一個(gè)模型，技術(shù)美術(shù)保證它的質(zhì)量，并保證它在機(jī)器里能運(yùn)轉(zhuǎn)。TA是一個(gè)帶引號(hào)的無(wú)所不能的一個(gè)職位，如果你不是一個(gè)多模型的，如果你不是一個(gè)做前期概念設(shè)計(jì)的，如果你不是一個(gè)做程序的，如果你不是一個(gè)科學(xué)家，那么你可能就是TA。

Q：TA涉及工具制作是指，完全需要自己根據(jù)需求來(lái)開(kāi)發(fā)出來(lái)嗎？

劉曉雨：首先這些引擎里面是帶有這些工具，游戲引擎開(kāi)發(fā)商做的工具往往是有必要的工具他們才會(huì)做，但是往往呢，TA要做的一些工具，你在做一個(gè)特別的游戲，或者一個(gè)特別的電影類的一個(gè)展示或者是一種體驗(yàn)，這種工具游戲開(kāi)發(fā)商是不屑于開(kāi)發(fā)，所以這些活要不然就是會(huì)落在一個(gè)團(tuán)隊(duì)里的叫圖形工程師上面，要不然就是TA上面。因?yàn)門(mén)A是介于圖形工程師和3D藝術(shù)家之間的一個(gè)職位。

Q：在做優(yōu)化上面，有一些比較好的建議嗎？

劉曉雨：關(guān)于從PC端植入到移動(dòng)端的優(yōu)化上面，3D里面是要用幾何體的三角形來(lái)構(gòu)成一個(gè)面數(shù)來(lái)構(gòu)成模型，面數(shù)越少越好，當(dāng)然材質(zhì)用的越少越好。這兩個(gè)是比較常用的，也是基本上所有游戲都會(huì)考慮到的一個(gè)因素。但是到VR里這個(gè)就會(huì)變得更加嚴(yán)苛，比如說(shuō)你在VR里你就會(huì)有兩個(gè)眼睛，有兩個(gè)眼睛相當(dāng)于屏幕里面你需要渲染兩次。但在CPU方面、GPU方面可能會(huì)更快速一些，不需要藝術(shù)家來(lái)做一些工作，這方面的優(yōu)化就顯得格外重要。除此以外優(yōu)化還有另一方面，比如說(shuō)在一些材質(zhì)上，要做不同材質(zhì)的不同材料，有時(shí)候你看能不能用最少的材料模型來(lái)做出一個(gè)同樣的效果，優(yōu)化包括這幾方面。

Q：有兩種不同的聲音，一方面大家在VR里面變得更真實(shí)，但是另一方面又想說(shuō)因?yàn)樘鎸?shí)了，反而會(huì)產(chǎn)生恐怖谷效應(yīng)，所以您對(duì)這個(gè)觀點(diǎn)怎么看？

劉曉雨：因?yàn)槲覀兤鋵?shí)看 Facebook的Horizon是一個(gè)更卡通的形象，它其實(shí)沒(méi)有做得非常真實(shí)。我覺(jué)得卡通和真實(shí)都是有它的用途的，比如說(shuō)像那種 Facebook社交的數(shù)字角色，卡通是可以接受的，大家知道那個(gè)是游戲里面的代表，就像你和我之間現(xiàn)在是一個(gè)卡通類的人，我們不會(huì)覺(jué)得有什么奇怪。因?yàn)槲覀冎牢覀兪窃赩R世界里面，通過(guò)一個(gè)VR平臺(tái)來(lái)交流。

但是現(xiàn)在有很多游戲制作組，他們做的東西就是非常像真人，它是要表達(dá)非常真實(shí)的一個(gè)故事，比如說(shuō)戰(zhàn)爭(zhēng)，虛擬世界里才能表達(dá)出這個(gè)游戲的意思。我覺(jué)得做卡通和做真實(shí)這兩個(gè)方面的應(yīng)用都有，但是可能不會(huì)有很多人做中間，就是中間也不會(huì)做一個(gè)又不太像卡通，又不太很真實(shí)的一個(gè)領(lǐng)域。因?yàn)檫@樣做就會(huì)像你說(shuō)的，會(huì)出現(xiàn)那種恐怖谷的效應(yīng)。不管虛擬還是現(xiàn)實(shí)，你做到一定程度越來(lái)越真，大家都會(huì)很有好感，因?yàn)樗裾嫒?，更貼近自己，但當(dāng)他到一定程度之后，你會(huì)發(fā)現(xiàn)他和真人很類似，但是他到不了極其逼真的角色，那么你就可能會(huì)有一種生化危機(jī)的感覺(jué)，這就是所謂的恐怖股的理論。舉個(gè)例子，F(xiàn)acebook最近幾個(gè)月有一些很真實(shí)的，你戴上頭盔可以看見(jiàn)對(duì)方臉，完完全全真實(shí)恢復(fù)那種互相的交流，兩個(gè)人可以看到他們的腦袋互相說(shuō)話。