解析AI中尖端CV技術(shù),能否助VR社交沖刺殺手級應(yīng)用

?? 由 文心大模型 生成的文章摘要
2016年VR如同過山車般的軌跡,使得VR行業(yè)一度風雨飄搖。2017年是VR行業(yè)沉下心來磨槍擦刀的一年,相比較之前的概念風,大浪淘沙留下來創(chuàng)業(yè)者們都期待在大眾消費的這一元年,拿出自己的答卷,而行業(yè)內(nèi)外,都在圍觀“VR行業(yè)能否爆出殺手級應(yīng)用”。
VR步入關(guān)鍵節(jié)點,VR社交如輕嗅的猛虎
騰訊互娛近期發(fā)布的VR報告所述,目前硬件在交互性、舒適性、交互方面都不盡人意,產(chǎn)業(yè)鏈出貨無法保障,但這一問題隨著供應(yīng)鏈成熟和系統(tǒng)標準的統(tǒng)一在今年會逐漸解決。VR軟件應(yīng)用仍在探索VR交互和表現(xiàn)形式,VR軟件商業(yè)生態(tài)尚未建立。VR是一場持久戰(zhàn),積極探索新的玩法,構(gòu)建技術(shù)壁壘,才能形成長期競爭優(yōu)勢,追求爆款機遇。
基于目前VR消費市場不足,用戶粘性缺乏的實際現(xiàn)狀,VR應(yīng)用布局目前并不適合對游戲、分發(fā)平臺、技術(shù)組件等進行過分投入。而社交平臺易產(chǎn)生用戶粘性,能形成用戶聚集的優(yōu)勢,小投入、長期積累用戶的模式是重點布局的方向建議,社交聚集效應(yīng)可以統(tǒng)一整合其他各類服務(wù),包括游戲、視頻、音頻等,在前期缺乏內(nèi)容的情況下,可以較好提供用戶可消耗內(nèi)容。目前Facebook、Altspace、Vtime、BeanVR、Recroom、High Fidelity等海內(nèi)外創(chuàng)業(yè)精英團隊已重點對VR社交平臺進行了布局嘗試,并陸續(xù)都拿到了高額融資額。單本月,已獲得770萬美元巨額A輪融資的AI虛擬形象公司Oben,軟銀又宣布對其進行繼續(xù)認投,3月25日新上線VR社交平臺EmbodyMe也因其真人化身系統(tǒng)引起一陣嘩然。目前VR社交處于沉淀與爆發(fā)的關(guān)鍵時間,再后期恐怕進入的市場門檻將越來越高。
參考:騰訊互娛VR技術(shù)白皮書
CV作為VR社交中的戰(zhàn)斗機,將從本質(zhì)上提升社交互動與逼真性
CV技術(shù)以3D掃描技術(shù)與面部識別、3D建模及渲染為主要內(nèi)容生成VR技術(shù),作為AI中圖形方向的精尖領(lǐng)域,是VR社交面向消費者互動場景最重要的一環(huán)。
VR3D掃描可以通過3D掃描技術(shù)高度還原玩家頭部甚至全身,量身打造真人化身,未來在在美顏卡通拍照、游戲、社交虛擬ID、醫(yī)療上可應(yīng)用性更高。也是未來AI在消費應(yīng)用領(lǐng)域大規(guī)模應(yīng)用的典型場景,想象一下一個擁有絕世容顏的SIRI在VR社交中陪你到老的浪漫感覺。
參考:騰訊互娛VR技術(shù)白皮書
Facial Animation,可以對表情進行精細捕捉,對眼球、口型和下頜的動作細節(jié)進行跟蹤捕捉,通過深度學習生成表情動畫,為VR社交角色擬人化提供可能性,對于虛擬電影、直播得到廣泛應(yīng)用。
參考:騰訊互娛VR技術(shù)白皮書
在虛擬化身中,通過3D Avatar形成真人虛擬形象,并且通過Facial Animation 形成表情動畫,從而形成VR社交所需的真人化身及互動形態(tài),除了這種視覺上打造,虛擬VR社交中還會通過對SLAM、Eye tracking、haptic interaction、redirection等交互技術(shù)深度學習打造深度互動模式。
VR行業(yè)中真正的殺手級應(yīng)用無疑是最吊人胃口的,除了技術(shù)的比拼,也有對用戶心智把握的賽跑。
虛擬真人化身領(lǐng)軍技術(shù)團隊
VR新秀大型多人在線社交游戲《EmbodyMe化身》,通過上傳人臉照片合成虛擬環(huán)境內(nèi)真人的化身角色,并且可以隨意對化身形象進行發(fā)型、性別、衣服等進行變換,也可以借助外設(shè)同步玩家舉手,點贊等動作。通過虛擬化身及動作捕捉,能夠?qū)崿F(xiàn)玩家在虛擬空間中和好友跳舞、搭積木等簡單交互,適合初級玩家上手。
AI虛擬形象公司ObEN ,可以通過自拍照的識別建立用戶的虛擬形象,還可以不斷學習用戶的聲音如說話、唱歌等,識別用戶表情和動作,通過了解用戶的行為和習慣,未來可以帶來更多逼真的社交和虛擬互動,比起復(fù)雜的深度攝像頭,這項技術(shù)更有可能在消費級應(yīng)用推廣。憑借三維圖像重建技術(shù),OBEN去年宣布完成了 770 萬美元的 A 輪融資,今年3月,軟銀韓國風險投資公司宣布完成對人工智能公司ObEN的投資。
Bellus3D面部掃描相機,可以檢測到臉的三維500K點和捕捉面部細節(jié),在短時間內(nèi)創(chuàng)建出一個細致到皮膚毛孔和皺紋的虛擬面部模型。用戶只需要把 相機插接到手機上,從左到右緩慢轉(zhuǎn)動頭部,兩個紅外光投影儀發(fā)出激光光束掃描用戶面部創(chuàng)建出精細的人臉面孔3D模型。Bellus3D 面部掃描照相機和 SDK 將于 2017 年第一季度提供給指定的開發(fā)者和合作伙伴,開發(fā)者可以開發(fā)用于 3D 虛擬化妝、自定義的 VR 游戲角色、虛擬試穿(眼鏡或者假發(fā)等)、醫(yī)學整形等領(lǐng)域的應(yīng)用。
VR社交軟件應(yīng)用BeanVR,主打VR/MR社交互動應(yīng)用。在角色化身創(chuàng)建中,通過普通攝像頭對人臉掃描進行三維重建,形成真人虛擬化身,并且在三維建模完成后,利用人臉特征點識別、神經(jīng)網(wǎng)絡(luò)技術(shù)、特征對象特征點識別與tracking等實現(xiàn)低延遲的表情同步。真人化身及表情同步對,可以與VR社區(qū)中實現(xiàn)同步、高度擬真、高度互動感。
High Fidelity在虛擬空間中創(chuàng)造阿凡達(化身),每個人的化身都能夠反映真身的面部表情。更值得興奮的是,3月末,VR角色設(shè)計公司Limitless 與 High Fidelity 達成合作,免費向High Fidelity的用戶提供基本設(shè)計功能,玩家可以將自己喜歡的VR場景、角色自助實現(xiàn),進行交互,相比較其他需要豐富工程知識的智能平臺,這個合作是VR設(shè)計平民化的大進展,也將使得VR社交離平民的娛樂、生活更近。
典型眼球追蹤VR交互產(chǎn)品
來自德國的技術(shù)公司SMI的研發(fā)系統(tǒng)“Social Eye”,通過一系列硬件和軟件的運作,可以在VR頭顯中捕捉到用戶的眼球移動,并且在VR世界中的虛擬化身身上再現(xiàn)。
FOVE于2017年初公布了兩款眼球追蹤VR應(yīng)用,一款可以讓玩家感受到眼球追蹤與虛擬世界休閑應(yīng)用,另外一款是基于眼球追蹤的數(shù)據(jù)分析應(yīng)用,實現(xiàn)追蹤、匯總和分析用戶在虛擬現(xiàn)實體驗中的行為。玩家在虛擬商店中自由行走,應(yīng)用會根據(jù)用戶注視的對象分析并按指定順序列出相關(guān)的統(tǒng)計數(shù)據(jù)。
在虛擬世界中,體驗者會將虛擬真人化身視為自己真正的身體,并通過它感知虛擬世界中的物,并且打破現(xiàn)實中的限制,實現(xiàn)自己更多想要的體驗和互動。當視覺信息、觸覺信息,與動作信息同步時人們會產(chǎn)生一種完全可信的“感覺”,從而增強虛擬社交的意愿和樂趣。
MR互動成像趨勢技術(shù)
相比VR,AR領(lǐng)域的爭奪戰(zhàn),MR相對就更加充滿想象,MR成像運用以微軟Hololens為代表,2016年BeanVR也推出了MR互動直播的虛擬演播模式。MR即混合現(xiàn)實,微軟的Holoportation將全息技術(shù)和混合現(xiàn)實技術(shù)進行組合,,對真人用戶的掃描成像記錄,在虛擬社交場景中以3D影像的形式進行實時“投影”,用戶可以通過微軟HoloLens頭顯,甚至是HTC Vive頭顯看到3D人物,進行聊天、交流。
BeanVR以MR成像技術(shù)為核心角色技術(shù)方案,為了和CV技術(shù)的結(jié)合,與微軟的Holoportation形態(tài)相似,通過全息技術(shù)和混合現(xiàn)實技術(shù)的組合高度還原完成的虛擬化身,但是采用了低成本的雙目攝像部件進行體態(tài)掃描,這樣不會產(chǎn)生太大的數(shù)據(jù)處理量,在保證圖畫質(zhì)量的基礎(chǔ)上,實現(xiàn)遠程低延遲傳輸?;谶@種成像技術(shù)運用,BeanVR也推出了MR互動直播演藝模式,實現(xiàn)實景演繹主播與虛擬用戶的互動化。
Holobeam實現(xiàn)在Hololens上全息3D聊天
BeanVR實現(xiàn)MR成像技術(shù)
VR普及的痛點在逐漸改善,VR社交成為人們生活娛樂的陣地并非空想
目前虛擬現(xiàn)實無法成為用戶的強需求,主要原因在于:無法在使用中獲得交流、沉浸狀態(tài)中無法進行其他交互,體驗孤獨而單調(diào)。
參考:易觀2016中國虛擬現(xiàn)實行業(yè)白皮書
今年硬件廠商紛紛入局,優(yōu)質(zhì)的硬件內(nèi)容不斷增多,體驗不斷優(yōu)化的同時,價格也更加親民,如oculus,Hyper, 大朋等紛紛下調(diào)硬件價格,特別是隨著Daydream, GearVR以及手機廠商的高調(diào)入局,玩家獲取優(yōu)質(zhì)體驗VR設(shè)備的成本越來越低,對VR的陌生感也日益消失,為了獲得更加優(yōu)質(zhì)的用戶體驗對于2000元以下好的VR設(shè)備有很強的購買欲。
參考:易觀2016中國虛擬現(xiàn)實行業(yè)白皮書
CV技術(shù)+語音識別+VR社交,將是未來AI滲透到消費者端并提供優(yōu)質(zhì)體驗與服務(wù)的關(guān)鍵助推技術(shù),CV技術(shù)在虛擬環(huán)境中通過面部信息掃描、面部表情及動作的同步捕捉與追蹤,實現(xiàn)真人化身DIY化,并且通過VR的虛擬特性進行趣味化、豐富化,逐漸打破現(xiàn)實與虛擬的“隔閡”,以其代入式的場景和逼真的角色互動、道具交互,將其應(yīng)用至教育、游戲、娛樂綜藝、廣告、交友等不同虛擬場景,打造VR社交的互動化、生活化,VR走入人們?nèi)粘I?,甚至成為剛需并不是空想?/p>

【913VR原創(chuàng)內(nèi)容,轉(zhuǎn)載請注明及回鏈】