深耕8年,被英偉達(dá)相中,這家中國公司押中“下一個風(fēng)口”

?? 由 文心大模型 生成的文章摘要
如今,2017年已經(jīng)過半。兩年前的這個時候,VR作為一個炙手可熱的極品風(fēng)口曾經(jīng)倍受資本追逐,狂熱一時。然而自從2016年4月開始,受二級市場跨界定增限制的影響,虛擬現(xiàn)實開始進(jìn)入人們口中的“遇冷期”,直到2016年底,進(jìn)一步趨冷。
近日,智東西對數(shù)家國內(nèi)最具代表性的VR內(nèi)容公司的CEO進(jìn)行了系列深入采訪,發(fā)現(xiàn)VR行業(yè)的現(xiàn)狀其實另有洞天,智東西發(fā)現(xiàn),許多VR公司不僅仍然活著,而且產(chǎn)品開發(fā)也已經(jīng)走上了體系化、深入之路,隨著技術(shù)和硬件性能的大幅提升,在垂直領(lǐng)域趟出一條商業(yè)化之路,公司的前景也在蒸蒸日上,透過這幾家公司可以窺見國內(nèi)VR行業(yè)在應(yīng)用落地方面的最新進(jìn)展。
眼球追蹤技術(shù)自醫(yī)療研發(fā)而始,經(jīng)過數(shù)十年漫長的技術(shù)積累以后,已經(jīng)開始逐漸升溫,進(jìn)入商業(yè)化應(yīng)用階段,被陸續(xù)用在了電腦、手機(jī)、VR、甚至汽車等不同設(shè)備上;作為一項和視覺圖像息息相關(guān)的產(chǎn)業(yè),眼動追蹤將成為影響VR行業(yè)發(fā)展的又一關(guān)鍵技術(shù)。今天,智東西與國內(nèi)眼動追蹤技術(shù)企業(yè)七鑫易維的CEO黃通兵坐下來聊了聊眼動VR的發(fā)展現(xiàn)狀。
(七鑫易維CEO黃通兵)
一、七鑫易維的前世今生
根據(jù)黃通兵介紹,七鑫易維于2009年3月成立,目前團(tuán)隊規(guī)模約70人,早年聚焦研發(fā)的醫(yī)療領(lǐng)域的眼動追蹤技術(shù),后期逐漸將業(yè)務(wù)延伸到VR眼球追蹤配件領(lǐng)域。公司另外兩位聯(lián)合創(chuàng)始人分別為負(fù)責(zé)市場的彭凡與負(fù)責(zé)銷售的徐筱。
此前,七鑫易維曾于2014年12月獲高通創(chuàng)投Pre-A/A輪融資,同時也是2014年高通紅杉移動互聯(lián)網(wǎng)創(chuàng)業(yè)大賽中第2名,2016年獲得高通創(chuàng)投、中興創(chuàng)投等的數(shù)千萬融資,目前正在啟動新一輪融資中。與此同時,七鑫易維還是英偉達(dá)“創(chuàng)始計劃(Inception)”的公司之一。
2016年年底,七鑫易維推出了HTC Vive的VR眼控模組配件aGlass DK1,眾籌價3000元人民幣,配有有攝像頭和計算模塊,可以采集人眼數(shù)據(jù),計算出注視點位置,進(jìn)行注視點渲染、注意力數(shù)據(jù)采集等?,F(xiàn)在小批量量產(chǎn)的DK1已經(jīng)全部售罄,aGlass DK2正在預(yù)售當(dāng)中,售價1699元,預(yù)計8月底開始發(fā)貨。
(aGlass DK2)
二、注視點渲染與營銷數(shù)據(jù)采集
目前各家公司的眼動追蹤技術(shù)原理相差不大,常見的有:1、主動投射紅外線等光束到虹膜來提取特征,進(jìn)而進(jìn)行眼球參數(shù)推算,計算出注視點方向;2、根據(jù)眼球和眼球周邊的特征變化進(jìn)行跟蹤;3、根據(jù)虹膜角度變化進(jìn)行跟蹤這三大類,七鑫易維使用的就是第一種。
眼動追蹤技術(shù)允許用戶使用眼球控制輸入,但是由于人眼視覺軌跡較為跳躍,目光分散,所以在精準(zhǔn)度方面還是有待加強(qiáng)。不過由眼球追蹤衍生出的注視點渲染技術(shù)(Foveated Rendering,又稱視網(wǎng)膜中心渲染技術(shù))對VR來說意義重大。
人眼觀看世界時是選擇性聚焦的,即眼神聚焦中心是清晰的,其他地方則逐漸模糊。全局清晰渲染會浪費許多清晰像素,給計算機(jī)運算帶來很大的壓力,用戶需要配備極高性能的GPU才能得到畫面優(yōu)秀的VR系統(tǒng)。注視點渲染技術(shù)模擬人眼成像效果進(jìn)行逐層模糊,降低了GPU的負(fù)載,節(jié)省了運算資源,使得中低等配置的電腦也能得到很好的渲染效果。
值得一提的是,七鑫易維的技術(shù)只負(fù)責(zé)追蹤人眼的動作,在計算出來的人眼注視點后,將坐標(biāo)傳給負(fù)責(zé)渲染的GPU,由GPU負(fù)責(zé)對渲染進(jìn)行優(yōu)化。黃通兵表示,在VR中使用注視點渲染技術(shù)能夠節(jié)省50%-90%像素,相當(dāng)于以前兩塊GPU才夠用,現(xiàn)在只需要一塊。
(七鑫易維注視點渲染技術(shù)在英偉達(dá)Fun House VR展示中的應(yīng)用)
作為合作伙伴與Inception項目企業(yè)的七鑫易維與英偉達(dá)有著密切的合作,黃通兵表示,自從兩年前兩家公司首次“觸電”后,英偉達(dá)便一直在加強(qiáng)注視點渲染底層GPU技術(shù)的研發(fā),通過VRWorks的方式為七鑫易維提供注視點渲染技術(shù)的底層API支持,未來還將提供更加專業(yè)、更加強(qiáng)大的API。
VRWorks是英偉達(dá)推出的一套綜合性SDK,專門為VR開發(fā)者打造,包括了一系列基于英偉達(dá)顯卡搭建的API與引擎,對VR的視覺、聽覺、觸覺、以及交互作用進(jìn)行了針對性的優(yōu)化。
此外,這項技術(shù)還能應(yīng)用在營銷數(shù)據(jù)采集方面,以熱力圖形式反饋用戶目光關(guān)注重心,分析觀眾在關(guān)注廣告的什么地方、刺激點在哪里、以什么順序觀看。目前,七鑫易維已和指揮家合作開發(fā)了VR看房項目,可記錄用戶視覺關(guān)注重點區(qū)域。
三、眼動追蹤的難點與挑戰(zhàn)
正如上文所說,眼動追蹤技術(shù)經(jīng)過了數(shù)十年漫長的研究技術(shù)積累,已經(jīng)在醫(yī)療、教育、培訓(xùn)等不同領(lǐng)域得到了應(yīng)用。但黃通兵表示,目前眼動追蹤雖然有著越來越多的應(yīng)用,但同時也面臨著很多難題:
1)千人有千眼:
這是眼動追蹤技術(shù)中最大的難題,由于人眼的特征紛繁復(fù)雜,從瞳孔到角膜再到眼球形狀等等,每個人的人眼特征不同,有些特征甚至的在幾千幾萬個人里面只有一例(黃通兵就遇到過這樣的客戶)。
因此,想要完成對一個人的眼動追蹤很容易,但讓同一個套完成對所有人的眼動追蹤很難。國內(nèi)外的眼動追蹤公司通常都有至少五到十年甚至以上的數(shù)據(jù)積累,才能達(dá)到不錯的兼容性與適配性。
黃通兵表示,在以前的注視點計算中,需要人工建立算法與特征庫,再一項項往里頭加特征。如今隨著深度學(xué)習(xí)、機(jī)器學(xué)習(xí)的興起,現(xiàn)在只需要構(gòu)建合適的神經(jīng)網(wǎng)絡(luò),就能訓(xùn)練機(jī)器自己識別出不同特征加入,同時還能在數(shù)據(jù)本身通過計算機(jī)視覺衍生出更多數(shù)據(jù),構(gòu)建魯棒、穩(wěn)定的眼球追蹤算法。
值得一提的是,七鑫易維擁有一臺英偉達(dá)的超級計算機(jī)DGX-1,能夠?qū)⒀邪l(fā)、訓(xùn)練等過程提升100倍的速度。
2)遮擋與干擾:
手機(jī)、電腦上的眼動追蹤通常因為距離由眼球較遠(yuǎn),很容易受光影、頭部活動等外界因素印象,在VR中這一問題能夠得到很好解決,不過仍舊存在眼鏡、美瞳遮擋、以及不同品牌VR使用的鏡片不同等問題。為了進(jìn)一步減少干擾,七鑫易維的aGlass套件配備了近視度數(shù)鏡片,避免了眼鏡的干擾。
黃通兵表示,七鑫易維下一步的研究方向是把VR產(chǎn)品上眼球追蹤做到完美、適用率更高、兼容不同視力、同時降低使用門檻、并且最終做到不需要校準(zhǔn)就能使用。
結(jié)語、大廠布局,等風(fēng)來
黃通兵認(rèn)為,目前VR顯示屏只能達(dá)到2-4k,遠(yuǎn)沒有達(dá)到人眼的理想分辨率。而如果屏幕真的做到了比如16K,以現(xiàn)在GPU根本跑不起來,未來可能配合高端顯卡+注視點渲染才能滿足需求。
目前,國內(nèi)外的眼動追蹤公司還很不多,涉足VR的則更少,從數(shù)據(jù)門檻到技術(shù)門檻都處在一般創(chuàng)企難以達(dá)到的水平。無論是蘋果收購SMI、還是Google收購Eyefluence、Oculus收購The Eye Tribe,目前都還僅處在大廠布局階段。等這些大公司也開始推出消費級眼動追蹤產(chǎn)品的時候,才是眼動追蹤技術(shù)迎來爆發(fā)的一天。