根據(jù)高盛（Goldman Sachs）最近的預(yù)測(cè)，到2025年，虛擬現(xiàn)實(shí)（Virtual Reality，VR）和增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）市場(chǎng)預(yù)計(jì)將增長(zhǎng)到950億美元。

沉浸式計(jì)算技術(shù)（VR、AR）通過(guò)渲染逼真的3D環(huán)境為用戶提供身臨其境的感官體驗(yàn)，在醫(yī)療、教育、娛樂(lè)等各行業(yè)都有廣泛而重要的應(yīng)用。

然而，沉浸式計(jì)算系統(tǒng)的計(jì)算及傳輸負(fù)載較大，而現(xiàn)有的智能終端和移動(dòng)網(wǎng)絡(luò)因計(jì)算、傳輸能力受限，無(wú)法保證良好的用戶體驗(yàn)。

清華大學(xué)“基于IPv6的移動(dòng)低延遲VR系統(tǒng)”項(xiàng)目，實(shí)現(xiàn)了基于IPv6環(huán)境下的端云協(xié)同的虛擬現(xiàn)實(shí)渲染，在降低虛擬現(xiàn)實(shí)運(yùn)用在移動(dòng)端的硬件門檻的同時(shí)，實(shí)現(xiàn)了無(wú)線傳輸下的低延遲體驗(yàn)。

VR系統(tǒng)現(xiàn)狀

虛擬現(xiàn)實(shí)（VR）旨在利用計(jì)算機(jī)視覺(jué)、傳感等技術(shù)及專門的硬件設(shè)備，給用戶呈現(xiàn)逼真的虛擬環(huán)境和顛覆性的交互體驗(yàn)。

隨著相關(guān)技術(shù)的成熟，國(guó)內(nèi)外各大公司，諸如Facebook、Google、HTC等都紛紛進(jìn)入VR領(lǐng)域，推出自己的VR系統(tǒng)。

當(dāng)下主流的VR系統(tǒng)通常都由三個(gè)關(guān)鍵的部件組成：頭戴式顯示器、傳感器和渲染器。

為了能夠提供沉浸式的虛擬現(xiàn)實(shí)體驗(yàn)，VR系統(tǒng)需要利用傳感器不斷追蹤、接收用戶的姿勢(shì)信息（包括位置和方向信息)。

根據(jù)不同的姿勢(shì)信息，渲染器將實(shí)時(shí)地渲染出相應(yīng)視角的畫面并在頭戴式顯示器上以雙眼畸變的形式顯示。

目前主流的商業(yè)級(jí)VR系統(tǒng)分為兩大類：連線型和移動(dòng)型。

連線型VR系統(tǒng)將復(fù)雜的渲染、計(jì)算工作交給強(qiáng)大的主機(jī)，然后通過(guò)高速數(shù)據(jù)線（HDMI等）將主機(jī)渲染的每一幀圖像傳給單獨(dú)的頭戴式顯示器。

移動(dòng)型VR系統(tǒng)則摒棄了主機(jī)和數(shù)據(jù)線，將智能手機(jī)自身的GPU和顯示屏分別作為渲染器和頭戴式顯示器來(lái)提供沉浸式VR體驗(yàn)。

VR系統(tǒng)特殊的工作流程以及頭戴式顯示器所引入的近眼顯示都給系統(tǒng)帶來(lái)了巨大的計(jì)算和渲染開(kāi)銷。

為了使用戶能夠舒適地體驗(yàn)各種VR應(yīng)用，VR系統(tǒng)通常需要滿足下面三個(gè)性能和特征需求。

1. 響應(yīng)性

VR 系統(tǒng)的端到端延遲需要小于10~25毫秒， 過(guò)高的端到端延遲將使用戶在體驗(yàn)過(guò)程中出現(xiàn)眩暈等不適癥狀。

2. 高質(zhì)量的視覺(jué)效果

為了營(yíng)造逼真的虛擬環(huán)境，VR系統(tǒng)需要提供照片級(jí)真實(shí)感的高質(zhì)量畫面，同時(shí)每秒幀刷新率也至少需要達(dá)到60來(lái)保證流暢的體驗(yàn)。

3. 移動(dòng)性

VR系統(tǒng)復(fù)雜的渲染、計(jì)算工作通常可以在強(qiáng)大的主機(jī)上完成，這時(shí)頭戴式顯示器通常需要連接HDMI數(shù)據(jù)線來(lái)傳輸幾個(gè)Gbps級(jí)別的數(shù)據(jù)量，也就是需要使用連線型VR系統(tǒng)。

但這種方式極大地降低了用戶體驗(yàn)，例如用戶容易受數(shù)據(jù)線影響，因此如何提供具備移動(dòng)性的VR系統(tǒng)至關(guān)重要。

目前兩類主流的 VR 系統(tǒng)均無(wú)法滿足以上三個(gè)相互矛盾的性能和特征需求。

連線型VR系統(tǒng)雖然能夠提供很好的響應(yīng)性和高質(zhì)量的視覺(jué)效果，但卻無(wú)法提供必要的移動(dòng)性。

移動(dòng)型VR雖然在移動(dòng)性上有先天的優(yōu)勢(shì)，但由于手機(jī)較弱的渲染能力和電池容量，往往無(wú)法同時(shí)滿足前兩個(gè)基本的性能需求。

與此同時(shí)，目前的無(wú)線IPv6網(wǎng)絡(luò)數(shù)據(jù)傳輸技術(shù)也無(wú)法直接替代高速數(shù)據(jù)線來(lái)支撐VR應(yīng)用所需的幾個(gè)Gbps的帶寬和極低的端到端延遲。

系統(tǒng)技術(shù)方案

為了克服上述現(xiàn)有技術(shù)的缺點(diǎn)，基于IPv6的移動(dòng)低延遲VR系統(tǒng)提供一種面向虛擬現(xiàn)實(shí)的協(xié)同渲染方法，基于云計(jì)算，使移動(dòng)型VR系統(tǒng)能夠同時(shí)滿足VR系統(tǒng)的三個(gè)性能和特征需求，在移動(dòng)設(shè)備（智能手機(jī)）上提供高質(zhì)量的沉浸式虛擬現(xiàn)實(shí)體驗(yàn)，同時(shí)無(wú)需耗盡移動(dòng)設(shè)備的計(jì)算資源和IPv6網(wǎng)絡(luò)傳輸?shù)膸捹Y源。

圖1 基于IPv6的移動(dòng)低延遲VR系統(tǒng)架構(gòu)

系統(tǒng)架構(gòu)如圖1所示，其采用的技術(shù)方案思路包括以下三點(diǎn)。

1.將虛擬現(xiàn)實(shí)（VR）應(yīng)用的內(nèi)容拆分為動(dòng)態(tài)交互內(nèi)容和靜態(tài)環(huán)境內(nèi)容，并利用云計(jì)算中手機(jī)和服務(wù)器的分離式架構(gòu)分別渲染這兩個(gè)部分。

2.服務(wù)器將連續(xù)虛擬空間離散化為大量的采樣點(diǎn)，提前渲染每個(gè)點(diǎn)對(duì)應(yīng)的全景圖并存儲(chǔ)。利用手機(jī)本身的GPU實(shí)時(shí)地根據(jù)用戶輸入渲染、顯示所述動(dòng)態(tài)交互內(nèi)容；利用云端的服務(wù)器渲染所述靜態(tài)環(huán)境內(nèi)容。

3.客戶端根據(jù)接收的用戶信息，從服務(wù)器上通過(guò)IPv6網(wǎng)絡(luò)獲取對(duì)應(yīng)位置的全景圖，本地實(shí)時(shí)渲染交互內(nèi)容并最終將兩部分內(nèi)容結(jié)合實(shí)現(xiàn)整個(gè)協(xié)同渲染的過(guò)程。

也就是，手機(jī)在運(yùn)行VR應(yīng)用時(shí)，通過(guò)IPv6網(wǎng)絡(luò)向服務(wù)器請(qǐng)求已渲染的靜態(tài)環(huán)境內(nèi)容，并與本地渲染好的動(dòng)態(tài)交互內(nèi)容在客戶端進(jìn)行疊加、組合得到最終VR應(yīng)用的畫面。

所述動(dòng)態(tài)交互內(nèi)容主要包括會(huì)根據(jù)用戶的輸入而發(fā)生改變的一些物體，它們的模型規(guī)模相對(duì)較小、渲染紋理相對(duì)簡(jiǎn)單，但是需要實(shí)時(shí)響應(yīng)用戶的輸入.

所述靜態(tài)環(huán)境內(nèi)容是構(gòu)成整個(gè)虛擬環(huán)境的主要成分，它們的模型規(guī)模相對(duì)龐大、渲染紋理相對(duì)復(fù)雜，但是通常只隨著用戶在虛擬空間內(nèi)的移動(dòng)才發(fā)生連續(xù)性地改變和更新。

系統(tǒng)實(shí)現(xiàn)流程

在虛擬現(xiàn)實(shí)場(chǎng)景下，本系統(tǒng)功能通過(guò)以下步驟實(shí)現(xiàn)。

1.將目標(biāo)VR應(yīng)用的3D渲染模型拆分成兩部分：交互模型和環(huán)境模型，分別對(duì)應(yīng)VR應(yīng)用的動(dòng)態(tài)交互內(nèi)容和靜態(tài)環(huán)境內(nèi)容；

2.服務(wù)器端加載VR應(yīng)用的環(huán)境模型，并按固定間隔在模型空間中可到達(dá)的范圍內(nèi)遍歷取點(diǎn)，對(duì)于每一個(gè)采樣點(diǎn)，服務(wù)器都渲染出一張全景圖，并以采樣點(diǎn)對(duì)應(yīng)三維位置信息作為其索引存儲(chǔ)在服務(wù)器端；

3.客戶端實(shí)時(shí)追蹤、接收用戶的姿勢(shì)信息，客戶端利用位置信息通過(guò)IPv6網(wǎng)絡(luò)向IPv6服務(wù)器請(qǐng)求、獲取對(duì)應(yīng)位置的全景圖，IPv6服務(wù)器配置如圖2所示；

圖2 IPv6服務(wù)器配置

4. 客戶端實(shí)時(shí)追蹤、接收用戶的交互信息，客戶端根據(jù)交互信息利用手機(jī)的GPU 實(shí)時(shí)渲染出動(dòng)態(tài)交互內(nèi)容；

5. 客戶端將獲取的全景圖加載、映射到球面上以產(chǎn)生 360 度環(huán)繞效果；同時(shí)客戶端還利用全景圖的深度信息將本地實(shí)時(shí)渲染得出的交互物體疊加到球面全景圖上，完成前后景結(jié)合；

6. 客戶端根據(jù)方向信息在手機(jī)屏幕上以雙眼畸變的形式顯示出對(duì)應(yīng)角度的最終合成畫面。

總結(jié)與展望

本項(xiàng)目根據(jù)虛擬現(xiàn)實(shí)應(yīng)用交互內(nèi)容和環(huán)境內(nèi)容的不同特征，充分利用云計(jì)算的分離式架構(gòu)，將復(fù)雜高功耗的渲染任務(wù)通過(guò)網(wǎng)絡(luò)傳遞到云端，由云端完成高計(jì)算量的圖像渲染工作，最終返回終端并回顯給用戶，實(shí)現(xiàn)了移動(dòng)設(shè)備上高質(zhì)量的虛擬現(xiàn)實(shí)體驗(yàn)。

具體來(lái)說(shuō)，本項(xiàng)目創(chuàng)新性地將沉浸式計(jì)算應(yīng)用的渲染工作任務(wù)劃分為前景交互和背景環(huán)境，利用本地移動(dòng)端GPU來(lái)渲染前景交互，同時(shí)利用服務(wù)器上的遠(yuǎn)程渲染引擎預(yù)渲染背景環(huán)境并在手機(jī)上進(jìn)行預(yù)取，最后在手機(jī)上將兩者合并以生成最終幀。

為了克服移動(dòng)終端計(jì)算能力有限，無(wú)線網(wǎng)絡(luò)高延遲、帶寬有限等挑戰(zhàn)、本項(xiàng)目重點(diǎn)研究協(xié)同渲染、基于IPv6網(wǎng)絡(luò)的預(yù)加載技術(shù)、并行編解碼和動(dòng)態(tài)碼率自適應(yīng)技術(shù)。與IPv4網(wǎng)絡(luò)環(huán)境相比，基于IPv6運(yùn)行該項(xiàng)目，可以提供更充足的帶寬。

同時(shí)，為了驗(yàn)證系統(tǒng)的有效性，本項(xiàng)目在現(xiàn)有的移動(dòng)終端和無(wú)線網(wǎng)絡(luò)環(huán)境下實(shí)現(xiàn)、部署、評(píng)估系統(tǒng)。和傳統(tǒng)的基于本地渲染的沉浸式計(jì)算系統(tǒng)相比，該系統(tǒng)可以提供更加高清而流暢的畫質(zhì)，極低的交互式用戶感知延遲，以及更低的移動(dòng)終端功耗。

此外，作為一種渲染遷移框架，該系統(tǒng)具有一定的普適應(yīng)，能夠作為移動(dòng)沉浸式計(jì)算應(yīng)用的底層支持，在未來(lái)能為各式各樣的沉浸式應(yīng)用提供更加便攜的使用方式，更加高清低延時(shí)的交互體驗(yàn)，并保證更長(zhǎng)時(shí)間的續(xù)航。

總的來(lái)說(shuō)，與現(xiàn)有技術(shù)相比，基于IPv6的移動(dòng)低延遲VR系統(tǒng)可以直接在當(dāng)前移動(dòng)設(shè)備上利用已有的IPv6網(wǎng)絡(luò)傳輸技術(shù)滿足VR系統(tǒng)所需的三個(gè)性能和特征需求；同時(shí)，在無(wú)需耗盡移動(dòng)設(shè)備計(jì)算資源和IPv6網(wǎng)絡(luò)技術(shù)帶寬資源的情況下，實(shí)現(xiàn)高質(zhì)量的VR體驗(yàn)，對(duì)于提升移動(dòng)型VR系統(tǒng)的性能具有十分重大的意義。

來(lái)源：中國(guó)教育和科研計(jì)算機(jī)網(wǎng)