谷歌 Jump 是谷歌在 2015 年推出的虛擬現(xiàn)實(shí)視頻制作平臺(tái)，由一個(gè)開放設(shè)計(jì)的相機(jī)設(shè)備、一個(gè)可以把原始畫面變成虛擬現(xiàn)實(shí)視頻的匯編程序和視頻播放平臺(tái)組成。近期，谷歌發(fā)表了一篇題為“Jump：VR視頻”的研究論文，論文中谷歌分享了自己的學(xué)習(xí)成果，谷歌還將在 12 月份舉辦的 SIGGRAPH 亞洲會(huì)議上帶來該論文的主題演講。SIGGRAPH 是計(jì)算機(jī)圖形學(xué)（CG）最權(quán)威的國(guó)際性重量級(jí)盛會(huì)，也是迄今為止世界上影響最廣、規(guī)模最大，也是最權(quán)威的集科學(xué)、技術(shù)、藝術(shù)、商業(yè)與一身的 CG 展示和學(xué)術(shù)會(huì)議。

針對(duì) Jump，谷歌創(chuàng)建了全向立體視頻系統(tǒng)（ODS），ODS 可以提供一個(gè) 360 度和 3D 立體的無縫拼接投影，允許用戶以任意方向觀看。此外，ODS 還可以采用傳統(tǒng)視頻格式進(jìn)行存儲(chǔ)，以便后期制作和使用普通播放器播放影片。盡管 ODS 投影模型已經(jīng)存在一段時(shí)間，但是使用 ODS 制作 VR 視頻仍然面臨很多挑戰(zhàn)。

首先，ODS 最初并不是針對(duì)虛擬現(xiàn)實(shí)而設(shè)計(jì)的。而當(dāng)戴上虛擬現(xiàn)實(shí)頭顯播放視頻時(shí)會(huì)出現(xiàn)圖像失真，這會(huì)導(dǎo)致我們的大腦很難對(duì)左右眼睛看到的圖像進(jìn)行合成。谷歌對(duì)這些失真進(jìn)行仔細(xì)分析，確定距離和視角的實(shí)際極限，以此確保為用戶帶來一個(gè)舒適的觀影體驗(yàn)。

其次，目前也沒有可用來制作 ODS 視頻的現(xiàn)成系統(tǒng)。谷歌通過仔細(xì)分析所需的攝像頭數(shù)量，視場(chǎng)角和設(shè)備的大小等參數(shù)之后，最終確定了 Jump 的最終組合形態(tài)（16個(gè)攝像頭是最佳設(shè)計(jì)）。GoPro Odyssey 的設(shè)計(jì)也是采用這種分析方案。當(dāng)然，該方案首先是應(yīng)用于 Jump。

最后，在多攝像頭的情況下進(jìn)行無縫拼接視頻是極具挑戰(zhàn)的。為此，谷歌開發(fā)了一個(gè)算法，可以自動(dòng)無縫拼接高質(zhì)量的 ODS 視頻。而這個(gè)算法的核心就是 Jump Assembler 匯編程序，它可以進(jìn)行數(shù)百萬的幀處理。

以下是一些關(guān)于 Jump Assembler 工作原理的動(dòng)態(tài)演示：

Jump當(dāng)用戶的頭部以任意方向觀影時(shí)，ODS 投影在接近用戶視野處生成一個(gè)虛擬馬賽克，從而提供一個(gè) 360 的視頻體驗(yàn)

Jump部分 ODS 投影可通過 Jump 的攝像頭進(jìn)行捕捉，而捕捉到的這部分影像通過“視圖插值”算法來進(jìn)行合成

PS：視頻術(shù)語解釋

Input Sequence：輸入序列

Coarse Alignment：粗對(duì)準(zhǔn)

Per-pixel Flow：每像素流

Per-frame Flow：每幀流

Temprally Consistent Flow：時(shí)間一致流