iPhone新加入的空間視頻拍攝功能,究竟是什么?

?? 由 文心大模型 生成的文章摘要

蘋果今天宣布將在最新發(fā)布的iPhone 15 Pro系列手機(jī)上推出一項(xiàng)新功能——空間視頻拍攝,該功能將與其在6月份發(fā)布的空間Vision Pro相結(jié)合,為用戶帶來空間視頻體驗(yàn)。蘋果表示,這些空間視頻將“讓你在Vision Pro上以一種新的方式重溫你的記憶”。

不過在發(fā)布會(huì)上,蘋果并沒有深入的探究這項(xiàng)技術(shù)的細(xì)節(jié),僅僅是簡單的介紹了一下該功能的實(shí)現(xiàn)方式——通過將iPhone 15 Pro系列手機(jī)的主攝像頭與超廣角攝像頭相結(jié)合,實(shí)現(xiàn)了空間視頻的拍攝。而更低端的iPhone 15以及iPhone 15 Plus則不支持該項(xiàng)功能。

從宣傳片中拍攝者的動(dòng)作來看,通過iPhone 15 Pro拍攝空間視頻時(shí)僅僅在適中的距離采用固定機(jī)位即可完成拍攝。值得注意的事情是,佩戴Vision Pro觀看空間視頻的場(chǎng)景中,盡管渲染了空間視頻窗口在不同角度下的不同畫面,但蘋果并未直白的表明這是Vision Pro頭顯中的畫面,佩戴Vision Pro的人僅僅是坐在沙發(fā)上頭部并未做出任何轉(zhuǎn)動(dòng)動(dòng)作。

目前我們還不能清楚的了解到通過iPhone拍攝的空間視頻是①僅僅具有固定視角的3D畫面,還是②在一定程度上可以在6DoF的交互環(huán)境下讓用戶以自由視角去觀看。此外,蘋果在發(fā)布會(huì)上介紹空間視頻的拍攝時(shí),并沒有提及LiDAR是否參與了其中,也為這項(xiàng)功能帶來了重重疑問。

這里我們將簡單的探討一下①②兩種方式拍攝空間視頻的差異,以推測(cè)蘋果在iPhone 15 Pro實(shí)現(xiàn)空間視頻拍攝的技術(shù)路徑:

簡單來說,①更接近于傳統(tǒng)3D電影的制作方式——通過兩個(gè)合理設(shè)置間距的鏡頭進(jìn)行拍攝,兩個(gè)鏡頭間的畫面具有視差,并分別呈現(xiàn)給人的左眼和右眼,最終產(chǎn)生3D的畫面。

考慮到iPhone 15 Pro實(shí)際鏡頭的間距較小,在最終生成空間視頻時(shí)蘋果或許還需要在iPhone上進(jìn)行額外的工作,例如引入LiDAR深度傳感器的數(shù)據(jù)對(duì)原畫面進(jìn)行重投影生成符合雙眼視差的畫面。

這套方案較為成熟,但缺點(diǎn)就在于用戶必須在特定的位置和視角才能享受最好的觀看體驗(yàn)。

②的效果更接近于另一個(gè)概念,即體積視頻(Volumetric Video),然而用蘋果宣傳片中的拍攝方式生成空間視頻并提供6DoF環(huán)境下不同視角觀看的能力,存在著一個(gè)很重要的缺陷——一旦場(chǎng)景中存在兩個(gè)物體相互遮擋,在不限制視角的情況下必然造成穿幫,因?yàn)殓R頭無法記錄被遮擋物體的畫面,如果視角改變被遮擋的部分從視野中露出,誰也無法憑空補(bǔ)足原先被遮擋的部分。

這也是為什么大多數(shù)體積視頻制作時(shí)需要「鳥籠」的原因:通過更多不同角度的鏡頭,避免拍攝死角的出現(xiàn)。

▲體積捕捉時(shí)由鏡頭陣列構(gòu)成的「鳥籠」。
▲體積捕捉時(shí)由鏡頭陣列構(gòu)成的「鳥籠」。
▲Google Project Starline,即使只需要拍攝用戶僅能從正面觀看的體積視頻,也用到了分布于屏幕上、左、右三個(gè)方向的鏡頭陣列。
▲Google Project Starline,即使只需要拍攝用戶僅能從正面觀看的體積視頻,也用到了分布于屏幕上、左、右三個(gè)方向的鏡頭陣列。

當(dāng)然,如果限制好觀看角度,蘋果應(yīng)當(dāng)具備根據(jù)前后幀畫面補(bǔ)全少量被遮擋區(qū)域畫面的能力,這或許也是蘋果僅僅推出了空間視頻功能卻沒有推出空間照片功能的一個(gè)重要因素,視頻有前后幀畫面作為參考,但照片沒有。

不過話又說回來,既然已經(jīng)限制了觀看角度,方案①最終的呈現(xiàn)效果和實(shí)現(xiàn)難度,或許要更具優(yōu)勢(shì)。

又或者,在①和②之外,蘋果業(yè)界獨(dú)一檔的研發(fā)能力開辟了一條超出大眾認(rèn)知的新方案,同時(shí)解決了觀看視角和物體遮擋的限制,也不無可能。但最終答案的揭曉,或許還要等待這項(xiàng)功能的正式發(fā)布。

對(duì)于蘋果iPhone 15 Pro的空間視頻拍攝新功能,你有怎樣的看法?歡迎留言探討!

「93913原創(chuàng)內(nèi)容,轉(zhuǎn)載請(qǐng)注明出處」