蘋果發(fā)布了iPhone 15系列智能手機，其中包括iPhone 15 Pro，這將是蘋果首款能夠捕捉空間視頻并在Apple Vision Pro上進行沉浸式觀看的手機。
雖然Apple Vision Pro本身就是一個空間相機，支持用戶捕捉身臨其境的照片和視頻，但我們都會覺得，將攝像頭戴在頭上并不是捕捉內(nèi)容的最方便的方式。
蘋果似乎也考慮到了這種消費者需求。今天，在iPhone 15發(fā)布會上，據(jù)透露，新款iPhone 15 Pro將支持捕捉空間視頻，并支持在Vision Pro身臨其境觀看。iPhone 15和iPhone 15 Plus 基礎(chǔ)版不具備空間捕捉功能。
蘋果公告表示：“我們將超廣角攝像頭和主攝像頭一起用于制作三維視頻。” 但尚不清楚支持“三維視頻”是否意味著具有固定視點的立體鏡頭，或者某種具有一定6DoF擺動空間的深度投影。
鑒于iPhone 15 Pro攝像頭距離如此之近，兩個視角之間沒有足夠的距離來進行直接的立體捕捉，因此似乎有必要進行某種深度投影或場景重建。
蘋果沒有具體說明手機的深度傳感器是否參與其中，但考慮到手機將其用于其他相機功能，我們不會驚訝于發(fā)現(xiàn)手機深度傳感器的作用。奇怪的是，蘋果沒有提到空間照片捕捉，但表面上該功能也是可以實現(xiàn)的。
蘋果還表示，用戶不僅能在Vision Pro上觀看身臨其境視頻，還能與其他頭顯用戶分享視頻。
蘋果指出空間捕捉功能要到“今年晚些時候”才會推出——但考慮到該公司今天還表示 Vision Pro“有望在2024年年初推出”，因此該功能的發(fā)布時間點也令人疑問，也許蘋果計劃支持創(chuàng)作者訪問空間視頻文件以便在蘋果平臺之外進行編輯和使用？
來源：RoadtoVR
蘋果今天宣布將在最新發(fā)布的iPhone 15 Pro系列手機上推出一項新功能——空間視頻拍攝，該功能將與其在6月份發(fā)布的空間Vision Pro相結(jié)合，為用戶帶來空間視頻體驗。蘋果表示，這些空間視頻將“讓你在Vision Pro上以一種新的方式重溫你的記憶”。
不過在發(fā)布會上，蘋果并沒有深入的探究這項技術(shù)的細節(jié)，僅僅是簡單的介紹了一下該功能的實現(xiàn)方式——通過將iPhone 15 Pro系列手機的主攝像頭與超廣角攝像頭相結(jié)合，實現(xiàn)了空間視頻的拍攝。而更低端的iPhone 15以及iPhone 15 Plus則不支持該項功能。
從宣傳片中拍攝者的動作來看，通過iPhone 15 Pro拍攝空間視頻時僅僅在適中的距離采用固定機位即可完成拍攝。值得注意的事情是，佩戴Vision Pro觀看空間視頻的場景中，盡管渲染了空間視頻窗口在不同角度下的不同畫面，但蘋果并未直白的表明這是Vision Pro頭顯中的畫面，佩戴Vision Pro的人僅僅是坐在沙發(fā)上頭部并未做出任何轉(zhuǎn)動動作。
目前我們還不能清楚的了解到通過iPhone拍攝的空間視頻是①僅僅具有固定視角的3D畫面，還是②在一定程度上可以在6DoF的交互環(huán)境下讓用戶以自由視角去觀看。此外，蘋果在發(fā)布會上介紹空間視頻的拍攝時，并沒有提及LiDAR是否參與了其中，也為這項功能帶來了重重疑問。
這里我們將簡單的探討一下①②兩種方式拍攝空間視頻的差異，以推測蘋果在iPhone 15 Pro實現(xiàn)空間視頻拍攝的技術(shù)路徑：
簡單來說，①更接近于傳統(tǒng)3D電影的制作方式——通過兩個合理設(shè)置間距的鏡頭進行拍攝，兩個鏡頭間的畫面具有視差，并分別呈現(xiàn)給人的左眼和右眼，最終產(chǎn)生3D的畫面。
考慮到iPhone 15 Pro實際鏡頭的間距較小，在最終生成空間視頻時蘋果或許還需要在iPhone上進行額外的工作，例如引入LiDAR深度傳感器的數(shù)據(jù)對原畫面進行重投影生成符合雙眼視差的畫面。
這套方案較為成熟，但缺點就在于用戶必須在特定的位置和視角才能享受最好的觀看體驗。
②的效果更接近于另一個概念，即體積視頻（Volumetric Video），然而用蘋果宣傳片中的拍攝方式生成空間視頻并提供6DoF環(huán)境下不同視角觀看的能力，存在著一個很重要的缺陷——一旦場景中存在兩個物體相互遮擋，在不限制視角的情況下必然造成穿幫，因為鏡頭無法記錄被遮擋物體的畫面，如果視角改變被遮擋的部分從視野中露出，誰也無法憑空補足原先被遮擋的部分。
這也是為什么大多數(shù)體積視頻制作時需要「鳥籠」的原因：通過更多不同角度的鏡頭，避免拍攝死角的出現(xiàn)。
當(dāng)然，如果限制好觀看角度，蘋果應(yīng)當(dāng)具備根據(jù)前后幀畫面補全少量被遮擋區(qū)域畫面的能力，這或許也是蘋果僅僅推出了空間視頻功能卻沒有推出空間照片功能的一個重要因素，視頻有前后幀畫面作為參考，但照片沒有。
不過話又說回來，既然已經(jīng)限制了觀看角度，方案①最終的呈現(xiàn)效果和實現(xiàn)難度，或許要更具優(yōu)勢。
又或者，在①和②之外，蘋果業(yè)界獨一檔的研發(fā)能力開辟了一條超出大眾認(rèn)知的新方案，同時解決了觀看視角和物體遮擋的限制，也不無可能。但最終答案的揭曉，或許還要等待這項功能的正式發(fā)布。
對于蘋果iPhone 15 Pro的空間視頻拍攝新功能，你有怎樣的看法？歡迎留言探討！