虛擬現實VR中的13種視頻模式 – 硬核解析或為全網唯一 | 人人都是產品經理

編輯導語:虛擬現實技術是20世紀發展起來的一項全新的實用技術。隨著社會生產力和科學技術的不斷發展,各行各業對VR技術的需求日益旺盛。VR技術也取得了巨大進步,並逐步成為一個新的科學技術領域。而想要做一款通用的VR視頻播放器就需要了解到13種VR視頻模式以及用戶和製作者的傾向。作者在這篇文章中為我們分享了他的思考和解析,一起來看。

平時使用手機電腦觀看視頻一般都是矩形屏幕,大部分都是長寬比例的變化。偶爾去電影院看電影時,大部分人才能接觸到3D模式的視頻。隨著我對VR的探索,發現VR中實際上有著13種視頻模式的存在。

所以如果我們想要做一款通用的VR視頻播放器,就必須要了解到兩個問題:這13種VR視頻模式是什麼?用戶和內容製作者更傾向於哪一種?下面是我的一些總結和思考。

一、VR視頻模式的分類

1. 像素排布形狀

(1)矩形

平時我們使用手機看的視頻基本全部都是矩形分佈,電影常用21:9的長寬比,一般手機屏幕也設計成16:9的長寬比。而這些視頻像素形狀的排布模式我把它叫做矩形。

(2)全景

在VR視頻中要做到完全沉浸感需要顯示四面八方的內容,視頻的像素點就會按照一個球形排布,這樣人就能看到全景的視頻,或者叫做360度視頻。

(3)半景

在VR視頻中還有180度的視頻,像素其實是按照一個半球形的排布所以稱為180度視頻或者半景視頻。

(4)魚眼

180度剛好是個半球,360度剛好是個全景,而我們人眼的視角範圍卻不是規整的。全身靜止且眼球靜止的 是一個視線範圍,眼球轉動得到更廣的一個視線範圍,加上頭部轉動又得到更廣的一個視線範圍,在加上身體的轉動就能達到全場景的觀看。

因此非規整的半景、全景之間的球形視頻排布的集合,我把它統一叫做魚眼排布。

2. 維度分類

(1)2D

當視頻只有一個觀察視角的時候,或者我們雙眼看到同樣一個畫面的時候。這個視頻就是2D的,實際感受就是視頻沒有縱深的變化,像是在一張紙上看視頻,這些都是2D視頻。

(2)3D

當視頻出現兩個觀察視角,並且精準的把左視角內容傳入左眼,右視角的內容傳入右眼的時候,因為存在視角差,雙眼之間有約6.5cm的距離差,這樣眼睛定位一個物品就有了空間距離。也就是視頻有了縱深,這時候就不像看一張紙的內容了,更像通過一扇窗。

(3)VR視頻模式的8個大類

二、VR視頻模式細分

根據以上分類我們得到了理論的8個大類,但實際在內容生產、技術演進和用戶消費中又產生了多個細分和調整。

1. 3D視頻演進史簡述

(1)紅藍3d時代

當人們發現只要給左右眼分別對應的畫面,就能呈現3d立體畫面。根據光的穿透特性,紅綠藍可以組成所有顏色,紅色的光無法穿過紅色透鏡,藍色的光無法穿過藍色透鏡。因此在同一個畫面中投放用不同顏色代表不同角度的畫面,用戶帶上紅藍透鏡的眼鏡,就能看到立體的畫面,但是人們也發現通過透鏡的光,亮度損失和色彩損失都比較大,這個技術很快被取代。

(2)偏振式3d影院時代

光子有波粒二象性,對於一個向『法向量』發射的光,從垂直於法向量的平面上來看,可能是上下左右各個角度的擺動。根據光的粒子性,假設通過特殊光柵結構一台投影機,只發射上下波動的光子,另一台投影機發射左右波動的光子。那麼不同攝像機發射不同角度的畫面。用戶帶上偏振式眼鏡就可以看到不同的畫面了。

(3)偏振式3d流媒體時代

早期偏振式影視是要兩個文件的,分別對應左眼、右眼。後來慢慢電影資源開始流轉到用戶的電腦播放,兩個文件同時傳輸播放技術操作很不方便。於是就有了2種解決方案:圖像循環播放 1幀左眼 – 1幀右眼。或者假設16:9的視頻文件,左眼的圖像橫向擠壓成8:9的放左邊,右眼的圖像橫向擠壓成8:9的放右邊,整體還是16:9 ,播放的時候分別還原左右眼圖像(上下排布同理)。

在普通用戶看來,后一種方法明顯不打開3d模式就知道是3D的,所以普及的更快速。

(4)左右3dvr盒子時代

以前的方式都要佩戴眼鏡,16年左右vr盒子出現了。因為距離眼鏡非常近,所以直接可以控制左眼和右眼看到不同的內容。所以手機播放的畫面也不再是畸變的,慢慢的3D資源也開始變成非畸變的左右視頻,但泡沫過後手機盒子很少看到了。

2. 360全景視頻演進史簡述

(1)怎樣製作全景畫面呢?

(2)多角度拼接法-瓷磚貼球

在沒有專用3d相機且攝影設備還不發達的時候,通過固定位置多個角度拍攝大量的照片,然後像給球貼瓷磚一樣進行拼接就實現了全景圖像。

(3)半球面畸變法-凹凸鏡

後來很快就發明了魚眼攝像機,也就是像凹凸鏡一樣可以拍攝廣角鏡像,最後二維上呈現一個圓形畸變圖片。這樣只需要幾張圖就能實現拼接。但是球形圖對於影視後期製作非常不方便。

(4)正方體擬合法-正方盒子

cube擬合就是一個正方體有6個面可以形成一個方形空間,在通過播放器進行拼接優化接縫,就能實現全景圖像。這樣的圖像對於後期製作要有好的多。而且攝影機六鏡頭方案也很容易形成標準,有利於形成市場。立方體的6個面展開圖,可以呈現T型或者橫T型,很容易切割成2塊,視頻存儲到一個畫面,一個放上面一個放下面即可,十分方便清晰。

(5)腰鼓畸變法-世界地圖

六邊形畢竟還是有很多90度直角,像素點分佈不均衡。隨著技術的發展,魚眼鏡頭開始能拍攝大於180度的畫面。所以像世界地圖一樣展開畫面,頂部底部會延展性形變,而中間部分則沒什麼形變,而這一部分往往是視頻關注的核心。亞洲版世界地圖看到的俄羅斯超級大,而實際沒有那麼大。

當全景圖以平面的方式呈現的時候。距離眼睛近的物體占視角多,就會顯得特別大。拍攝站立的全身人像優點像橄欖球,就是腰鼓畸變。

三、VR視頻全13種模式簡介

1. 矩形2D

就是我們平時看的手機視頻,是最多最廣泛的視頻模式。

2. 矩形3D – 偏振式上下排列

偏振技術成熟度高,影視普遍是21:9的,上下壓縮信息可讀性下降厲害,這種排列方式比較少見。

3. 矩形3D – 偏振式左右排列

六年前應該是非常常見的,有很多那時候的電影都流傳出了這種版本,不少人都有備份。

4. 矩形3D – 左右3d排列

四年前手機vr盒子的興起,用戶手裡開始流傳一部分這種資源,又因為近些年流媒體更成熟,所以有很多這樣的3d影視資源。畢竟10元的手機盒子,總是還有一些小朋友好奇試試,所以b站上也流傳很多。

5. 360全景2D – 立方體擬合法A型

因為當年全景視頻在海外技術積累更加平滑,所以有不少4年前的全景視頻都是採用的這種技術。但同時因為當年拍攝像素質量不高,現在少人問津了。當把立方體6個面分成2份后,一份放上面,另一份放下面,因為誰上誰下卻沒有優劣可言。所以兩種方式並列發展,孿生兄弟,用AB來進行區分。

6. 360全景2D – 立方體擬合法B型

見A型描述。

7. 360全景2D – 腰鼓畸變

近3年魚眼鏡頭和智能拼接演算法 都在進步,所以人們開始更加關注視頻的後期製作。腰鼓式畸變對於後期製作人員更加友好,逐漸統一了市場,現在基本都是腰鼓畸變,是最為流行的VR全景視頻模式。

8. 360全景3D – 腰鼓畸變偏振式上下排列

現在使用最廣的顯示器還是1080P,2k和4k逐漸普及。在技術基礎視頻壓縮編碼,視頻傳輸帶寬,軟體播放算力等諸多情況下,國內剛剛開始普及4k,海外主要普及8k。而僅僅360度全景2D視頻就需要12k到16k的解析度才能基本滿足「可以看」的水平。

3D還要在這個基礎上解析度翻倍,現階段基本不可能,所以幾乎沒有此類視頻資源。

9. 180半景2D – 腰鼓畸變

因為人眼在不擺頭的情況下視野範圍幾乎看不到背面,同時人眼一般只能聚焦於約20°範圍角的事物上。在VR視頻對於解析度極高的要求下,180半景視頻似乎可以替代矩形2D,成為最通用的VR視頻模式。

但實際上VR用戶群體還比較少,絕大部分人使用vr就想用完全沉浸滿足一下好奇心,也就使得內容製作人員精力放在了360全景視頻創作,這也導致全景相機製造商在本就不大的市場上,逐漸放棄了對180度的支持。形成惡性循環,所以當前影視資源很少。

10. 180半景3D – 腰鼓畸變偏振式左右排列

因為矩形3d中偏振式左右的接納程度和技術使用最多,並且現有的絕大部分視頻都是扁矩形。180半景2D在二維屏幕上表現出來是個長寬比1:1的樣子,180半景3D表現成了左右並列的樣子。(沒有矩形中的橫向壓縮畸變)結合對於180半景2D的分析,半景3D近乎完全保證了沉浸感的同時,將視頻製作、傳輸、存儲、播放的使用效率最大化。

如果有人沉下心來做這種視頻的作品,2-3年後絕對是頂流,但目前只有海外二次元MMD一個極小圈子在玩這東西。

特別提示:B站搜索「玩vr的李康康」可以看到我以前搬運的一些這種視頻,4K解析度下,效果非常不錯。

11. 180半景3D – 腰鼓畸變偏振式上下排列

一般都是左右排列,採用上下排列的極少。

12. 魚眼2D – 凹凸鏡

因為視頻內容沒有人規範,導致可視角變化非常多,播放器無從適配,也就沒有用戶,惡性循環。但專業影視團隊拍攝中,要使用魚眼鏡頭,會拍出這種畫面,和普通消費者目前關係不大。

13. 魚眼3D – 凹凸鏡左右3d排列

極少,理由同上。

關於VR視頻相關的內容,網上的資料非常零碎。整理這些內容我不僅是我在各個視頻內容網站的搜羅記錄。還有關於全景畫面形成方式的學習,3D視頻處理技術的探索,還有某全景相機公司大佬對當前市場表現的講解等等。