虚拟现实VR中的13种视频模式 – 硬核解析或为全网唯一
编辑导语:虚拟现实技术是20世纪发展起来的一项全新的实用技术。随着社会生产力和科学技术的不断发展,各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步,并逐步成为一个新的科学技术领域。而想要做一款通用的VR视频播放器就需要了解到13种VR视频模式以及用户和制作者的倾向。作者在这篇文章中为我们分享了他的思考和解析,一起来看。
平时使用手机电脑观看视频一般都是矩形屏幕,大部分都是长宽比例的变化。偶尔去电影院看电影时,大部分人才能接触到3D模式的视频。随着我对VR的探索,发现VR中实际上有着13种视频模式的存在。
所以如果我们想要做一款通用的VR视频播放器,就必须要了解到两个问题:这13种VR视频模式是什么?用户和内容制作者更倾向于哪一种?下面是我的一些总结和思考。
一、VR视频模式的分类
1. 像素排布形状
(1)矩形
平时我们使用手机看的视频基本全部都是矩形分布,电影常用21:9的长宽比,一般手机屏幕也设计成16:9的长宽比。而这些视频像素形状的排布模式我把它叫做矩形。
(2)全景
在VR视频中要做到完全沉浸感需要显示四面八方的内容,视频的像素点就会按照一个球形排布,这样人就能看到全景的视频,或者叫做360度视频。
(3)半景
在VR视频中还有180度的视频,像素其实是按照一个半球形的排布所以称为180度视频或者半景视频。
(4)鱼眼
180度刚好是个半球,360度刚好是个全景,而我们人眼的视角范围却不是规整的。全身静止且眼球静止的 是一个视线范围,眼球转动得到更广的一个视线范围,加上头部转动又得到更广的一个视线范围,在加上身体的转动就能达到全场景的观看。
因此非规整的半景、全景之间的球形视频排布的集合,我把它统一叫做鱼眼排布。
2. 维度分类
(1)2D
当视频只有一个观察视角的时候,或者我们双眼看到同样一个画面的时候。这个视频就是2D的,实际感受就是视频没有纵深的变化,像是在一张纸上看视频,这些都是2D视频。
(2)3D
当视频出现两个观察视角,并且精准的把左视角内容传入左眼,右视角的内容传入右眼的时候,因为存在视角差,双眼之间有约6.5cm的距离差,这样眼睛定位一个物品就有了空间距离。也就是视频有了纵深,这时候就不像看一张纸的内容了,更像通过一扇窗。
(3)VR视频模式的8个大类
二、VR视频模式细分
根据以上分类我们得到了理论的8个大类,但实际在内容生产、技术演进和用户消费中又产生了多个细分和调整。
1. 3D视频演进史简述
(1)红蓝3d时代
当人们发现只要给左右眼分别对应的画面,就能呈现3d立体画面。根据光的穿透特性,红绿蓝可以组成所有颜色,红色的光无法穿过红色透镜,蓝色的光无法穿过蓝色透镜。因此在同一个画面中投放用不同颜色代表不同角度的画面,用户带上红蓝透镜的眼镜,就能看到立体的画面,但是人们也发现通过透镜的光,亮度损失和色彩损失都比较大,这个技术很快被取代。
(2)偏振式3d影院时代
光子有波粒二象性,对于一个向‘法向量’发射的光,从垂直于法向量的平面上来看,可能是上下左右各个角度的摆动。根据光的粒子性,假设通过特殊光栅结构一台投影机,只发射上下波动的光子,另一台投影机发射左右波动的光子。那么不同摄像机发射不同角度的画面。用户带上偏振式眼镜就可以看到不同的画面了。
(3)偏振式3d流媒体时代
早期偏振式影视是要两个文件的,分别对应左眼、右眼。后来慢慢电影资源开始流转到用户的电脑播放,两个文件同时传输播放技术操作很不方便。于是就有了2种解决方案:图像循环播放 1帧左眼 – 1帧右眼。或者假设16:9的视频文件,左眼的图像横向挤压成8:9的放左边,右眼的图像横向挤压成8:9的放右边,整体还是16:9 ,播放的时候分别还原左右眼图像(上下排布同理)。
在普通用户看来,后一种方法明显不打开3d模式就知道是3D的,所以普及的更快速。
(4)左右3dvr盒子时代
以前的方式都要佩戴眼镜,16年左右vr盒子出现了。因为距离眼镜非常近,所以直接可以控制左眼和右眼看到不同的内容。所以手机播放的画面也不再是畸变的,慢慢的3D资源也开始变成非畸变的左右视频,但泡沫过后手机盒子很少看到了。
2. 360全景视频演进史简述
(1)怎样制作全景画面呢?
(2)多角度拼接法-瓷砖贴球
在没有专用3d相机且摄影设备还不发达的时候,通过固定位置多个角度拍摄大量的照片,然后像给球贴瓷砖一样进行拼接就实现了全景图像。
(3)半球面畸变法-凹凸镜
后来很快就发明了鱼眼摄像机,也就是像凹凸镜一样可以拍摄广角镜像,最后二维上呈现一个圆形畸变图片。这样只需要几张图就能实现拼接。但是球形图对于影视后期制作非常不方便。
(4)正方体拟合法-正方盒子
cube拟合就是一个正方体有6个面可以形成一个方形空间,在通过播放器进行拼接优化接缝,就能实现全景图像。这样的图像对于后期制作要有好的多。而且摄影机六镜头方案也很容易形成标准,有利于形成市场。立方体的6个面展开图,可以呈现T型或者横T型,很容易切割成2块,视频存储到一个画面,一个放上面一个放下面即可,十分方便清晰。
(5)腰鼓畸变法-世界地图
六边形毕竟还是有很多90度直角,像素点分布不均衡。随着技术的发展,鱼眼镜头开始能拍摄大于180度的画面。所以像世界地图一样展开画面,顶部底部会延展性形变,而中间部分则没什么形变,而这一部分往往是视频关注的核心。亚洲版世界地图看到的俄罗斯超级大,而实际没有那么大。
当全景图以平面的方式呈现的时候。距离眼睛近的物体占视角多,就会显得特别大。拍摄站立的全身人像优点像橄榄球,就是腰鼓畸变。
三、VR视频全13种模式简介
1. 矩形2D
就是我们平时看的手机视频,是最多最广泛的视频模式。
2. 矩形3D – 偏振式上下排列
偏振技术成熟度高,影视普遍是21:9的,上下压缩信息可读性下降厉害,这种排列方式比较少见。
3. 矩形3D – 偏振式左右排列
六年前应该是非常常见的,有很多那时候的电影都流传出了这种版本,不少人都有备份。
4. 矩形3D – 左右3d排列
四年前手机vr盒子的兴起,用户手里开始流传一部分这种资源,又因为近些年流媒体更成熟,所以有很多这样的3d影视资源。毕竟10元的手机盒子,总是还有一些小朋友好奇试试,所以b站上也流传很多。
5. 360全景2D – 立方体拟合法A型
因为当年全景视频在海外技术积累更加平滑,所以有不少4年前的全景视频都是采用的这种技术。但同时因为当年拍摄像素质量不高,现在少人问津了。当把立方体6个面分成2份后,一份放上面,另一份放下面,因为谁上谁下却没有优劣可言。所以两种方式并列发展,孪生兄弟,用AB来进行区分。
6. 360全景2D – 立方体拟合法B型
见A型描述。
7. 360全景2D – 腰鼓畸变
近3年鱼眼镜头和智能拼接算法 都在进步,所以人们开始更加关注视频的后期制作。腰鼓式畸变对于后期制作人员更加友好,逐渐统一了市场,现在基本都是腰鼓畸变,是最为流行的VR全景视频模式。
8. 360全景3D – 腰鼓畸变偏振式上下排列
现在使用最广的显示器还是1080P,2k和4k逐渐普及。在技术基础视频压缩编码,视频传输带宽,软件播放算力等诸多情况下,国内刚刚开始普及4k,海外主要普及8k。而仅仅360度全景2D视频就需要12k到16k的分辨率才能基本满足“可以看”的水平。
3D还要在这个基础上分辨率翻倍,现阶段基本不可能,所以几乎没有此类视频资源。
9. 180半景2D – 腰鼓畸变
因为人眼在不摆头的情况下视野范围几乎看不到背面,同时人眼一般只能聚焦于约20°范围角的事物上。在VR视频对于分辨率极高的要求下,180半景视频似乎可以替代矩形2D,成为最通用的VR视频模式。
但实际上VR用户群体还比较少,绝大部分人使用vr就想用完全沉浸满足一下好奇心,也就使得内容制作人员精力放在了360全景视频创作,这也导致全景相机制造商在本就不大的市场上,逐渐放弃了对180度的支持。形成恶性循环,所以当前影视资源很少。
10. 180半景3D – 腰鼓畸变偏振式左右排列
因为矩形3d中偏振式左右的接纳程度和技术使用最多,并且现有的绝大部分视频都是扁矩形。180半景2D在二维屏幕上表现出来是个长宽比1:1的样子,180半景3D表现成了左右并列的样子。(没有矩形中的横向压缩畸变)结合对于180半景2D的分析,半景3D近乎完全保证了沉浸感的同时,将视频制作、传输、存储、播放的使用效率最大化。
如果有人沉下心来做这种视频的作品,2-3年后绝对是顶流,但目前只有海外二次元MMD一个极小圈子在玩这东西。
特别提示:B站搜索“玩vr的李康康”可以看到我以前搬运的一些这种视频,4K分辨率下,效果非常不错。
11. 180半景3D – 腰鼓畸变偏振式上下排列
一般都是左右排列,采用上下排列的极少。
12. 鱼眼2D – 凹凸镜
因为视频内容没有人规范,导致可视角变化非常多,播放器无从适配,也就没有用户,恶性循环。但专业影视团队拍摄中,要使用鱼眼镜头,会拍出这种画面,和普通消费者目前关系不大。
13. 鱼眼3D – 凹凸镜左右3d排列
极少,理由同上。
关于VR视频相关的内容,网上的资料非常零碎。整理这些内容我不仅是我在各个视频内容网站的搜罗记录。还有关于全景画面形成方式的学习,3D视频处理技术的探索,还有某全景相机公司大佬对当前市场表现的讲解等等。
本文由 @九棱镜 原创发布于人人都是产品经理。未经许可,禁止转载
题图来自Unsplash,基于CC0协议
VR在进步,加油