节省带宽的VR全景视频布局方法、装置及展现方法、系统

摘要

本发明提供一种VR全景视频布局方法、装置和系统，其中方法包括：将VR全景球形视频投影到以球形为内切球的棱锥表面；将所述棱锥表面展开成平面图形，得到棱锥投影的视频平面；通过形变使所述视频平面变为规则形状，得到规则的视频平面。VR全景视频布局系统包括：VR全景视频布局处理装置、VR全景视频流媒体服务器、VR全景视频播放器。VR全景视频播放器用于根据用户视角播放来自于所述VR全景视频流媒体服务器的视频数据。本发明提供的VR全景视频布局方法、装置和系统，提供了一种基于棱锥的投影方式，这种投影方式投影出来的视频，表面积比equirectangular 投影方式少80%，比现有VR视频技术降低VR全景视频传输80%的带宽，并且能够根据用户视角播放全景视频。

说明书

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种VR（VirtualReality，即虚拟现实，简称VR）全景视频布局方法、装置及展现方法、系统。

背景技术

目前市场上VR全景视频都是equirectangular 布局方式，其原理是地球映射，将球形的经度和纬度坐标，直接投影到水平和垂直坐标的一格，这个网格的宽度大约是高的两倍。因此从赤道到两极，横向拉伸不断加剧，南北两个极点被拉伸成了扁平的网格，在整个图形的上部和下部边缘。这种投影方式的缺陷是产生的视频文件比较大，传输时占用较大的网络带宽。现有技术的全景视频布局的投影方式存在占用网络带宽较大的缺陷。

发明内容

针对背景技术中所出现的问题，本发明提供了一种VR全景视频布局方法，包括：将VR全景球形视频投影到以球形为内切球的棱锥表面；将所述棱锥表面展开成平面图形，得到棱锥投影初始的的视频平面；通过形变使所述视频平面变为规则形状，得到规则的视频平面。

可选的是，所述棱锥为四棱锥。

在上述任一方案中可选的是，所述棱锥底部的区域对应用户正面视角方向的视频区域。

在上述任一方案中可选的是，把VR全景空间分成多个视窗，每个视窗对应于用户正面的视角方向，也就是棱锥底部区域。

在上述任一方案中可选的是，VR全景空间中高清渲染用户正面视角视窗的视频 ，剩余的球形区域，低清晰度渲染。

在上述任一方案中可选的是，把VR全景空间分成6个视窗，每个视窗对应于用户正面的视角方向。

在上述任一方案中可选的是，还包括存储所述VR全景视频的视频文件。

在上述任一方案中可选的是，所述VR全景视频的视频文件包括：多个视角的视频文件，每个视角对应一个VR全景视频文件。

在上述任一方案中可选的是，每一个视角的VR全景视频文件都包括完整的VR全景内容，用户正面视角的视频是高清晰度的 ，其它视角的视频是低清晰度的。

在上述任一方案中可选的是，还包括通过编写ffmpeg插件实现VR全景视频布局。

本发明还提供了一种VR全景视频布局装置，包括视频布局处理模块，所述视频布局处理模块包括：投影单元，用于将VR全景球形视频投影到以球形为内切球的棱锥表面；展开单元，用于将所述棱锥表面展开成平面图形，得到棱锥投影的初始的视频平面；形变单元，用于通过形变使所述视频平面变为规则形状，得到规则的视频平面。

可选的是，所述棱锥为四棱锥。

在上述任一方案中可选的是，所述棱锥底部的区域对应用户正面视角方向的视频区域。

在上述任一方案中可选的是，还包括视窗切分单元，用于把VR全景空间分成多个视窗，每个视窗对应于用户正面的视角方向，也就是棱锥底部区域；基于每个视角经所述视频布局处理模块处理得到所述规则的视频平面。

在上述任一方案中可选的是，VR全景空间中高清渲染用户正面视角视窗的视频 ，剩余的球形区域，低清晰度渲染。

在上述任一方案中可选的是，所述视窗切分单元，用于把VR全景空间分成6个视窗，每个视窗对应于用户正面的视角方向。

在上述任一方案中可选的是，还包括通过通过编写ffmpeg插件实现VR全景视频布局。

在上述任一方案中可选的是，还包括第一存储器，用于存储所述VR全景视频的视频文件。

在上述任一方案中可选的是，所述VR全景视频的视频文件包括由所述视窗切分单元切分的并由所述视频布局处理模块处理过的多个视角的VR全景视频的视频文件，每个视角对应一个VR全景视频文件。

在上述任一方案中可选的是，每一个视角的视频文件都包括完整的VR全景内容，用户正面视角的视频是高清晰度的 ，其它视角的视频是低清晰度的。

在上述任一方案中可选的是，还包括通过编写ffmpeg插件实现VR全景视频布局。

本发明还提供了一种VR全景视频展现方法，包括：使用VR全景视频处理装置将VR全景球形视频按照上述VR全景视频布局方法进行处理；通过VR全景视频流媒体服务器接收如权利要求6所述的VR全景视频的视频文件；根据用户视角由VR全景视频播放器播放VR全景视频数据。

可选的是，用所述VR全景视频流媒体服务器存储所述VR全景视频布局处理装置输出的所述VR全景视频的视频文件。

在上述任一方案中可选的是，还包括通过所述VR全景视频播放器将所述VR全景视频数据渲染到球形表面。

在上述任一方案中可选的是，还包括通过所述VR全景视频播放器获取用户视角信息，并将用户视角信息传送给所述VR全景视频流媒体服务器。

在上述任一方案中可选的是，还包括根据所述用户视角信息，所述VR全景视频流媒体服务器将所述VR全景视频数据传送给所述VR全景视频播放器，所述VR全景视频数据为与所述用户视角信息对应的所述视频文件的数据。

在上述任一方案中可选的是，还包括通过所述VR全景视频播放器获取VR设备传感器信息，所述VR设备传感器信息用于获取用户视角信息。

在上述任一方案中可选的是，还包括通过http、rtmp和rtsp协议其中至少一种来实现视频传输。

本发明还提供了一种VR全景视频展现系统，包括：VR全景视频处理装置，包括上述任一项所述的装置；VR全景视频流媒体服务器，用于接收所述VR全景视频处理装置输出的所述VR全景视频的视频文件；VR全景视频播放器，用于根据用户视角播放来自于所述VR全景视频流媒体服务器的VR全景视频数据。

可选的是，所述VR全景视频流媒体服务器还包括第二存储器，用于存储所述VR全景视频布局处理装置输出的所述VR全景视频的视频文件。

在上述任一方案中可选的是，所述VR全景视频播放器配置为：将所述VR全景视频数据渲染到球形表面。

在上述任一方案中可选的是，所述VR全景视频播放器还配置为：获取用户视角信息；将用户视角信息传送给所述VR全景视频流媒体服务器。

在上述任一方案中可选的是，所述VR全景视频流媒体服务器还配置为：根据所述用户视角信息将所述视频数据传送给所述VR全景视频播放器，所述视频数据为与所述用户视角信息对应的所述视频文件的数据。

在上述任一方案中可选的是，所述VR全景视频播放器还配置为获取VR设备传感器信息，所述VR设备传感器信息用于获取用户视角信息。

在上述任一方案中可选的是，通过http、rtmp和rtsp协议其中至少一种来实现视频传输。

本发明提供的VR全景视频布局方法、装置和系统，提供了一种基于棱锥的投影方式，这种投影方式投影出来的视频，表面积比equirectangular投影方式少80%，这样编码出来的视频要比原来小80%，比现有VR视频技术降低VR全景视频传输80%的带宽，并且能够根据用户视角播放全景视频。

附图说明

图1是本发明应用的VR全景视频布局方法的步骤流程图。

图2是人眼观看全景视频示意图。

图3是将球面投影到四棱锥表面的投影示意图。

图4是把四棱锥表面展开成视频平面的展开示意图。

图5是把四棱锥展开形变而成规则的视频平面。

图6是四棱锥渲染到球形表面示意图。

图7是把球形空间切分为6个视窗的切分示意图。

图8是本发明应用的VR全景视频布局装置的结构示意图。

图9是本发明应用的VR全景视频布局系统的结构示意图。

图10是本发明应用的VR全景视频展现方法的步骤流程图。

图11是本发明应用的VR全景视频展现方法的优选实施例的步骤流程图。

具体实施方式

下面将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

本发明提供了一种VR全景视频布局方法。图1是本发明应用的VR全景视频布局方法的步骤流程图。如图1所示，本发明VR全景视频布局方法包括：步骤S101将VR全景球形视频投影到以球形为切球的棱锥表面；步骤S102将所述棱锥表面展开成平面图形，得到棱锥投影的初始的视频平面；步骤S103通过形变使所述视频平面变为规则形状，得到规则的视频平面。步骤S101、步骤S102、步骤S103顺序执行。

根据本发明VR全景视频布局方法的一种优选的实施方式，所述棱锥为四棱锥。本发明提出了一种基于四棱锥Pyramid的布局方式，即把全景内容看做一个四棱锥的内切球，然后把内切球投影到四棱锥表面。人眼在观看全景视频时，可以想象成在一个球型里面，看球的内表面，如图2所示。把球形放入一个四棱锥里面，然后沿眼睛视角方向把球形表面，投影到四棱锥表面，即把全景内容看做一个四棱锥的内切球，然后把内切球投影到四棱锥表面，如图3所示。把四棱锥表面展开，得到了一个平面图形，这个就是四棱锥投影的视频平面，如图4所示。然后通过形变使所述视频平面变为规则形状，得到规则的视频平面。如图5所示。

这种投影方式投影出来的视频，表面积比equirectangular 投影方式少80%，这样编码出来的视频要比equirectangular 投影方式小80%。比现有VR视频技术降低VR全景视频传输80%的带宽。

视频播放的时候，四棱锥底部比较大的区域对应用户眼前正面视角方向的球面视频区域，四个三角形对应剩余的球面区域，如图6所示。基于用户视角渲染VR全景视频，用户眼前的视频高清渲染，其他方位的低清晰度渲染。这样用户眼前的视频清晰度是没有损失的，其他各个面的视频清晰度会有较大损失，用户在看视频头转向其他方向的时候会看到模糊的视频。通过前述的方法，可以得到某一个视角的视频，变换四棱锥底部的在球形内部的位置，可以得到其他视角的视频。根据本发明VR全景视频布局方法的一种实施方式，把全景空间分成多个视窗，每个视窗对应于用户正面的视角方向。再根据本发明VR全景视频布局方法的一种优选的实施方式，把全景空间分成6个视窗，如图7所示，也就是一共6个视角。根据用户的视角实时传输相对应的视窗视频，从而保证了用户眼前的视频一直是清晰的。

根据本发明VR全景视频布局方法的一种实施方式，在上述步骤103之后，执行步骤S104，包括存储所述VR全景视频的视频文件，所述VR全景视频的视频文件包括每个视角的VR全景视频的视频文件。

本发明另一方面提供了一种VR全景视频布局装置。图8是本发明应用的VR全景视频布局装置的结构示意图。如图8所示，本发明VR全景视频布局装置包括视频布局处理模块100，所述视频布局处理模块100包括：投影单元101，用于VR全景球形视频投影到以球形为内切球的棱锥表面；展开单元102，用于将所述棱锥表面展开成平面图形，得到棱锥投影的初始的视频平面；形变单元103，用于通过形变使所述视频平面变为规则形状，得到规则的视频平面。

根据本发明VR全景视频布局装置的一种优选的实施方式，所述棱锥为四棱锥。

上述棱锥底部的区域对应用户正面视角方向的视频区域。根据本发明VR全景视频布局装置的一种实施方式，所述VR全景视频布局装置还包括视窗切分单元105，用于把全景空间分成多个视窗，每个视窗对应于用户正面的视角方向，基于每个视角经所述视频布局处理模块处理得到所述规则的视频平面。再根据本发明VR全景视频布局装置的一种优选的实施方式，所述视窗切分单元105，用于把全景空间分成6个视窗，每个视窗对应于用户正面的视角方向，基于每个视角经所述视频布局处理模块处理得到所述规则的视频平面。

根据本发明VR全景视频布局装置的一种实施方式，通过编写ffmpeg插件实现VR全景视频布局，通过编码把视频文件转换成四棱锥Pyramid格式的视频文件。

根据本发明VR全景视频布局装置的一种实施方式，所述VR全景视频布局装置还包括第一存储器104，用于存储全景视频的视频文件，所述VR全景视频的视频文件包括由所述切分单元切分的并由所述视频布局处理模块处理过的每个视角的VR全景视频的视频文件。

本发明的又一方面提供了一种VR全景视频展现系统。图9是本发明应用的VR全景视频布局系统的结构示意图。如图9所示，本发明VR全景视频布局系统包括：VR全景视频处理装置200，包括上述任一项所述的VR全景视频布局装置；VR全景视频流媒体服务器300，用于接收所述VR全景视频处理装置200输出的所述VR全景视频的视频文件；VR全景视频播放器400，用于根据用户视角播放来自于所述VR全景视频流媒体服务器300的视频数据。

根据本发明VR全景视频展现系统的一种实施方式，所述VR全景视频流媒体服务器300还包括第二存储器301，用于存储所述VR全景视频布局处理装置输出的所述全景视频的视频文件。

根据本发明VR全景视频展现系统的一种实施方式，所述VR全景视频播放器还配置为：将所述VR全景视频数据渲染到球形表面；并且获取用户视角信息；将用户视角信息传送给所述VR全景视频流媒体服务器。所述VR全景视频播放器还安装有传感器401，比如陀螺仪传感器，用于获取用户视角信息。本发明优选的实施方式是基于四棱锥的投影方式。播放器的主要功能是把四棱锥VR全景视频数据渲染到球形表面和获取用户视角信息。视频渲染是基于OpenGL开发的。所述VR全景视频流媒体服务器还配置为：根据所述用户视角信息将所述视频数据传送给所述VR全景视频播放器，所述视频数据为与所述用户视角信息对应的所述视频文件的数据。四棱锥底部的区域对应用户正面视角方向的视频区域，另外4个三角形面对应剩下的球面区域，如图6所示。基于用户视角渲染VR全景视频，用户眼前的视频高清渲染，其他方位的低清晰度渲染，这样保证了用户眼前的视频是最清晰的，但是用户侧面和后面的区域是低清晰度的。

根据本发明VR全景视频展现系统的一种实施方式，所述VR全景视频布局处理装置，通过编写ffmpeg插件实现VR全景视频布局，通过编码把视频文件转换成四棱锥Pyramid格式的视频文件。

根据本发明VR全景视频展现系统的一种实施方式，在VR全景视频布局装置200、VR全景视频流媒体服务器300和VR全景视频播放器400之间，通过http、rtmp和rtsp协议其中至少一种来实现视频传输。

本发明的再一方面还提供了一种VR全景视频展现方法，如图10所示，该方法包括：步骤S210，使用VR全景视频处理装置将VR全景球形视频按照上述VR全景视频布局方法进行处理；步骤S220，通过VR全景视频流媒体服务器接收经VR全景视频处理装置处理后的VR全景视频的视频文件；步骤S230，根据用户视角VR全景视频播放器播放VR全景视频数据。

根据本发明VR全景视频展现方法的一种实施方式，用所述VR全景视频流媒体服务器存储所述VR全景视频布局处理装置输出的所述VR全景视频的视频文件。

根据本发明VR全景视频展现方法的一种实施方式，还包括通过所述VR全景视频播放器将所述VR全景视频数据渲染到球形表面。

再参照图11所示，根据本发明VR全景视频展现方法的一种实施方式，还包括步骤S226，通过所述VR全景视频播放器获取用户视角信息，并将用户视角信息传送给所述VR全景视频流媒体服务器。

再参照图11所示，根据本发明VR全景视频展现方法的一种实施方式，还包括步骤S228，根据所述用户视角信息所述VR全景视频流媒体服务器将所述视频数据传送给所述VR全景视频播放器，所述视频数据为与所述用户视角信息对应的所述视频文件的数据。

根据本发明VR全景视频展现方法的一种实施方式，还包括所述VR全景视频布局处理装置，通过编写ffmpeg插件实现VR全景视频布局。

根据本发明VR全景视频展现方法的一种实施方式，还包括通过所述VR全景视频播放器获取VR设备传感器信息，所述VR设备传感器信息用于获取用户视角信息。

根据本发明VR全景视频展现方法的一种实施方式，还包括通过http、rtmp和rtsp协议其中至少一种来实现视频传输。

根据本发明的一个实施例， VR全景视频布局装置将球形全景视频处理成规则的视频平面，经过VR全景视频布局装置处理后每一个视频源文件中包括6个视角的视频文件。然后输出给VR全景视频流媒体服务器。VR全景视频播放器通过硬件设备上面的陀螺仪获取用户的视角信息，并传出用户的视角信息给VR全景视频流媒体服务器，VR全景视频流媒体服务器返回用户当前视角对应的视频数据。当VR全景视频播放器检测到用户视角信息改变的时候，会实时发送户视角信息给VR全景视频流媒体服务器，VR全景视频流媒体服务器根据获得的用户视角信息来决定返回对应视角的视频。

本发明提供了VR全景视频布局方法、装置和展现方法、系统，特别是提供了一种把球形投影到棱锥的方式布局的投影方式。基于用户视角渲染VR全景视频，用户眼前的视频高清渲染，其他方位的低清晰度渲染。这种投影方式投影出来的视频，表面积比equirectangular 投影方式少80%，这样编码出来的视频要比原来小80%，比现有VR视频技术降低VR全景视频传输80%的带宽，并且能够根据用户视角从视频服务器获取视频数据，播放全景视频。

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于装置和系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法部分说明即可。

可能以许多方式来实现本发明的方法、装置和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。