一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法

摘要

本发明公开了一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法，包括如下步骤：将屏幕内容区域一分为二，只对其中一个区域进行有效性区域划分，然后镜像映射到另外一个区域中去，对于屏幕内容采用基于阈值的图像分割法；利用有效区域的统计相关性对无效区域的像素值进行改变，让其像素值与有效的屏幕区域内容更为相关；采用双视图屏幕内容编码对处理过的屏幕内容进行编码，左眼视图作为基本视图，在对某一帧的其中一个视图进行编码时，利用时域相关性进行传统的时域帧间预测，或利用同一帧左、右视图间的相关性进行视点间预测，最终生成一个比特流。本发明提高了虚拟现实头戴式显示设备的屏幕内容视频的编码效率。

说明书

技术领域

本发明涉及屏幕内容视频通信领域，尤其是一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法。

背景技术

由于价格及便利性的优势，面向普通消费者的虚拟现实设备主要是头戴式虚拟设备。用户可通过头戴式显示器透过光学镜片在距离很近的屏幕上观看虚拟场景。随着虚拟现实用户的不断增加，虚拟现实应用内容也在逐渐丰富。同时，伴随云技术的兴起，虚拟现实设备之间进行屏幕内容分享的需求也在急剧增加，并相应的产生了如云游戏、无线屏幕显示、镜像屏幕、以及屏幕虚拟化等应用。在这些应用中，屏幕分享通常需要以屏幕内容视频的形式在虚拟现实设备之间进行实时地传输，因此对于传输的时延有很高的要求。

与相机拍摄视频相比，屏幕内容视频通常含有大量静止或活动的由计算机生成的图形、文字，可能包含较大的运动(比如向下滚动页面)、与自然界不同的运动(比如演示文档中物体的渐进、渐出)、不连续的色调、饱和的色彩、有限的颜色种类、无传感器噪声、大块均匀平滑的区域、重复出现的图案等特性。屏幕内容视频编码是屏幕内容视频通信中决定系统性能的核心技术之一。

目前，已有的屏幕内容编码方法主要专注于提高压缩性能、降低编码复杂度等方面，并已经在这些方面取得了很大进展。然而，上述屏幕内容编码方法在针对虚拟现实头戴式设备的屏幕内容视频编码方面仍存在如下缺点：(1)已有的屏幕内容编码方案未考虑到虚拟现实头戴式设备的双视点特性。普通屏幕内容视频通常是单视图的，而头戴式设备屏幕内容视频中有左、右眼视图。为了得到立体感，虚拟现实头戴式设备会为左、右眼提供同一场景不同视角的两幅图像。这两副存在着微小的差别，大脑将融合这两个图像获得深度感知，得到一个立体的图像。如若不考虑头戴式设备的双视点特性，会导致编码效率的严重下降；(2)已有的屏幕内容编码方案未考虑到虚拟现实头戴式设备的存在无效区域的特性。虚拟现实头戴式设备的屏幕有效区域呈桶型，存在着无效区域，而普通屏幕内容视频通常不存在无效区域。对于头戴式设备来说，必需借助光学镜片来放大屏幕让眼睛聚焦到距离很近的显示屏上，向双眼提供尽可能宽的视野。光学镜片引入了枕型失真，视场越大、观测范围越大，枕型失真越严重。为了纠正枕型失真，头戴式设备视图预先进行了桶型失真的处理，这样透过镜片看到的视频能近乎正常。虚拟现实头戴式设备矩形屏幕除去桶型有效区域的剩余部分则为无效区域。已有屏幕内容编码方案对编码区域不加以区分，造成了编码比特的浪费。

发明内容

本发明所要解决的技术问题在于，提供一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法，能够提高虚拟现实头戴式显示设备的屏幕内容视频的编码效率。

为解决上述技术问题，本发明提供一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法，包括如下步骤：

(1)根据屏幕内容中左右眼视图对称的特性，将屏幕内容区域一分为二，只对其中一个区域进行有效性区域划分，然后镜像映射到另外一个区域中去，对于屏幕内容采用基于阈值的图像分割法；

(2)利用有效区域的统计相关性对无效区域的像素值进行改变，让其像素值与有效的屏幕区域内容更为相关；

(3)采用双视图屏幕内容编码对处理过的屏幕内容进行编码，左眼视图作为基本视图，在对某一帧的其中一个视图进行编码时，利用时域相关性进行传统的时域帧间预测，或利用同一帧左、右视图间的相关性进行视点间预测，最终生成一个比特流。

优选的，步骤(1)中，基于阈值的图像分割法具体为：将有效区域和无效区域分别记为C和C’，那么基于阈值p_t的图像分割法如下所示：

其中(x,y)为位于图像(x,y)位置的一个像素，p(x,y)为该像素的像素值。

优选的，步骤(2)中，改变无效区域像素值具体为：对于无效区域C’中的一个像素(x’,y’)，其像素值改变为：p(x',y')＝p(x^*,y^*)；其中(x^*,y^*)为C中与(x',y')距离最近的点。

本发明的有益效果为：本发明针对虚拟现实头戴式现实设备的屏幕内容视频有着左右双视图、存在无效区域、及有效区域不规则的特点设计了屏幕内容视频编码方案，提高了虚拟现实头戴式显示设备的屏幕内容视频的编码效率。

附图说明

图1为本发明所要编码的虚拟现实头戴式显示设备屏幕内容示意图。

图2为本发明虚拟现实头戴式显示设备的双视点屏幕内容视频的编码框架示意图。

具体实施方式

如图1所示，一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法，包括如下步骤：

(1)根据屏幕内容中左右眼视图对称的特性，将屏幕内容区域一分为二，只对其中一个区域进行有效性区域划分，然后镜像映射到另外一个区域中去，对于屏幕内容采用基于阈值的图像分割法；

(2)利用有效区域的统计相关性对无效区域的像素值进行改变，让其像素值与有效的屏幕区域内容更为相关；

(3)采用双视图屏幕内容编码对处理过的屏幕内容进行编码，左眼视图作为基本视图，在对某一帧的其中一个视图进行编码时，利用时域相关性进行传统的时域帧间预测，或利用同一帧左、右视图间的相关性进行视点间预测，最终生成一个比特流。

如图1所示，根据屏幕内容中左右眼视图对称的特性，先将屏幕内容区域一分为二，只对其中一个区域进行有效性区域划分，然后镜像映射到另外一个区域中去。虚拟现实头戴式设备为了纠正光学镜片的枕型失真将有效区域预先处理为桶型。视场越大、观测范围越大，有效区域的桶型失真越严重。本发明采用基于阈值的图像分割法。将有效区域和无效区域分别记为C和C’，那么基于阈值p_t的图像分割法如下所示：

其中(x,y)为位于图像(x,y)位置的一个像素，p(x,y)为该像素的像素值。

改变无效区域的样本值的方案来提高非均匀块的编码效率。如果编码单元内部的相关性较大，说明该编码单元具备了高效压缩的可能，从而编码比特率也就越低。因此拟利用有效区域的统计相关性对无效区域的像素值进行改变，让其像素值与有效的屏幕区域内容更为相关来提高编码效率。本发明改变无效区域像素值的具体方案如下，对于无域内容更为相关来提高编码效率。本发明改变无效区域像素值的具体方案如下，对于无效区域C’中的一个像素(x’,y’)，其像素值改变为：

其中(x^*,y^*)为C中与(x',y')距离最近的点。

虚拟现实头戴式设备的双视点屏幕内容视频的编码框架如图2所示。此框架中以左眼视图作为基本视图。在对某一帧的其中一个视图进行编码时，不但可以利用时域相关性进行传统的时域帧间预测，也可利用同一帧左、右视图间的相关性进行视点间预测。此外，预测过程亦可在不同帧不同视图间进行，例如第n+1帧的右眼视图可使用第n帧的左眼视图进行预测。此编码框架的其余部分以高性能视频编码(HEVC)标准中的屏幕内容编码(HEVC-SCC)标准的编码结构和编码工具为基础，使用例如帧内块复制、调色板模式等编码工具。

与现有的屏幕内容视频编码方案相比，本发明针对虚拟现实头戴式现实设备的屏幕内容视频有着左右双视图、存在无效区域、及有效区域不规则的特点设计了屏幕内容视频编码方案，提高了虚拟现实头戴式显示设备的屏幕内容视频的编码效率。

尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。