优化监控视频感知质量的HEVC帧内码率控制方法

摘要

一种优化监控视频感知质量的HEVC帧内码率控制方法，由编码监控视频第1帧、确定LCU的平均帧差、确定LCU的运动感知敏感因子、确定LCU的平均梯度、确定LCU的纹理感知敏感因子、确定LCU的感知敏感因子、确定LCU的目标比特、编码监控视频后续I帧组成，为纹理复杂度中等以及运动速度较慢的视觉敏感区域分配更多码率，在纹理平坦和过度复杂区域以及运动速度快的区域使用相对较少的码率，解决了现有码率控制技术没有充分考虑人类视觉系统感知特性、参数计算复杂的技术问题，特别是在中低码率下能够改善重建视频的感知质量。本发明具有参数计算简单、比特控制精度高、重建视频质量与人类视觉系统感知特性相一致等优点，可用于监控视频码率控制技术领域。

说明书

技术领域

本发明属于视频编码中的码率控制技术领域，具体涉及到一种优化监控视频感知质量的HEVC帧内码率控制方法。

背景技术

随着互联网和多媒体技术的快速发展，多媒体应用早已渗透到我们生活的各个方面。视频作为多媒体的重要组成部分，它已经成为我们获取信息的重要来源。视频监控作为重要的视频应用之一，在公安安全、智能安防、智能家居等领域扮演着极为重要的角色。视频编码是保证监控视频在实际环境中应用的一项关键技术。国际电信联盟电信标准化部门与国际标准化组织/国际电工委员会于2013年共同推出了新一代视频编码标准——HEVC，相对于H.264/AVC，它在保证编码质量不变的前提下，将编码码率节省近50％。

尽管HEVC的压缩效率大大提高，但在现有实时传输视频的环境中，信道带宽会受到一定的限制。为了在满足信道带宽和传输时延限制的情况下有效地传输视频数据，保证视频业务的播放质量，需要对视频的编码过程进行码率控制。基于λ域的码率控制方法首先是为编码单元进行目标比特分配，即根据视频内容、信道带宽和缓冲区状态为编码单元分配恰当的目标比特；然后利用R-λ模型为编码单元独立确定量化参数(QP)实现预分配的目标比特。在仅考虑帧内码率控制的目标比特分配过程中，根据编码过程的分级结构，将目标比特分配分为图像级和最大编码单元(LCU)级。图像级是视频序列中一幅完整图像级别的编码单元，LCU级是对图像级编码单元进一步划分为64×64像素大小的编码单元。图像级的目标比特根据剩余未编码图像的数量、编码复杂度和剩余目标比特的情况进行分配。LCU级的目标比特是根据当前编码图像中剩余未编码LCU的数量、编码复杂度和剩余目标比特的情况进行分配。当前HEVC中基于λ域的码率控制方法在I帧进行LCU级比特分配时，采用下式确定每个LCU的目标比特B

随着编码的推进，LCU的目标比特B′

对人类视觉特性的相关研究表明，人眼在观看视频时具有选择性，视觉焦点会被某些特定的信息所吸引。处于中等纹理复杂度以及运动速度适中和运动速度较慢的物体常常能抓人眼球，例如视频中的行人、市区道路上行驶的车辆。而对于天空、路面等纹理平坦区域以及几乎静止的物体，由于它们所包含的信息量较少，往往容易被人眼忽略。对于草地、树木等纹理复杂区域以及运动速度很快的物体，由于纹理掩盖和运动掩盖的影响，肉眼很难分辨出其细节信息，故而失真难以被察觉。针对人眼这种感知特点，可以将有限的比特资源重新分配，对视觉焦点关注的区域分配更多的码率，而其他“不重要”区域分配相对少的码率，从而在码率相对不足的前提下使视频的感知质量仍然可以得到保证。

当前HEVC中基于λ域的码率控制方法在码率分配的过程中主要是考虑编码结构与视频序列内容特性等客观因素进行码率分配。由于视频流的最终接收端是人类视觉系统，合理的码率分配策略应该为在人眼关注的区域分配较多的码率，在人眼不关注的区域分配较少的码率。因此，HEVC目前采用不考虑人类视觉系统感知特性的基于λ域的码率控制方法的性能还可以被进一步的提高。

针对HEVC标准，一些更加有效的考虑人类视觉系统感知特性的码率控制方法被提出。这些方法的大体思路都是首先将视频中的区域按照“重要性”或者“显著性”划分成不同的等级，然后在码率控制比特分配或QP确定等模块中对更重要的或更显著的区域分配更多的码率用更小的QP编码，以优先保证这些区域的质量，提高整个视频图像的编码感知质量。但是目前存在的这些方法还都存在下面一个或者多个问题：第一，有一些方法虽然目标是提高视频图像的感知质量，但在模型优化或性能测试时还是以峰值信噪比(PSNR)、均方误差(MSE)等不考虑人类视觉感知特性的测度为质量测度。已有大量文献研究表明，PSNR、MSE等不考虑人类视觉感知特性的质量测度与人类视觉系统感知特性的实际质量一致性较差。这类码率控制方法提升的感知质量有限；第二、有一些方法在模型参数的计算及更新过程中会用到一些复杂的操作，如需要预编码、运动估计、各种数学优化模型迭代等。视频监控是一种对实时性要求较高的视频应用，所以模型参数计算及更新复杂的方法由于其高的编码时延也不适合于视频监控应用；第三、一些方法主要针对HEVC中的帧间图像(P帧或者B帧)提出，由于帧内图像与帧间图像在采用编码技术及编码率失真性能方面存在显著的差别，这些方法并不适用于帧内图像；第四、一些基于神经网络的码率控制方法也被提出，但是这类方法对于系统硬件的要求非常高，不适合在视频监控系统中的监控摄像头处使用。另外这类方法的编码时延也非常大，同样不适合在视频监控系统中应用。

发明内容

本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种适用于视频监控系统、考虑人类视觉系统感知特性、低编码时延的优化监控视频感知质量的HEVC帧内码率控制方法。

解决上述技术问题所采用的技术方案是由下述步骤组成：

(1)编码监控视频第1帧

给定目标码率，按照HEVC基于λ域的码率控制方法编码监控视频第1帧。

(2)确定LCU的平均帧差

视频第m个I帧中第n个LCU的平均帧差D

其中m＞1，m、n为有限的正整数，w、h分别为视频第m个I帧中第n个LCU的宽度、高度，x

(3)确定LCU的运动感知敏感因子

视频第m个I帧中第n个LCU的运动感知敏感因子d

其中p

(4)确定LCU的平均梯度

视频第m个I帧中第n个LCU的平均梯度T

(5)确定LCU的纹理感知敏感因子

视频第m个I帧中第n个LCU的纹理感知敏感因子t

其中a

(6)确定LCU的感知敏感因子

视频第m个I帧中第n个LCU的感知敏感因子θ

θ

μ＝b

其中μ、b

(7)确定LCU的目标比特

其中round()为取整函数，B

其中R

(8)编码监控视频后续I帧

用得到的B′

在本发明的确定LCU的运动感知敏感因子步骤(3)中，所述的p

在本发明的确定LCU的纹理感知敏感因子步骤(5)中，所述的a

在本发明的确定LCU的感知敏感因子步骤(6)中，所述的b

由于本发明采用确定LCU的运动感知敏感因子和确定LCU的纹理感知敏感因子，考虑了监控视频内容特性和人类视觉系统感知特性，将感知敏感因子加入到LCU级比特分配权重中，为纹理复杂度中等以及运动速度适中和运动速度较慢的视觉敏感区域分配更多码率，在纹理平坦和过度复杂区域以及运动速度快的区域使用相对较少的码率，很好地表征了视觉感知质量和编码码率之间的关系，解决了现有码率控制技术没有充分考虑人类视觉系统感知特性、参数计算复杂的技术问题，特别是在中低码率下能够改善重建视频的感知质量。本发明具有参数计算简单、比特控制精度高、重建视频质量与人类视觉系统感知特性相一致等优点，可用于监控视频码率控制技术领域。

附图说明

图1是本发明实施例1的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下面的实施例。

实施例1

在图1中，本实施例的优化监控视频感知质量的HEVC帧内码率控制方法由下述步骤组成：

(1)编码监控视频第1帧

给定目标码率，按照HEVC基于λ域的码率控制方法编码监控视频第1帧。

(2)确定LCU的平均帧差

视频第m个I帧中第n个LCU的平均帧差D

其中m＞1，m、n为有限的正整数，w、h分别为视频第m个I帧中第n个LCU的宽度、高度，x

(3)确定LCU的运动感知敏感因子

视频第m个I帧中第n个LCU的运动感知敏感因子d

其中p

该步骤考虑了监控视频内容特性和时域掩盖效应，解决了现有码率控制技术没有充分考虑人类视觉系统感知特性、参数计算复杂的技术问题。

(4)确定LCU的平均梯度

视频第m个I帧中第n个LCU的平均梯度T

(5)确定LCU的纹理感知敏感因子

视频第m个I帧中第n个LCU的纹理感知敏感因子t

其中a

该步骤采用了监控视频内容特性和空域掩盖效应，解决了现有码率控制技术没有充分考虑人类视觉系统感知特性、参数计算复杂的技术问题。

(6)确定LCU的感知敏感因子

视频第m个I帧中第n个LCU的感知敏感因子θ

θ

μ＝b

其中μ、b

(7)确定LCU的目标比特

其中round()为取整函数，B

其中R

该步骤将感知敏感因子加入到LCU级比特分配权重中，为纹理复杂度中等以及运动速度适中和运动速度较慢的视觉敏感区域分配更多码率，在纹理平坦和过度复杂区域以及运动速度快的区域使用相对较少的码率，表征了视觉感知质量和编码码率之间的关系，解决了现有码率控制技术没有充分考虑人类视觉系统感知特性、参数计算复杂的技术问题，特别是在中低码率下能够改善重建视频的感知质量。

(8)编码监控视频后续I帧

用得到的B′

完成优化监控视频感知质量的HEVC帧内码率控制方法。

实施例2

本实施例的优化监控视频感知质量的HEVC帧内码率控制方法由下述步骤组成：

(1)编码监控视频第1帧

该步骤与实施例1相同。

(2)确定LCU的平均帧差

该步骤与实施例1相同。

(3)确定LCU的运动感知敏感因子

视频第m个I帧中第n个LCU的运动感知敏感因子d

其中p

(4)确定LCU的平均梯度

该步骤与实施例1相同。

(5)确定LCU的纹理感知敏感因子

视频第m个I帧中第n个LCU的纹理感知敏感因子t

其中a

(6)确定LCU的感知敏感因子

视频第m个I帧中第n个LCU的感知敏感因子θ

θ

μ＝b

其中μ、b

其他步骤与实施例1相同。

完成优化监控视频感知质量的HEVC帧内码率控制方法。

实施例3

本实施例的优化监控视频感知质量的HEVC帧内码率控制方法由下述步骤组成：

(1)编码监控视频第1帧

该步骤与实施例1相同。

(2)确定LCU的平均帧差

该步骤与实施例1相同。

(3)确定LCU的运动感知敏感因子

视频第m个I帧中第n个LCU的运动感知敏感因子d

其中p

(4)确定LCU的平均梯度

该步骤与实施例1相同。

(5)确定LCU的纹理感知敏感因子

视频第m个I帧中第n个LCU的纹理感知敏感因子t

其中a

(6)确定LCU的感知敏感因子

视频第m个I帧中第n个LCU的感知敏感因子θ

θ

μ＝b

其中μ、b

其他步骤与实施例1相同。

完成优化监控视频感知质量的HEVC帧内码率控制方法。

为了验证本发明的有益效果，发明人采用本发明实施例1的方法对测试视频进行了实验，实验如下：

选择PKU-SVD-A数据集中的4个视频作为测试序列，4个视频的名称、分辨率、帧率分别为：Campus，720x576，30帧/秒；Classover，720x576，30帧/秒；Mainroad，1600x1200，30帧/秒；Intersection，1600x1200，30帧/秒。采用本发明实施例1优化监控视频感知质量的HEVC帧内码率控制方法(以下简称为本发明)与高清视频编码标准制定组织推荐的编码器HM16.0中的码率控制方法(以下简称为对比方法1)进行了对比试验。用比特误差BE衡量两种方法对应的比特控制精度，比特误差BE按下式计算：

其中B

使用国际标准组织推荐的测试模型HM16.0，配置文件采用全帧内编码结构即encoder_intra_main.cfg，在给定目标码率下，按照本发明和对比方法1的方法开启码率控制编码各测试序列，得到编码结果，如表1所示。

表1本发明与对比方法1编码结果

由表1可见，对于所有测试序列，对比方法1的平均BE为0.0074％，平均MOS为2.61，本发明方法对应的平均BE为0.0039％，平均MOS为2.93。与对比方法1相比，本发明方法比特控制精度更高，并且提供了更符合人眼视觉的感知质量，编码性能更高。