一种HEVC基于时间相关性和帧内预测方向的SAO优化方法

摘要

本发明公开了一种HEVC基于时间相关性和帧内预测方向的SAO优化方法，其包括以下步骤：1、根据一帧经过去块滤波的图像，按分辨率尺寸大小分成若干个64×64的LCU；2、对划分的图像按LCU块进行处理，获取前一帧对应LCU块的模式；3根据对应关系，排除掉当前帧该LCU的一种EO模式，或者不排除；4、获取该LCU块的帧内预测方向，对其进行分类对应；5、根据对应的帧内预测方向排除一种或者两种的EO模式；6、对剩余的三种模式进行标准SAO处理。本发明的有益效果在于：本发明在不降低或者小幅降低编码性能的前提下，大量节省了编码时间，降低了编码复杂度，利于实时编码处理的实现，也减少了硬件上的开销成本。

说明书

技术领域

本发明涉及视频压缩编码技术领域，具体涉及一种在不改变视频图像质量的前提下，可大幅减少SAO编码时间、便于实现HEVC实时编码的HEVC基于时间相关性和帧内预测方向的SAO优化方法。

背景技术

视频是一种形象、具体、有效的信息传递媒体。在视频的采集过程中，原始未经压缩过的视频含有大量的冗余信息，是一个非常庞大的数据量。以我们经常在网上看到的1080p高清视频为例，通常两个小时的电影大小不会超过10G。假设帧率为30fps，那么一段两个小时未经压缩的原画视频数据量可达1920×1080×8bit×3×30fps×7200s＝1343.69GB，以目前的网络很难快速传输如此大的数据，所以我们平时看到的视频一定都是经过压缩编码的视频。

综上所述，视频压缩是一项非常有必要的工作。

HEVC/H.265(High Efficiency Video Coding高效视频编码)是JCT-VC最新一代的视频压缩和编码标准。相比上一代视频编码标准H.264/AVC有了近50％的性能提升。尤其是在8K/4K、1080p等高清视频中有着突出的表现力。HEVC的编码构架与H.264大体相同，分为帧内帧间预测，量化，变换，熵编码，环路滤波等部分。对于自适应样点补偿(SAO)，是HEVC新引入的一项技术，用于处理视频中图像边缘的振铃效应，提高视频质量。图1为没有经过SAO处理的图像，图2是SAO处理过的图像，从视觉上明显可以看出质量得到改善。

SAO在HEVC的标准测试模型HM16.0中共分为三个步骤：(1)样点统计。将一帧图像分为若干个64×64的编码块，进行z扫描。对于统计当前块样点信息，根据每个像素的参考相邻像素位置方向不同分为4种边界补偿模式，即EO_0°、EO_90°、EO_135°、EO_45°。再根据每个像素值的大小(取值0-255)划分成32个条带，每次选取4个条带进行统计，即边带补偿BO。在这五种模式下进行样点统计，得到每个模式下的统计数据信息。样点统计是SAO中计算量最大的一部分，占总计算时间达85％左右。(2)模式选择。步骤(1)中得到了每种模式下的统计数据，并且考虑上块参数融合和左块参数融合或者不融合三种已知统计数据的模式，根据率失真公式ΔJ＝ΔD+λR，得到每种模式下的率失真代价，比较每种率失真代价选择最优的补偿模式。(3)样点补偿。选取步骤(2)的最优模式，使用步骤(1)中的补偿值对每个像素点进行补偿工作。

以上SAO步骤很好的解决了图像亮度或者色度边缘的振铃效应，并且不会改变图像原本的细节特征。但是也有本身的一些不足：(1)穷举计算了8种模式下的样点数据统计信息，使得编码过程有大量的冗余信息，这样导致浪费了大量编码时间。(2)导致编码后文件写入过多无用的比特码流，降低了压缩效率。(3)不利于实时编码的实现。(4)编码过程过于复杂，对硬件要求较高等。

发明内容

本发明针对上述现有技术的不足，提供了一种HEVC基于时间相关性和帧内预测方向的SAO优化方法，其减少了SAO编码模式选择，提供了一种在不改变或者小幅降低编码效果的前提下大量节约SAO编码时间的算法，本算法基于相邻帧之间的时间相关性和帧内预测模块的方向，进行SAO的模式选择。可以快速排除掉两种效果较差的SAO边界补偿模式，在这两种模式下不进行后续相关运算，将五种模式减少为三种，达到了有效节约编码时间的效果。

为解决现有技术中存在的问题，本发明采用的具体技术方案是：

一种HEVC基于时间相关性和帧内预测方向的SAO优化方法，基于时间相关性和帧内预测方向，减少编码模式选择来达到减少编码时间的效果。考虑到相邻两帧之间的时间相关性，在计算当前帧模式选择时可以排除掉与前一帧对应块最无关的一个EO方向，即正交的方向。基于帧内方向的排除方式同理。其所述方法包括以下步骤：

S1、获取一帧经过去块滤波的图像，按分辨率尺寸大小分成若干个64×64的LCU(最大编码单元)；

S2、读取前一帧对应当前LCU块的模式，分别为EO_0°、EO_90°、EO_135°、EO_45°、BO；

S3、根据表格1的对应关系，排除掉当前帧该LCU的一种EO模式，如果前一帧对应LCU为BO模式，则不进行任何操作；

前一帧模式当前帧操作EO_0°排除EO_90°EO_90°排除EO_0°EO_135°排除EO_45°EO_45°排除EO_135°BO无

表格1

S4、读取当前LCU帧内预测方向，记为P1。一共33个帧内方向，分别取值为2-34；

S5、将33个帧内方向进行分类，分别对应到4个SAO边界补偿EO的操作。考虑到步骤3中可能已经排除掉一种EO模式，本步骤中要求继续排除掉一种EO模式；如果步骤3中未排除EO模式，则本步骤排除掉两种EO模式。排除方式如表格2所示。举例说明，如果当前块帧内预测方向为方向5，且步骤3排除一种EO模式但未排除EO_135°，则本步排除EO_135°；若步骤2已经排除掉EO_135°，则本步排除EO_90°；若步骤3未操作，则本步骤排除EO_90°和EO_135°；

帧内模式SAO操作2,3,4,5,6,7,33,34优先排除EO_135°，其次排除EO_90°8,9,10,11,12,13,14,15优先排除EO_90°，其次排除EO_45°16,17,18,19,20,21,22,23优先排除EO_45°，其次排除EO_0°24,25,26,27,28,29,30,31,32优先排除EO_0°，其次排除EO_135°

表格2

S6、对剩下的两种EO模式和BO进行SAO处理，操作方式与HEVC标准编码模型HM相同，即分别计算三种模式下的率失真代价，选择最优的SAO模式，再进行像素值补偿。

优选的方案，步骤S2读取的是相邻前一帧的对应LCU的SAO模式，直接将其运用到当前帧的SAO优化算法中来。

进一步优选的方案，步骤S3所述的排除方法为排除与前一帧EO方向垂直方向的LCU的一种模式。

更进一步优选的方案，步骤S3中，当前一帧对应LCU模式为BO时，步骤S3不执行任何操作。

当前一帧对应LCU模式为BO时，则步骤S5需排除掉当前帧该LCU的优先排除和其次排除的两种模式。

步骤S4所述的帧内预测方向由本LCU中帧内预测像素最多的方向决定。这是由于帧内预测的CU块大小可以从8×8到64×64，并非都是64×64，所以选取该LCU下像素帧内预测最多的方向作为S3中使用的方向。

其中，步骤S1中的LCU指最大的编码块CU，尺寸为64×64，即不进行分块的CTU。

所述S6步骤减少了两种SAO的EO模式，后面这两种模式下的样点统计，率失真代价都无需计算了，只计算剩余的3种模式，理论上能节约40％左右编码时间，并且不会大幅度改变SAO编码效果。

通过采用以上技术方案，本发明一种HEVC基于时间相关性和帧内预测方向的SAO优化方法与现有技术对比，其技术效果在于：

1、相比HEVC标准测试模型HM中的SAO处理，在不改变或者小幅降低性能的前提下，节省了大量的编码时间，节省时间达40％左右。本算法结合帧内编码的方向，获取图像纹理方向，并且考虑到帧与帧之间的时间相关性，进一步减少SAO编码的冗余，大幅降低编码复杂度，且不影响SAO编码效果。

2、相比H.264/AVC，SAO可以很大程度上消除振铃效应，减少了BD-rate，达到了更好的视觉效果，使编码有更好的表现力。

3、相比其他学者提出的算法，本算法减少编码时间非常稳定，且衡量编码性能的指标BD-rate和BD-PSNR只有小幅降低。经过测试HEVC标准序列分类A,B,C,D,E，每个序列减少的编码时间都稳定在40％左右。这样可以很好预测节省的SAO编码时间。

附图说明

图1为视频中截取的未经过SAO处理的图像。

图2为视频中截取经过SAO处理的图像。

图3为33种帧内预测方向。

图4为改进的SAO算法计算过程。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，结合附图和实施例对本发明进行作进一步详细说明，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

发明人对本发明的综合性能进行了试验，实验结果如下表格3所示：

表格3

从表格3中可以看出，本平均算法减少编码时间38.7％，与预计的减少时间相当。BD-rate增加0.0399，BD-PSNR下降0.0021，也在一个合理的变化范围内。

如图4所示，对于重建且经过去块滤波后的一帧图像，使用本发明的方法对其进行处理，以试验中的classC的视频为例，尺寸为832×480，其具体步骤如下：

步骤1：将重建后和原始未编码的帧传入SAO模块，按图像尺寸大小分成104个64×64的LCU，水平方向13个，竖直方向8个，以LCU为单位进行SAO编码运算，不同LCU之间进行z扫描。

步骤2：对于当前LCU，读取前一帧对应位置LCU的SAO模式，即5种模式EO_0°，EO_90°，EO_135°，EO_45°，BO之一，根据如下表格1的对应关系，排除掉当前的一种相关程度最低的EO。例如：前一帧对应LCU模式为EO_90°，对当前LCU的处理方式为排除掉EO_0°，即正交的方向。

前一帧模式当前帧操作EO_0°排除EO_90°EO_90°排除EO_0°EO_135°排除EO_45°EO_45°排除EO_135°BO无

表格1

步骤3：将该LCU帧内预测方向传入SAO模块，结合帧内预测的分块信息和每个CU的帧内预测方向决定SAO的LCU方向，选择像素点包含最多的方向为该LCU帧内预测方向，随后对应如下的表格2，执行排除EO的模式操作。如果步骤2已经排除掉表格2中优先排除的EO模式，那么排除第二种EO模式；如果步骤2未排除表格2中优先排除的模式，排除了另一种EO模式，则排除掉优先排除模式：如果步骤2未操作，则排除掉两种模式。例如:统计出来LCU帧内预测方向为28，对应表格2，优先排除EO_0°，其次排除EO_135°，如果步骤2中前一帧为BO模式，则该步骤中排除掉上述两种EO模式。

帧内模式SAO操作2,3,4,5,6,7,33,34优先排除EO_135°，其次排除EO_90°8,9,10,11,12,13,14,15优先排除EO_90°，其次排除EO_45°16,17,18,19,20,21,22,23优先排除EO_45°，其次排除EO_0°24,25,26,27,28,29,30,31,32优先排除EO_0°，其次排除EO_135°

表格2

步骤4：目前还有3种SAO模式：两种EO，一种BO模式，在当前LCU对这三种模式求样点统计。首先统计原始像素和重构像素(SAO之前)的差值之和E，其中s(x,y)是原始像素，u(x,y)是重构像素，C是求和像素区域

$>E=\underset{(x,y)\in C}{\Sigma }\left(s\right(x,y)-u(x,y\left)\right)$>

然后计算补偿值m，其中n是像素数量

m'＝E/n

$>m=\left(\begin{array}{c}+7,m^{\prime }>7\\ -7,m^{\prime }<-7\end{array}\right)$>

再得原始像素和SAO重构之后的像素差值ΔD

$>\Delta D=\underset{(x,y)\in C}{\Sigma }(m^2-2m(s\left(x,y\right)-u\left(x,y\right)\left)\right)={\mathrm{Nm}}^2-2mE$>

最后由率失真代价公式得到率失真代价ΔJ

ΔJ＝ΔD+λR

步骤5：由步骤4得到三种模式下的率失真代价ΔJ,比较后得出最优率失真代价，由最优率失真代价决定一种最优SAO补偿模式，下一步选择该模式进行补偿运算。

步骤6：由步骤5得到最优补偿模式，在该模式下对当前LCU每个像素进行补偿运算。步骤4中得到了补偿值m，对每个像素与补偿值m相加，即得到补偿之后的LCU重构，至此，完成该LCU的SAO运算。

步骤7：对当前帧进行z扫描，对下一个LCU进行改进的SAO编码。

依据以上步骤最终得到图像的SAO优化编码。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。