HEVC中B帧的基于SKIP/Merge RD Cost的CU提前终止方法

摘要

本发明提供了一种HEVC中B帧的基于SKIP/Merge RD Cost的CU提前终止方法，步骤是：首先是为每一帧初始化各个阈值，然后是针对每一个CU通过阈值来判断是否能提前终止，包括SKIP/Merge模式的提前跳出和CU停止向下划分两个部分，最后是根据搜索得到的最优模式进行阈值的自适应更新。本发明能够解决HEVC在B帧CU搜索时复杂度过大的问题，在HEVC的参考编码器HM12.0下，针对多个视频序列编码器平均有50％的速度提升，而BD-rate(相同质量下的码率)仅有1.25％的增加。

说明书

技术领域

本发明涉及视频压缩领域中降低HEVC B帧中模式选择复杂度的方法，具体是一种利用CU的SKIP/Merge RD Cost来跳过该CU的剩下的模式选择，从而降低编码复杂度的方法。 

背景技术

随着数字视频应用产业链的快速发展，视频应用向高清晰度、高帧率和高压缩率法相发展的趋势越来越明显，如果继续采用H.264编码会出现一些问题，比如由于视频分辨率的提高，宏块个数大大增加，会导致用于编码的宏块级参数所占的码字过多，压缩效率明显降低，而且由于分辨率的大大提高，单个宏块所表示的图像信息也大大减少；高分辨率的宏块的运动矢量的幅值也增加，而H.264原有的编码方式将不再适用等等。 

HEVC(High Efficiency Video Coding)是一种新的视频压缩标准，被视为是ITU-T H.264/AVC标准的继任者。HEVC被认为不仅能提升图像质量，同时能达到H.264/MPEG-4AVC两倍压缩率(等同于同样画面质量下比特率减少了50％)，可以支持4K分辨率，最高分辨率可达到8192x4320(8K分辨率)。HEVC较于H.264的性能有大幅度的提高是因为它采用了几个有较高复杂度的方法，其中之一就是灵活的编码单元(CU)划分和预测单元(PU)的模式选择。 

相比于H.264/AVC，HEVC采用了一种基于编码树单元(CTU)的更灵活的四叉树结构。如图1所示，左图是LCU(最大的CU，默认情况下为64x64)经过模式判决后得到的最优划分，从图中可以看出HEVC可以支持64x64到8x8的CU。Kim等人在文献“Block partitioning structure in the HEVC standard”Kim,I.K.,Min,J.,Lee,T.,Han,W.J.,&Park,J.(2012).Block partitioning structure in the HEVC standard.Circuits and Systems for Video Technology,IEEE Transactions on,22(12),1697-1706.中提到，对于高分辨率的视频序列使用较大尺寸的CU会有比较明显的性能提升。这是因为大尺寸图像的平缓区域的面积更大，所以如果采用较大的块进行编码将能够极大的提升编码效率，同时又由于大尺寸块不能很好的处理图 像的局部细节，而复杂的图像需要精细的预测，因此小尺寸块也是需要的，因而这种块结构能够很好的适应图像的各个区域，达到较好的编码效果。此外，在P帧和B帧时，每个CU还要从不同的PU(预测单元)中选出最优的，相对于H.264/AVC，HEVC中的PU模式也大大增加，包括：SKIP模式，Merge模式，Inter 2Nx2N，Inter Nx2N，Inter 2NxN，Inter 2NxnU，Inter 2NxnD，Inter nLx2N，Inter nRx2N，Inter NxN，Intra 2Nx2N和Intra NxN。在这么多不同的模式中，HEVC通过比较各个模式的RD Cost来得到最优的预测模式。RD Cost通过RDO(率失真优化)得到，见式(1)： 

l_mode＝＝(SSE_luma+ω_chroma·SSE_chroma)+λ·B_mode    (1) 

其中SSE是原始像素与重建像素的均方误差，ω_chroma是色度的均方误差的加权因子，λ是拉格朗日乘数，B_mode是在该模式下的码流大小。为了得到RD Cost，需要进行运动估计、运动补偿、变换、量化、熵编码、反量化和反变换，再加上HEVC本身的块结构，使HEVC的模式判决的复杂度大大增加。 

Tan等人在文献“On fast coding tree block and mode decision for high-efficiency video coding(HEVC)”(Tan,H.L.,Liu,F.,Tan,Y.H.,&Yeo,C.(2012,March).On fast coding tree block and mode decision for high-efficiency video coding(HEVC).InAcoustics,Speech and Signal Processing(ICASSP),2012 IEEE International Conference on(pp.825-828).IEEE)中提到，使用固定大小的16x16的CU只需引入1584次RDO，而使用64x64且最大深度为4的CTU需要进行8415次RDO。SKIP模式和Merge模式的RDO相对来说比较简单，因为它们均不需要运动估计，此外由于SKIP模式不需要传递残差，其RDO过程还不需要变换量化等过程。 

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种HEVC中B帧的基于SKIP/Merge RD Cost的CU提前终止方法，解决HEVC原有的方法在B帧进行CU划分和PU模式选择时具有较高的复杂度的问题。 

为实现以上目的，本发针对降低HEVC编码复杂的需求，且SKIP模式和Merge模式的RDO相对比较简单，提出的一种利用当前CU的SKIP/Merge的RD Cost来提前终止该CU的向下划分和模式选择的方法：首先是为每一帧初始化各个阈值，然后是针对每一个CU通过阈值来判断是否能提前终止，包括SKIP/Merge模式的提前跳出和CU停止向下划分两个部分，最后是根据搜索得到的最优模式进行阈值的自适应更新。本发明具 有较低复杂度、性能损失小且速度快的优点。 

所述方法包括如下步骤： 

步骤1：如果当前CU是每帧的第一个LCU，那么初始化各阈值； 

步骤2：计算该CU的SKIP/Merge的RD Cost； 

步骤3：如果该CU的SKIP/Merge的RD Cost小于第一阈值，直接跳到步骤9； 

步骤4：如果该CU的深度(depth)为0，且SKIP/Merge的RD Cost小于第二阈值时，跳过该CU中深度为2和3的CU划分，跳到步骤7； 

步骤5：如果该CU的深度为0，且SKIP/Merge的RD Cost小于第三阈值时，跳过该CU中深度为3的CU划分，跳到步骤7； 

步骤6：如果该CU的深度为1，且SKIP/Merge的RD Cost小于第四阈值时，跳过该CU中深度为3的CU划分； 

步骤7：进行该CU当前的深度下的剩下的模式判决，选出该深度下的最优模式； 

步骤8：根据步骤4、5、6来判断是否进行向下划分，若需要则针对向下划分后得到的每个小CU跳至步骤1，否则跳至步骤9； 

步骤9：更新相应的阈值。 

本发明中：自适应的阈值设置，如步骤1中为每一帧初始化各个阈值，减少由场景切换带来的性能损失；如步骤9中的自适应更新阈值，为阈值引入了空间相关性，使得当前CU的阈值随着周围CU相关情况上下浮动，从而使阈值判断的准确率有所提升，性能损失得到保障。 

本发明中：如步骤3中的为每一层CU的SKIP/Merge提前跳出均设置了相应的阈值，这是由每层CU有不同的特性决定的。经验证，分别设置阈值与只设置一个性能损失大大减少，而速度提升没有明显提升。 

本发明中：如步骤4、步骤5和步骤6的隔层提前终止CU搜索，这是由于使用RD Cost的值来提前终止CU向下划分，并不能很好的区分相邻两层之间的区别，因而采用隔层提前终止的方法才能使性能损失保持在一个令人满意的程度内。 

与现有技术相比，本发明具有如下的有益效果： 

本发明提供的方法能够对HEVC中B帧的CU模式判决进行有效的提前终止，实现在较小的性能损失下降低HEVC编码时的时间复杂度。经验证，在使用了该发明之后，在HEVC的参考编码器HM12.0下，针对多个视频序列编码器平均有50％的速度提升，而 BD-rate(相同质量下的码率)仅有1.25％的增加。 

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显： 

图1是HEVC灵活的块结构示意图； 

图2是本发明所提出的CU模式判决提前终止流程图； 

图3是CU的SKIP/Merge的RD Cost对应的最优模式的概率分布曲线； 

图4是64x64 CU经模式判决后得到的最优深与SKIP/Merge RD Cost的概率分布曲线。 

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。 

如图1所示，本实施例提供一种HEVC中B帧的基于SKIP/Merge RD Cost的CU提前终止方法，具体实施步骤如下: 

步骤(1)：利用当前CU的位置来判断是否要重新初始化阈值，具体是： 

通过判断CU的横轴与纵轴的坐标来判断该CU是否为每帧的第一个CU，如果满足条件，则为该帧初始化各个阈值。这里为每一帧都初始化阈值的目的是为了防止画面切换造成的前后两帧的相关性大大降低，如果沿用前一帧的更新后的阈值，可能会造成较大的性能损失。这里针对该发明设置了以下几个阈值：threshold_skip[i],(i＝0,1,2,3),threshold_depth_0_50,threshold_depth_0_70,threshold_depth_1_50。在要用到相应的阈值时会介绍使用该阈值的原因及其对应初始化的值。 

步骤(2)：计算该CU的SKIP/Merge的RD Cost值，这里采用的是HEVC编码器原有的计算RD Cost的方法。 

步骤(3)：如果该CU的SKIP/Merge的RD Cost小于第一阈值，直接跳到步骤9，具体是： 

这里第一阈值是threshold_skip[i],(i＝0,1,2,3),此处的i代表的是不同 CU的深度，为了尽可能的降低本发明的性能损失，这里给每一层深度分别设定了阈值。经过统计，发现对于巨大部分视频序列来说，经过完整的模式选择后B帧的SKIP/Merge模式占到总数的50％以上。并且计算SKIP/Merge的RD Cost相对于其他模式来说复杂度低的多，这是因为SKIP/Merge是利用周围块的运动矢量直接进行运动补偿，而不需要进行运动估计得到最优的运动矢量，此外由于SKIP模式下不会传递残差，因而对残差进行的DCT和IDCT也不需要进行。鉴于这些原因，如果在计算了SKIP/Merge的RD Cost之后能够提前终止，那么CU模式选择的复杂度将会大大降低。因为各个模式之间的衡量标准是RD Cost，RD Cost最小的模式将会被选为该CU的最优模式，所以如果SKIP/Merge的RD Cost值足够小的话就可以认为有很大概率SKIP/Merge为该CU的最优模式。为了验证这个猜想，可以粗略的把CU模式选择之后的最优模式分为SKIP/Merge、Inter、Intra、Splited这四种，其中Splited表示要得到该CU的最优模式需要往下继续划分。图3是视频序列Kimono1_1920x1080_30.yuv在QP(量化参数)为32下32x32CU的SKIP/Merge RD Cost对应的最优模式的概率分布曲线。从图中可以看出如果取SKIP/Merge的10百分位来作为初始阈值的话，分别仅有1.0％、1.9％和0.2％的Inter、Intra和Splited模式被错判为SKIP/Merge模式。经过测试多个视频序列后，threshold_skip[i]的初始值为式(2)： 

threshold_skip[i]＝21.179e^0.053*QP     (2) 

所以，如果该CU的SKIP/Merge的RD Cost小于threshold_skip[i]，那么可以认为SKIP/Merge已经是该CU的最优模式，所以该CU的剩余模式没有必要计算，直接跳至步骤9更新相应的阈值。 

步骤(4)：如果该CU的深度为0，且SKIP/Merge的RD Cost小于第二阈值时，跳过该CU中深度为2和3的CU划分，跳到步骤7，具体是： 

由于HEVC的灵活的块结构带来了大量的计算复杂度，因而及时地终止不必要的CU向下划分可以节省可观的运算时间并且能够带来较少的性能损失，这里的做法就是基于这个原理。这里用到的第二阈值被记为threshold_depth_0_50，表示该阈值用在当CU的深度为0时的情况，采用的是深度为0的CU的SKIP/Merge的RD Cost的50百分位。为证明该阈值的有效性，在视频序列Kimono1_1920x1080_30.yuv中深度为0的CU进行了测试，结果如图4，这里的SKIP/Merge RD Cost指的是深度为0时的该CU的SKIP/Merge RD Cost的值。在图4中，Depth i(I＝0,1,2,3)表示64x64经过模式判决后得到的最优的深度。从图4中可以看出，如果利用Depth 0的50百分位，那么将只有12％， 5.8％，2.9％的Depth 1，Depth 2，Depth 3被错判为Depth 0。同时，经实验得知利用该方法采用隔层提前终止会得到较好的性能，即利用threshold_depth_0_50只跳过深度为2和3的搜索，而不跳过深度为1的搜索，这个策略也会用到该发明的其余地方。经过测试多个视频序列后，threshold_depth_0_50的初始值为式(3)： 

threshold_depth_0_50＝7.0337e^0.01124*QP      (3) 

步骤5：如果该CU的深度为0，且SKIP/Merge的RD Cost小于第三阈值时，跳过该CU中深度为3的CU划分，跳到步骤7，具体是； 

这里采用的策略与方法同步骤4类似，只是利用70百分位跳过深度为3的CU搜索，利用第三阈值进行提前终止的错判率也在图4中。经过测试多个视频序列后，threshold_depth_0_70的初始值为式(4)： 

threshold_depth_0_70＝5.2503e^0.1323*QP        (4) 

步骤6：如果该CU的深度为1，且SKIP/Merge的RD Cost小于第四阈值时，跳过该CU中深度为3的CU划分，具体是： 

同步骤4和步骤5一样，这里采用的是32x32 CU的SKIP/Merge RD Cost来跳过深度为3的搜索。此处的第四阈值记为threshold_depth_1_50，初始值为式(5): 

threshold_depth_1_50＝8.6663e^0.1084*QP        (5) 

步骤7：进行该CU当前的深度下的剩下的模式判决，选出该深度下的最优模式，具体是： 

如果没有满足步骤3的条件，那么就要进行该层的其余模式，即包括Inter 2Nx2N,Inter Nx2N,Inter 2NxN,Inter 2NxnU,Inter 2NxnD,Inter nLx2N,Inter nRx2N,Inter NxN,Intra 2Nx2N和Inter NxN，分别计算各个模式的RD Cost，选出其中RD Cost最小的模式，这个RD Cost将于该CU向下划分后进行模式判决得到的RD Cost进行比较，从而得到该CU的最优划分。 

步骤8：根据步骤4、5、6来判断是否进行向下划分，若需要则针对向下划分后得到的每个小CU跳至步骤1，否则跳至步骤9，具体是： 

在步骤7完成之后，当前深度的最优模式已经得到，这时需要向下划分得到向下划分的最优模式，两者进行比较从而得到该深度下的最优划分。该步骤就是利用本发明提出的方法来判断是否要向下划分。为了实现的方便，这里为每个LCU的每个深度设置了标志符is_search[i](i＝0,1,2,3)，这里的i代表不同的深度。当每个LCU的搜 索开始时is_search[i]均被初始化为true，当满足步骤4、步骤5或步骤6的条件时，才将对应的标志符设为false。在该步骤中通过判断标志符来决定是否要向下划分：若标志符为true，则该CU需要向下划分；若为false，则不要。 

步骤9：更新相应的阈值，具体是： 

在上面的各步骤中已经提到根据多个测试序列的仿真结果，为每一个阈值都初始化了阈值，在这里还进行自适应的更新，原因是由于空间上的相关性，相邻的CU之间的阈值也具有一定的相关性，在阈值中引入这种相关性会使性能损失与速度提升得到平衡，阈值更新的为式(6): 

$\mathrm{threshold}=\frac{\lambda *\mathrm{threshold}+\mathrm{SKIP}/\mathrm{MergeRDCost}}{\lambda +1}---\left(6\right)$

这里的threshold为上文中提到的任意阈值，经验证，当λ取7时，得到的效果最为理想。此处就利用步骤6来更新相应的阈值，例如对32x32的CU，完成搜索后发现其最优模式为当前层的SKIP/Merge模式，那么threshold_skip[1]就会被更新；对64x64的LCU来说，若其最优的划分为Depth 0或Depth 1，那么threshold_depth_0_50就会被更新。 

本发明能够解决HEVC在B帧CU搜索时复杂度过大的问题，在HEVC的参考编码器HM12.0下，针对多个视频序列编码器平均有50％的速度提升，而BD-rate(相同质量下的码率)仅有1.25％的增加。 

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。