一种基于场景切换的HEVC预测模式快速选择方法

摘要

本发明公开了一种基于场景切换的HEVC预测模式快速选择方法，首先在读取输入YUV文件时，记录每一帧图像的亮度分量构成灰度图像；利用插值法将每一帧灰度图像都压缩成M×M格式的索引图；计算M×M个灰度值的平均值V

说明书

技术领域

本发明属于视频编码领域，涉及一种在HEVC标准视频编码中，通过检测场景切换帧实现快速预测模式选择的方法。

背景技术

最新的视频编解码标准HEVC(High Efficiency Video Coding)由于采用了诸多新技术，获得了两倍于之前的H.264及MPEG-4等编码标准的压缩效率。但是，这些新技术在高分辨率视频编码中获得更好编码质量的同时，也使得HEVC的编码复杂度大大提升。为了能够降低编码开销，减少编码时间，适应编码应用的需求，各种关于HEVC的快速编码算法被不断提出。

HEVC最为鲜明的特点是采用了四叉树结构，不同于之前较为简单的16×16固定尺寸的宏块编码单元，HEVC采用了四层编码结构。亮度单元从第0层到第3层分别对应编码尺寸64×64、32×32、16×16和8×8。同时，HEVC还引进了CU、PU和TU相结合的概念，在不同层次上充分考虑各种可能的编码开销，其基本过程是：首先将一帧图像划分为不同的CU单元，在进行预测编码时对每一个CU又根据其具体特征划分为若干PU单元，在进行变换编码时又根据CU块的具体特性将每个CU块划分为若干个TU单元，最终从中选取最佳编码模式和参数。

关于其中的预测模式选择部分，即主要涉及PU的划分，以HEVC的标准参考软件HM16.0为例，对于非帧内预测帧来说，都要遍历比较SKIP模式、8种帧间预测模式和2种帧内预测模式。这种比较采用率失真代价函数作为衡量手段。为了获得率失真代价函数，对于每一种候选模式都需要进行一系列的运算处理。而这些处理，特别是帧间模式的运动估计模块是特别耗时的。如果能够根据CU块表现出来的某些特性，尽可能地减少PU候选模式，那么就能少进行一些模块的处理，从而节省预测编码时间。

目前基于此类考虑的快速模式选择算法已经很多，比如有很多图像相似度检测的算法，有基于图像直方图对比、有PSNR分析和特征点匹配。此类算法虽然比较精准，对于各种变换适用性较强，如旋转不变性和灰度变化等。但是普遍比较耗时，且一般的视频中不会出现这些复杂的情形。对于实时性要求较高的视频编码应用场景，简单高效的检测方法更加切合实际。

发明内容

本发明要解决的技术问题是针对上述快速模式选择算法存在的算法复杂、耗时的缺陷，在编码视频中当存在一定场景切换时，通过快速检测场景切换帧(非连续帧)的实现对切换帧编码的快速模式选择，以提高编码的处理效率。

为此，本发明提出一种基于场景切换的HEVC预测模式快速选择方法，技术方案包括以下步骤：

步骤A：在读取输入YUV文件时，记录每一帧图像的亮度分量构成灰度图像；

步骤B：利用插值法将每一帧灰度图像都压缩成M×M格式的索引图；

步骤C：对于每一帧图像的索引图，都采取如下操作：

(1)计算这M×M个灰度值的平均值V_average；

(2)将每个灰度值和V_average进行比较，大于平均值的标记为“1”，小于等于平均值的标记为“0”，如此可获得每帧图像的M×M位长度的二进制指纹序列；

步骤D：对于前后两帧图像，对比它们的指纹序列，统计相应位置二进制值不同的个数，记为这两帧图像的dNum；

步骤E：计算前后相邻两个dNum的差值，后值减去前值，作为哈希指数；

步骤F：对于哈希指数大于阈值T的当前帧图像，将其判定为场景切换帧，在设置帧类型时将其置为I帧，在之后的预测编码过程中可以直接按I帧进行预测编码，否则不做任何操作，在预测编码时依然遍历所有模式。

作为优选，步骤B中的插值法为双线性插值法。

作为优选，步骤B中M的值为8，这个索引图大小可以调整，效果大致相同，但却增加了计算量。

步骤F中阈值T的取值范围为9～13。大量实验证明取值为10的效果最佳，可以上下浮动1～3。

与现有技术相比，本发明的有益效果在于：

1，对于视频中的场景切换帧可以进行快速的检测。在标准编码软件中进行植入额外占用的时间几乎可以忽略。实验显示，即使是在场景切换较少的视频中，只要平均每15s发生一次切换，总编码时间都不会增加。而这一条件对于实际应用中大多数视频都是可以达到。当然，也可以和其他加速算法一样，在HEVC标准参考软件HM的cfg配置文件中设置一个开关，在相关应用场合中开启使用。

2，对于视频中的场景切换帧可以进行有效的检测。大量不同参数的视频序列实验都显示，该算法可以获得95％以上的检测准确率。采用Hash Index之后，对于不同运动特性的视频都有很好的适用性，误检和漏检的概率都很小。同时，对于科幻电影预告片之类的场景切换特别频繁的视频序列，加速效果相当明显。

3，该算法不会影响其他相关优化加速算法，只是为场景切换帧提供一条捷径提前完成正确的编码，不会改变编码质量。与现有的HEVC快速预测算法不重叠，可以共同使用，没有限制条件。

附图说明

图1为本发明的流程图。

具体实施方式

现结合附图对本发明的具体实施方式做进一步详细的说明。

本发明基于视频预测编码中这样一个规律，即对于非帧内预测编码单元，会根据当前编码单元与之前编码单元的关联程度选择预测编码模式；但是，如果当前编码单元与之前编码单元都没有联系，那么经过遍历最终一定会选择帧内模式作为最佳编码模式。因而对于这样的编码单元,可以考虑跳过大多数遍历过程，直接在帧内模式中选择最佳编码模式。从而减少大量的选择计算处理，提高了编码效率。典型的场景切换帧就是这样一类编码单元的集合。场景切换帧发生在两个场景的连接处(即拍摄画面的非连续移动)，前后单元的编码基本不存在关联性，即无参考性。因此，如果能够在视频中准确地检测出场景切换帧，那么对于这些帧的预测编码就可以大大简化，这些帧的预测编码时间也可以大大缩短。本发明的核心思想就在于如何快速准确地检测出场景切换帧，进而结合到快速预测模式选择之中。

本发明主要针对均值哈希(aHash)算法进行了改进，使之能够适应视频中场景切换检测的应用环境。基于均值Hash算法的图像相似度检测已经被应用在了很多场合，如Google的图片搜索。但是，在视频中的场景切换的检测有所不同。对于不同运动剧烈程度的连续视频片段，帧之间的差异性有所不同。实验表明，有些运动剧烈的视频片段中的相邻连续帧的差异度已经超过了一些场景切换情形下的差异度。因而，在视频场景切换检测中，需要类似前后运动剧烈差异度比较的概念来区分是否发生场景切换，也就是需要类似二次差分的概念。

实验数据证明这个索引图M×M的大小可以调整，效果大致相同，但是增加计算量。取8*8大小时，对于已经验证的QCIF格式(176*144)到1080P格式(1920*1080)范围的视频序列都可以获得很好的效果，可以更好地适应实时编码的需求。

其中阈值T取值10的获取是通过大量实验数据获得的。如表1给出的是在大量标准序列获得的实验结果中统计出来的普通连续帧和切换帧的Hash Index不同区间的百分比。

表1连续帧和切换帧中的不同Hash Index值百分比

从表中可以看出，取阈值为10可以获得很高的检测准确度。从而验证了本方法的可靠性。

关于本发明相比于HEVC编码原参考软件在实际应用中取得的提升，通过实验数据和理论计算大致获得如下。

大量实验数据表明，以I帧方式编码的切换帧的编码时间(T_sf)通常是作为非I帧方式编码的普通连续帧编码时间(T_nf)的6～14倍，将该值记为M，即

T_sf＝T_nfM(1)

实验显示，本发明方法能够将切换帧的总时间降低为原来的N倍(通常为47％～58％)。

定义切换率(SR)为视频中切换帧数量(Num_sf)与视频总帧数(Num_tf)的比，即：

SR＝Num_sf/Num_tf(2)

那么，对于同一视频序列，未采用本方法的编码总时间(T_ref)可以如下计算

T_ref＝T_nfNum_nf+T_sfNum_sf(3)

其中Num_nf表示普通连续帧的帧数，且

Num_nf＝Num_tf-Num_sf(4)

采用本方法后的编码总时间(T_pro)为

T_pro＝T_nfNum_nf+T_sfNum_sfN(5)

减少的编码时间(T_decrease)为

T_decrease＝T_ref-T_pro＝(1-N)Num_sfT_sf(6)

时间节省率(TS)为

将(1)～(6)式代入(7)可计算得：

取切换率SR＝3％，M＝10，N＝50％，整个视频序列的理论提速率TS＝11.81％。

大量实验结果显示，实际提速率与理论值很接近，考虑到本方法检测本身的时间消耗，实际值都会比理论值小一些。以接近上述SR特性的视频序列进行实验可得，TS通常为7％左右。

本发明由于只是对场景切换帧进行了提速改进，没有进行普通帧的快速模式选择处理，因而与大多数快速模式选择方法都可以同时使用，获得比两者单独使用更高的提速率。本发明采用了较新的几个HM版本中采纳的三个加速开关进行进一步实验。这三个加速开关分别为：CFM、ECU和ESD。实验数据显示，一般情况下，打开这三个加速开关，可将编码时间降低为原来的30％～60％。由于编码总时间((7)式中的T_ref)大幅减少，因而采用本方法后的提速率(TS)更高。

在打开这三个加速开关的基础上，对比是否采用本发明方法的两种情形，实际获得的进一步提速率为9％左右。

因而，将本发明方法叠加于其他大多数快速模式选择算法，可以获得更大的提速率。

需要说明的是，以上所述数据仅为本发明的一个具体实施例所得，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。