一种低复杂度的HEVC编码多参考帧的选择方法

摘要

本发明公开了一种低复杂度的HEVC编码多参考帧的选择方法，包括以下步骤：输入原始编码序列，以编码树单元为单位，为其中的每个编码单元选择最佳参考帧，操作如下：a、若当前编码单元的父编码单元为SKIP模式，则父编码单元的最佳参考帧即为当前编码单元中的所有预测单元的最佳参考帧；b、若当前编码单元的父编码单元不为SKIP模式，首先对当前编码单元帧间划分模式为2N×2N的预测单元进行多参考帧选择，并计算2N×2N帧间划分模式下，各个参考帧的率失真代价，所有率失真代价小于阈值的参考帧构成参考帧集合，在参考帧集合内为其余帧间划分模式选择最佳参考帧。本发明能够显著加快HEVC视频编码的速度。

说明书

技术领域

本发明涉及视频编码领域，具体涉及一种低复杂度的HEVC编码多参 考帧的选择方法。

背景技术

HEVC采用灵活的数据划分方式，例如一个大小为64×64、深度为4的 编码树单元（CTU，Coding Tree Unit）最多可以包含85个编码单元（CU， Coding Unit）。

每个CU都需要以预测单元（PU，Prediction Unit）为单元进行帧内预 测和帧间预测。每个CU最多有八种帧间划分模式(inter2N×2N、inter  2N×N、inter N×2N、inter2N×nU、inter2N×nD、inter nL×2N、inter nR×2N 和inter N×N)，其中只有当CU为最小CU时，inter N×N才有效，而且为了 节省运动补偿时的内存带宽，帧间预测没有4×4划分。

因此，对于一个CTU而言，其中每个CU有七种划分方式：inter2N×2N、 inter2N×N、inter N×2N、inter2N×nU、inter2N×nD、inter nL×2N、inter  nR×2N，其中，inter2N×2N包含一个PU，其余六种划分方式都包含两个 PU。

每个PU都需要进行帧间预测，在一个CU中总共有13个PU需要进行运 动搜索、运动补偿等帧间预测，因此一个大小为64×64、深度为4的CTU最 多需要进行1105次运动搜索、运动补偿等帧间预测，与之前的视频编码标 准类似，HEVC仍然采用多参考帧技术，它能够充分利用帧与帧之间的相 关性，有效提高帧间编码效率，但是随着参考帧数目的增加，编码复杂度 也成倍增加。

目前，已经有一些针对HEVC多参考帧选择的快速算法。Park等人提 出了一种通用的多参考帧搜索算法。Ma等人提出了一种基于图像特性分 析的低复杂度多参考帧选择算法，该算法优先选择离当前帧距离近的参考 帧。Li等人提出了一种基于云端计算的多参考帧选择算法。Park等人提出 了一种基于水平集的多参考帧运动搜索算法。

这些算法主要利用图像内容的特性，没有利用HEVC编码器中不同深 度PU之间最佳参考帧的相关性以及同一深度不同划分方式的最佳参考帧 之间的相关性，多参考帧选择的速度需要进一步提升。

发明内容

本发明提供了一种低复杂度的HEVC编码多参考帧的选择方法，利用 HEVC编码器的新特性，降低了HEVC视频编码过程中，多参考帧选择过 程的计算复杂度。

一种低复杂度的HEVC编码多参考帧的选择方法，包括以下步骤：

（1）输入原始编码序列；

（2）以编码树单元为单位，为其中的每个编码单元选择最佳参考帧。

具体而言，以编码树单元为单位，对不同深度的编码单元进行多参考 帧选择，所述编码单元包括64×64编码单元，32×32编码单元、16×16编 码单元、8×8编码单元、4×4编码单元，

其中：64×64编码单元为32×32编码单元的父编码单元；

32×32编码单元为16×16编码单元的父编码单元；

16×16编码单元为8×8编码单元的父编码单元；

8×8编码单元为4×4编码单元的父编码单元。

当前编码单元的帧间划分模式共有七种，分别为2N×2N、2N×N、 N×2N、2N×nU、2N×nD、nL×2N和nR×2N模式。

为每个编码单元选择最佳参考帧的具体操作如下：

a、若当前编码单元的父编码单元为SKIP模式，则父编码单元的最佳 参考帧即为当前编码单元中的所有预测单元的最佳参考帧。

若当前编码单元为64×64编码单元，则不存在父编码单元，进行最佳 参考帧选择时，直接进行下述b步操作。

b、若当前编码单元的父编码单元不为SKIP模式，首先对当前编码单 元帧间划分模式为2N×2N的预测单元进行多参考帧选择，并计算2N×2N帧 间划分模式下，各个参考帧的率失真代价，所有率失真代价小于阈值的参 考帧构成参考帧集合，在参考帧集合内为其余帧间划分模式选择最佳参考 帧。

对2N×2N帧间划分模式选择完最佳参考帧之后，依据同一深度不同帧 间划分模式之间的最佳参考帧的相关性，将对于2N×2N帧间划分模式而 言，率失真代价过大的参考帧关闭，不再列为其余帧间划分模式下最佳参 考帧的候选，在对当前编码单元中其余帧间划分模式下的预测单元进行运 动搜索时，也不再对这些率失真代价过大的参考帧进行运动搜索。

所述阈值表征的是各参考帧与最佳参考帧之间的差距，阈值越大，则 关闭的参考帧越少，减小复杂度有限；阈值越小，则关闭的参考帧越多， 但是将最佳参考帧关闭的可能性会越大，优选地，所述阈值为1～1.2。进 一步优选，所述阈值为1.15。

本发明没有特殊说明的部分，均采用现有的HEVC编码方法进行编码。

本发明低复杂度的HEVC编码多参考帧的选择方法，能够显著加快 HEVC视频编码的速度，保证较高的率失真性能，具有很强的实用性。

附图说明

图1为本发明低复杂度的HEVC编码多参考帧的选择方法的流程图；

图2为本发明方法和HM8.0算法在不同编码环境配置下的率失真表现 对比，其中：（a）为LD编码环境配置下，Kimono序列的率失真表现对比； （b）为LDP编码环境配置下，Kimono序列的率失真表现对比；（c）为LD 编码环境配置下，BasketballPass序列的率失真表现对比；（d）为LDP编码 环境配置下，BasketballPass序列的率失真表现对比。

具体实施方式

下面结合附图，对本发明低复杂度的HEVC编码多参考帧的选择方法 做详细描述。

如图1所示，一种低复杂度的HEVC编码多参考帧的选择方法，包括以 下步骤：

（1）输入原始编码序列；

（2）以编码树(CTU)单元为单位，为其中每个编码单元（CU）选择 最佳参考帧。

以编码树单元为单位，对不同深度的编码单元进行多参考帧选择，不 同深度的编码单元分别为64×64编码单元，32×32编码单元、16×16编码 单元、8×8编码单元、4×4编码单元，其中：64×64编码单元为32×32编 码单元的父编码单元；32×32编码单元为16×16编码单元的父编码单元； 16×16编码单元为8×8编码单元的父编码单元；8×8编码单元为4×4编码 单元的父编码单元。

当前编码单元的帧间划分模式共有七种，分别为2N×2N、2N×N、 N×2N、2N×nU、2N×nD、nL×2N和nR×2N模式。

除64×64编码单元外，其余深度的编码单元可以采取如下a步操作：

a、若当前编码单元（CU）的父编码单元为SKIP模式，则父编码单元 的最佳参考帧即为当前编码单元中的所有预测单元（PU）的最佳参考帧。

利用a步操作得到的当前编码单元的最佳参考帧的准确率如表1所示， 利用（a）判断的最佳参考帧与现有技术判断的最佳参考帧相同，即认为 最佳参考帧选择准确。

表1

序列 2N×2N 2N×N N×2N 2N×nU 2N×nD nR×2N nL×2N City 98.7 99.4 99.2 97.2 97.2 96.8 96.9 Harbor 99.3 99.6 99.4 98.0 98.0 97.4 97.5 BigShips 94.1 96.0 95.8 93.2 93.4 93.9 93.9 Vidyo3 94.8 90.0 92.3 87.7 87.7 87.6 87.6 Pair 94.4 90.3 92.3 90.5 90.5 90.5 90.5 Sunset 96.4 94.2 95.5 89.7 89.7 90.1 90.0 均值 96.3 94.9 95.7 92.7 92.8 92.7 92.7

若不满足a步设定条件，则进行b步操作：

b、若当前编码单元的父编码单元不为SKIP模式，首先对当前编码单 元帧间划分模式为2N×2N的预测单元进行多参考帧选择，并计算2N×2N帧 间划分模式下，各个参考帧的率失真代价，所有率失真代价小于阈值的参 考帧构成参考帧集合，在参考帧集合内为其余帧间划分模式选择最佳参考 帧。阈值可以依据需要进行选择，本实施例中阈值为1.15。

b步选择过程的数学表达式如下：

${\mathrm{EN}}_{\mathrm{fef}}\left(i\right)=\left(\begin{array}{cc}1,& \left(\begin{array}{cc}\mathrm{if}& J(i,2N\times 2N)<\beta \times J(2N\times 2N)\end{array}\right)\\ 0,& \mathrm{otherwise}\end{array}\right)$

式中：i为参考帧索引；

J(2N×2N)为当前编码单元中2N×2N帧间划分模式下，预测单元的最佳 参考帧的率失真代价；

J(i,2N×2N)为索引为i的参考帧的率失真代价；

β是为常数；本实施例中设定为1.15。

EN_ref(i)表示当前参考帧是否列入参考帧集合内，若EN_ref(i)取值为1， 则该参考帧需要列入参考帧集合内；若EN_ref(i)取值为0，则该参考帧不列 入参考帧集合内。

利用b步操作得到的当前编码单元的最佳参考帧的准确率如表2所示。

表2

序列 2N×N N×2N 2N×nU 2N×nD nR×2N nL×2N City 96.5 95.8 97.0 97.2 96.1 96.2 Harbor 94.5 92.5 97.2 97.2 94.9 95.3 BigShips 95.6 96.4 97.1 97.2 97.9 97.6 Vidyo3 96.7 95.5 98.3 98.3 96.7 97.0 Pair 96.9 96.5 97.7 97.8 97.3 97.3 Sunset 97.7 97.9 98.8 98.7 98.9 99.0 均值 96.3 95.8 97.7 97.7 97.0 97.1

各编码单元的最佳参考帧选择完毕后，依据现有技术进行帧内划分模 式评估，确定完最佳划分模式后，进行HEVC编码。

在LD和LDP两种编码环境配置下，本发明提供的方法与HM8.0算法的 对比结果如表3和图2所示，△T为时间缩短率。

表3

由表3和图2可知，本发明方法相对于Lee算法以及HM8.0算法而言， 能够加快编码速度，并保证更好的编码质量。