一种基于决策树的帧间快速模式选择方法

摘要

本发明公开了一种基于决策树的帧间快速模式选择方法，通过获取相关性较好的特定位置的CU信息，首先进行决策树预测得出的最佳模式的预测编码，并实时获取当前CU编码后的一些信息，利用时域和空域信息的相关性，与周边CU的相关信息结合，对帧间编码模式的个数和顺序进行细致调整。该方案提前对帧间模式进行预测，并在帧间模式的预测过程中实时调整模式顺序，跳过不必要的模式预测，大幅度地缩短了帧间预测的时间，从而减少了编码时间；且该方法简单易行，有利于新一代视频编码标准的产业化推广。

说明书

技术领域

本发明涉及视频编解码领域，特别涉及一种基于决策树的帧间快速模式选择方法。

背景技术

在视频编码技术中，帧间预测是编码的核心技术之一。帧间预测是根据视频图像的时间相关性，利用已经编码的图像的相关信息预测待编码图像，然后对预测后的残差进行变换、量化、熵编码等一系列操作，而不是对原始像素值进行直接编码。经过帧间编码后，视频图像间的时间相关性大大消除，编码复杂度大大降低，同时编码效率显著提高。

2013年，ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(动态图像专家组)联合推出了HEVC(高效视频编码)视频压缩方案。自2016年始，VCEG和MPEG开始研究新一代视频编码器，并成立了一个专家小组——JVET(联合视频研究小组)，旨在进一步提升HEVC的压缩率。新一代视频编码器的最新编码软件JEM是在HM的框架上发展而来，沿用了HEVC的基本框架，但是在每个模块内部引入了许多新的技术和工具。这些工具的引入对压缩率和视频质量的提升起了一定作用，却加大了编码的复杂度，使之实际应用性能更差。

在新一代编码标准JEM中加入了新的帧间预测模式，帧间预测步骤如下：

步骤一：进行Affine Merge模式。对Affine Merge模式进行率失真代价的计算，并将Affine Merge模式设为最优模式。

步骤二：判断最优模式是否为2Nx2N Merge模式。对2Nx2N Merge模式进行率失真代价的计算，若其率失真代价较当前最优模式的率失真代价更小，则将2Nx2N Merge模式选为最优模式。

步骤三：判断最优模式是否为FRUC Merge模式。其中FRUC Merge模式又包括Bilateral和Template两个子模式。对FRUC Merge模式进行率失真代价的计算，若其率失真代价较当前最优模式的率失真代价更小，则将FRUC Merge模式选为最优模式，并用标志位表示最优模式属于哪一种子模式。

步骤四：判断最优模式是否为2Nx2N模式。对2Nx2N模式下的率失真代价进行计算，若其率失真代价较当前最优模式的率失真代价更小，则将2Nx2N模式选为最优模式。

步骤五：进行帧内预测模式的判断。

帧间模式的预测占据了编码总时间的一半以上，因此对帧间模式预测的改进是十分必要的。如果能通过相关信息调整帧间模式的顺序，并预测出最优可能选择的模式，避免对所有模式的遍历，跳过一些选择可能性很低的模式，将会大大减少编码时间，降低编码复杂度。

发明内容

本发明是针对JEM编码器中帧间模式较多，编码时间过长且编码效率过低的缺陷提出的一种基于决策树的帧间快速模式选择方法。

一种基于决策树的帧间快速模式选择方法，包括以下步骤：

步骤1：构建当前编码单元CU最佳预测模式分类器；

从国际标准测试序列中随机选取四个视频测试序列，在所选的四个测试序列的100帧的编码信息中，获取当前编码单元CU的左邻块CU_Left、上邻块CU_Above以及同位块CU_Col的相关信息；

以CU_Left、CU_Above、CU_Col的最佳模式，CU_Col的MV，CU_Col的残差和编码QP值，当前编码单元CU的平均像素作为输入数据，以当前编码单元CU的最佳预测模式作为输出数据，选择10重交叉验证，对weka中的J48决策树进行训练，得到基于决策树的当前编码单元CU最佳预测模式分类器；

步骤2：获取编码过程中当前编码单元CU的最佳预测模式预估值mode(P)；

提取编码过程中，当前编码单元的CU_Left、CU_Above、CU_Col的最佳模式，CU_Col的MV，CU_Col的残差和编码QP值以及当前编码单元CU的平均像素，输入至步骤1构建的构建当前编码单元CU最佳模式分类器，获取编码过程中当前编码单元CU的最佳预测模式预估值mode(P)；

步骤3：获取左邻块CU_Left、上邻块CU_Above以及同位块CU_Col的最佳预测模式mode_j，以及在对应最佳预测模式下的失真D_j和率失真代价RD_j，若mode(P)与mode_j均不为AffineMerge模式，进入步骤4，否则，依次进行所有帧间模式的预测后，进入步骤9；

步骤4：统计相同最佳预测模式的个数i，其中，j表示Left、Above、Col；

步骤5：依据i的取值，获取当前编码单元CU的最佳预测模式候选值；

步骤6：对当前编码单元CU进行Affine Merge模式的预测，并将Affine Merge模式标记为当前编码单元CU的当前最佳模式mode^*，同时将Affine>*；

步骤7：对当前编码单元CU进行mode(P)的预测，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*；

步骤8：基于当前编码单元CU的最佳预测模式预估值mode(P)，再依次对当前编码单元CU的最佳预测模式候选值进行模式预测，在每次模式预测后，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*；

在各种i的取值下，基于当前编码单元CU的最佳预测模式预估值mode(P)，依次选择当前编码单元CU的最佳预测模式候选值进行模式预测，从而结束当前编码单元帧间模式的预测。

进一步地，所述当前编码单元CU的最佳预测模式候选值的获取过程如下：

1)若i＝0，按照失真D_j从小到大对左邻块CU_Left、上邻块CU_Above以及同位块CU_Col排列，并将排列后的左邻块CU_Left、上邻块CU_Above以及同位块CU_Col对应的最佳预测模式依次标记为第一最佳预测模式候选值mode(X)、第二最佳预测模式mode(Y)、第三最佳预测模式mode(Z)；

2)若i＝2，将左邻块CU_Left、上邻块CU_Above以及同位块CU_Col中的相同模式标记为第一最佳预测模式mode(X)，不同的模式标记为第二最佳预测模式mode(Y)；

3)若i＝3，将左邻块CU_Left、上邻块CU_Above以及同位块CU_Col的最佳预测模式标记为第一最佳模式mode(X)；

其中，X、Y、Z取普通Merge、Bilateral、Template、Inter2nx2n。

进一步地，所述步骤8的具体过程如下：

A)若i＝0，判断mode(P)与mode(X)是否相同，若相同，则进入步骤8.2，若不同，进入步骤8.1；

步骤8.1：将当前编码单元CU进行mode(X)的预测，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*；判断是否满足左邻块CU_Left、上邻块CU_Above以及同位块CU_Col的失真D_j以及率失真代价RD_j均大于当前编码单元CU在当前最佳预测模式mode^*下的失真D以及最佳率失真代价RD^*，若满足，则进入步骤9，若不满足，则进入步骤8.2；

步骤8.2：判断mode(P)与mode(Y)是否相同，若相同，则进入步骤8.4，若不同，进入步骤8.3；

步骤8.3：将当前编码单元CU进行mode(Y)的预测，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*；判断是否满足左邻块CU_Left、上邻块CU_Above以及同位块CU_Col中至少两个块的失真D_j以及率失真代价RD_j均大于当前编码单元CU在当前最佳预测模式mode^*下的失真D以及率失真代价RD*，若满足，则进入步骤9，若不满足，则进入步骤8.4；

步骤8.4：判断mode(P)与mode(Z)是否相同，若相同，则进入步骤9，若不同，将当前编码单元CU进行mode(Z)的预测，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*，进入步骤9；

B)若i＝2，判断mode(P)与mode(X)是否相同，若相同，则进入步骤8.6，若不同，进入步骤8.5；

步骤8.5：将当前编码单元CU进行mode(X)的预测，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*；判断当前编码单元CU的当前最佳预测模式mode^*是否为mode(X)且是否满足左邻块CU_Left、上邻块CU_Above以及同位块CU_Col中至少两个块的率失真代价RD_j大于当前编码单元CU在当前编码单元CU在当前最佳模式mode^*下的率失真代价RD^*，若判断为真，则进入步骤9，若判断为假，则进入步骤8.6；

步骤8.6：判断mode(P)与mode(Y)是否相同，若相同，则进入步骤8.8，若不同，进入步骤8.7；

步骤8.7：将当前编码单元CU进行mode(Y)的预测，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*；进入步骤9；

步骤8.8：判断当前编码单元CU的当前最佳模式mode^*是否为mode(P)，若是，进入步骤9，若不是，进行剩余未执行模式的预测并依据率失真代价更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*，进入步骤9；

C)若i＝3，判断mode(P)与mode(X)是否相同，若相同，进入步骤9，若不同，进入步骤8.9；

步骤8.9：将当前编码单元CU进行mode(X)的预测，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*，进行剩余未执行模式的预测，进入步骤9；

所述更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*是指对当前编码单元进行模式预测后，若得到的率失真代价小于RD^*，则将进行的模式作为当前最佳预测模式mode^*，同时，将得到的率失真代价作为当前最佳率失真代价RD^*；

步骤9：结束帧间模式的预测。

有益效果

本发明提供了一种基于决策树的帧间快速模式选择方法，通过获取相关性较好的特定位置的CU信息，首先进行决策树预测得出的最佳模式的预测编码，并实时获取当前CU编码后的一些信息，利用时域和空域信息的相关性，与周边CU的相关信息结合，对帧间编码模式的个数和顺序进行细致调整。该方案提前对帧间模式进行预测，并在帧间模式的预测过程中实时调整模式顺序，跳过不必要的模式预测，大幅度地缩短了帧间预测的时间，从而减少了编码时间；且该方法简单易行，有利于新一代视频编码标准的产业化推广。

附图说明

图1为CU及邻块的位置关系示意图，其中，(a)为参考帧，(b)为当前帧；

图2为本发明的整体流程图。

具体实施方式

为了便于公众理解，下面结合图1和图2，以实施例来对本发明的技术方案基于新一代视频编码的参考软件JEM进行详细说明。

为减少编码时间，提高工作效率，本发明具体采用的技术方案为：获取相关性较好的特定位置的CU信息，首先进行决策树预测得出的最佳模式的预测编码，并实时获取当前CU编码后的一些信息，利用时域和空域信息的相关性，与周边CU的相关信息结合，对帧间编码模式的个数和顺序进行细致调整。

一种基于决策树的帧间快速模式选择方法，包括以下步骤：

步骤1：构建当前编码单元CU最佳预测模式分类器；

从国际标准测试序列中随机选取四个视频测试序列，在所选的四个测试序列的100帧的编码信息中，获取当前编码单元CU的左邻块CU_Left、上邻块CU_Above以及同位块CU_Col的相关信息；

以CU_Left、CU_Above、CU_Col的最佳模式，CU_Col的MV，CU_Col的残差和编码QP值，当前编码单元CU的平均像素作为输入数据，以当前编码单元CU的最佳预测模式作为输出数据，选择10重交叉验证，对weka中的J48决策树进行训练，得到基于决策树的当前编码单元CU最佳预测模式分类器；

步骤2：获取编码过程中当前编码单元CU的最佳预测模式预估值mode(P)；

提取编码过程中，当前编码单元的CU_Left、CU_Above、CU_Col的最佳模式，CU_Col的MV，CU_Col的残差和编码QP值以及当前编码单元CU的平均像素，输入至步骤1构建的构建当前编码单元CU最佳模式分类器，获取编码过程中当前编码单元CU的最佳预测模式预估值mode(P)；

步骤3：获取左邻块CU_Left、上邻块CU_Above以及同位块CU_Col的最佳预测模式mode_j，以及在对应最佳预测模式下的失真D_j和率失真代价RD_j，若mode(P)与mode_j均不为AffineMerge模式，进入步骤4，否则，依次进行所有帧间模式的预测后，进入步骤9；

步骤4：统计相同最佳预测模式的个数i，其中，j表示Left、Above、Col；

如：若mode_Left和mode_Above、mode_Col表示的模式都为Bilateral,则i＝3。

步骤5：依据i的取值，获取当前编码单元CU的最佳预测模式候选值；

1)若i＝0，按照失真D_j从小到大对左邻块CU_Left、上邻块CU_Above以及同位块CU_Col排列，并将排列后的左邻块CU_Left、上邻块CU_Above以及同位块CU_Col对应的最佳预测模式依次标记为第一最佳预测模式候选值mode(X)、第二最佳预测模式mode(Y)、第三最佳预测模式mode(Z)；

2)若i＝2，将左邻块CU_Left、上邻块CU_Above以及同位块CU_Col中的相同模式标记为第一最佳预测模式mode(X)，不同的模式标记为第二最佳预测模式mode(Y)；

3)若i＝3，将左邻块CU_Left、上邻块CU_Above以及同位块CU_Col的最佳预测模式标记为第一最佳模式mode(X)；

其中，X、Y、Z取普通Merge、Bilateral、Template、Inter2nx2n。

步骤6：对当前编码单元CU进行Affine Merge模式的预测，并将Affine Merge模式标记为当前编码单元CU的当前最佳模式mode^*，同时将Affine>*；

步骤7：对当前编码单元CU进行mode(P)的预测，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*；

步骤8：基于当前编码单元CU的最佳预测模式预估值mode(P)，再依次对当前编码单元CU的最佳预测模式候选值进行模式预测，在每次模式预测后，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*；

在各种i的取值下，基于当前编码单元CU的最佳预测模式预估值mode(P)，依次选择当前编码单元CU的最佳预测模式候选值进行模式预测，从而结束当前编码单元帧间模式的预测。

A)若i＝0，判断mode(P)与mode(X)是否相同，若相同，则进入步骤8.2，若不同，进入步骤8.1；

步骤8.1：将当前编码单元CU进行mode(X)的预测，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*；判断是否满足左邻块CU_Left、上邻块CU_Above以及同位块CU_Col的失真D_j以及率失真代价RD_j均大于当前编码单元CU在当前最佳预测模式mode^*下的失真D以及最佳率失真代价RD^*，若满足，则进入步骤9，若不满足，则进入步骤8.2；

步骤8.2：判断mode(P)与mode(Y)是否相同，若相同，则进入步骤8.4，若不同，进入步骤8.3；

步骤8.3：将当前编码单元CU进行mode(Y)的预测，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*；判断是否满足左邻块CU_Left、上邻块CU_Above以及同位块CU_Col中至少两个块的失真D_j以及率失真代价RD_j均大于当前编码单元CU在当前最佳预测模式mode^*下的失真D以及率失真代价RD*，若满足，则进入步骤9，若不满足，则进入步骤8.4；

步骤8.4：判断mode(P)与mode(Z)是否相同，若相同，则进入步骤9，若不同，将当前编码单元CU进行mode(Z)的预测，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*，进入步骤9；

B)若i＝2，判断mode(P)与mode(X)是否相同，若相同，则进入步骤8.6，若不同，进入步骤8.5；

步骤8.5：将当前编码单元CU进行mode(X)的预测，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*；判断当前编码单元CU的当前最佳预测模式mode^*是否为mode(X)且是否满足左邻块CU_Left、上邻块CU_Above以及同位块CU_Col中至少两个块的率失真代价RD_j大于当前编码单元CU在当前编码单元CU在当前最佳模式mode^*下的率失真代价RD^*，若判断为真，则进入步骤9，若判断为假，则进入步骤8.6；

步骤8.6：判断mode(P)与mode(Y)是否相同，若相同，则进入步骤8.8，若不同，进入步骤8.7；

步骤8.7：将当前编码单元CU进行mode(Y)的预测，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*；进入步骤9；

步骤8.8：判断当前编码单元CU的当前最佳模式mode^*是否为mode(P)，若是，进入步骤9，若不是，进行剩余未执行模式的预测并依据率失真代价更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*，进入步骤9；

C)若i＝3，判断mode(P)与mode(X)是否相同，若相同，进入步骤9，若不同，进入步骤8.9；

步骤8.9：将当前编码单元CU进行mode(X)的预测，更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*，进行剩余未执行模式的预测，进入步骤9；

所述更新当前最佳预测模式mode^*和当前最佳率失真代价RD^*是指对当前编码单元进行模式预测后，若得到的率失真代价小于RD^*，则将进行的模式作为当前最佳预测模式mode^*，同时，将得到的率失真代价作为当前最佳率失真代价RD^*；

步骤9：结束帧间模式的预测。

为了验证算法性能的好坏，本实例采用BDBR(Bjotegaard Delta Bit rate)以及ΔT两个指标来进行评估。其中，BDBR是用来评估算法对视频质量的影响，BDBR越大说明算法对视频质量的影响越大，即算法的性能越差。ΔT则是反映本发明所述方法对编码器效率的提升，其计算公式如下所示：

其中，T_org代表使用不加任何快速算法的原始编码器编码所使用的时间，Tnew代表使用本发明所述方法后编码所需时间，ΔT则代表使用本发明所述方法后编码器在效率上提升的百分比。

通过实验仿真，本发明的实验结果如表1所示。

表1实验结果

根据实验仿真结果表1可知：编码时间降低了15.88％，而BDBR上升仅为0.83。由此实验结果可以看出，本发明所述方法在保证视频主观质量的前提下，大幅度地提高了编码效率，达到了本发明的目的。