基于深度相关性的屏幕内容编码帧间快速编码方法

摘要

本发明公开了一种基于深度相关性的屏幕内容编码帧间快速编码方法，主要解决现有技术计算复杂度高的问题。其技术方案是：在当前深度下最佳预测模式为跳过模式SKIP预测模式时，统计下一深度的最佳预测模式为某个候选预测模式的概率，并进行候选预测模式的编码；在对候选预测模式进行编码时，统计最佳的运动估计是高级运动矢量预测AMVP运动估计还是运动合并MERGE运动估计的概率，再对候选预测模式选取概率大的最佳运动估方法进行编码；记录当前深度下最佳预测模式来选取下一深度帧间预测时的候选预测模式，从而减少下一深度候选预测模式的数量。本发明在不影响视频编码效率的前提下，减少了编码时间，可用于视频处理。

说明书

技术领域

本发明属于视频处理技术领域，特别涉及在屏幕内容编码SCC中的帧间快速编码方法，用于对非连续色调区域的屏幕内容视频的帧间编码过程。

背景技术

随着人们对生活质量和需求的不断提高，视频通信技术在人们生活娱乐及办公的推动下，不仅在清晰度上要求越来越高，在内容上也呈现多样化。2013年1月，高效率视频编码HEVC已在处理自然视频编解码方面有了很大的飞跃，成为最新的国际视频编码标准。传统视频编码器对连续色调区域的自然视频有较高的编码效率，但是对由计算机产生的非连续色调区域屏幕内容视频的编码效果并不理想，因此在HEVC的基础上提出了对非摄像机捕捉的屏幕内容视频的编解码技术SCC。SCC多应用于动画内容、文档阅读、网页浏览器、视频会议PPT等由计算机产生的非连续色调屏幕内容。

SCC引入了帧间的哈希搜索方式、帧内块拷贝IntraBC、调色板模式PLT帧内预测方式，以及自适应颜色转换技术来去除屏幕内容视频的颜色空间的冗余。基于哈希的帧间搜索和帧内块拷贝都将参考块的搜索范围扩展至整幅图像。这些关键技术对屏幕内容视频的编解码带来了较理想的效果。

SCC首先将视频帧划分成编码树单元CTU，然后对CTU按照四叉树的形式逐层划分为四个编码深度来进行编码，分别为深度0、深度1、深度2、深度3。在相应深度下对编码单元CU采用帧间预测模式和帧内预测模式进行编码。候选预测模式包括SKIP、Inter_2N×2N、Inter_N×2N、Inter_2N×N、Inter_2N×nU、Inter_2N×nD、Inter_nL×2N、Inter_nR×2N等8种帧间候选预测模式，和Intra_2N×2N、Intra_N×N、IntraBC_2N×2N、IntraBC_2N×N、IntraBC_N×2N、IntraBC_N×N、PLT等7种帧内候选预测模式。通过对这15种候选预测模式进行率失真代价函数RDcost的计算，找出RDcost值最小的候选预测模式作为当前CU的最佳预测模式。采用候选预测模式对CU进行预测的过程包括运动估计和运动补偿两个过程。进行运动估计时采用传统的运动估计和MERGE模式等两种方法，将具有RDcost值较小的运动估计方法作为最佳的运动估计。这使得SCC编码过程复杂，增加了编码时间。因此，在不影响视频编码效率的前提下，需要对SCC进行快速编码，来减少编码时间。

目前为止，针对SCC的快速编码提出了很多帧内快速编码方法。但对屏幕内容视频序列的帧内编码数据和帧间编码数据作对比发现，屏幕内容视频存在着很大的帧间冗余性，并且帧间编码存在较高的复杂度，需要从帧间编码入手对其减少编码时间。现有SCC帧间快速编码方法有以下两种：

SKIP模式早期决定ESD方法是由JungyoupYang，JaehwanKim，KwanghyunWon等人在2011年11月的联合视频编码小组JCT-VC会议上提出的JCTVC-G543文件中提到的方法。为了决定出最佳预测模式，编码器要计算所有候选预测模式的RDcost值。因为每一个预测模式都需要较高的计算复杂度，如果编码器能在较早阶段不需要检查所有候选预测模式的情况下就能够确定最佳预测模式，就可以极大地降低复杂度。ESD方法在计算SKIP预测模式的RDcost值之前，先计算Inter_2Nx2N预测模式的RDcost值，再检查Inter_2N×2N预测模式的运动矢量差值DMV和编码块标识CBF。如果DMV和CBF分别等于(0,0)和零，当前CU的最佳预测模式就被早期决定为SKIP预测模式，也就是不再计算剩余候选预测模式的RDcost值，因此在编码效率损失很小的情况下，减少计算复杂度。

CBF快速决定模式CFM方法是由RyeongHeeGweon，Yung-LyulLee，JeongyeonLim在2011年7月的联合视频编码小组JCT-VC会议上提出的JCTVC-F045文件中提到的方法。对帧间图像CU编码时，会计算所有候选预测模式的RDcost值。在CFM方法中，除去Inter_N×N预测模式，如果在当前帧间候选预测模式下CU的亮度和两个色度的CBF(cbf_luma,cbf_u,cbf_v)为零，就跳过CU中剩余的帧间候选预测模式的编码过程。在进行帧间预测模式编码之后，采用帧内预测模式对CU进行编码。为了减少帧内编码复杂度，比较之前帧间预测模式的RDcost值，检查具有最小RDcost值的帧间预测模式的CBF值。若CBF值为零，则跳过帧内预测模式的编码过程。

ESD方法对屏幕内容编码时，会节省很多编码时间，且编码效率基本保持不变。但CFM方法联合使用ESD方法对屏幕内容编码时，编码时间几乎没有减少，且编码效率下降，并没有起到快速编码的作用。因此在使用ESD方法的基础上，对SCC的编码时间还有待减少。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于深度相关性的SCC帧间快速编码方法，以在保持编码效率基本不变的前提下节省编码时间，实现帧间快速编码。

本发明的基本思想是：根据当前深度下最佳预测模式为SKIP预测模式和下一深度被选作最佳预测模式的候选预测模式的关系，在不同深度选取不同的候选预测模式进行编码。在候选预测模式进行预测时，根据运动估计方法和候选预测模式的关系，选取最佳的运动估计方法进行预测。在不影响视频编码效率的前提下，对SCC进行帧间快速编码。其实现方案包括如下：

(1)输入视频图像，判断视频帧类型：如果输入视频为I帧时，则对当前编码树单元CTU进行编码，执行步骤(14)；如果输入视频为非I帧时，则对当前CTU进行编码，执行步骤(2)；

(2)判断当前深度是否为2，如果是，则执行步骤(3)否则执行步骤(4)；

(3)判断深度为1时的最佳预测模式是否为跳过模式SKIP预测模式，如果是，则选取SKIP,Inter_2N×2N,Inter_N×2N,Inter_2N×N这4种帧间候选预测模式和帧内候选预测模式进行编码，执行步骤(7)，否则依次采用SKIP,Inter_2N×2N,Inter_N×2N,Inter_2N×N,Inter_2N×nU,Inter_2N×nD,Inter_nL×2N,Inter_nR×2N这8种帧间候选预测模式和帧内候选预测模式进行编码，执行步骤(7)；

(4)判断当前深度是否为3，如果是，执行步骤(5)否则执行步骤(6)；

(5)判断深度为2时的最佳预测模式是否为SKIP预测模式，如果是，则选取SKIP预测模式和帧内候选预测模式进行编码，执行步骤(7)，否则依次采用SKIP,Inter_2N×2N,Inter_N×2N,Inter_2N×N,Inter_2N×nU,Inter_2N×nD,Inter_nL×2N,Inter_nR×2N这8种帧间候选预测模式和帧内候选预测模式进行编码，执行步骤(7)；

(6)依次对SKIP,Inter_2N×2N,Inter_N×2N,Inter_2N×N,Inter_2N×nU,Inter_2N×nD,Inter_nL×2N,Inter_nR×2N这8种帧间候选预测模式和帧内候选预测模式进行编码；

(7)判断预测模式是否为SKIP预测模式，如果是，则执行步骤(12)，否则执行步骤(8)；

(8)判断预测模式是否为Inter_2N×2N预测模式，如果是，则执行步骤(13)，否则执行步骤(9)；

(9)判断预测模式是否为Inter_2N×N，Inter_N×2N预测模式中的一种，如果是，则执行步骤(12)，否则执行步骤(10)；

(10)判断预测模式是否为Inter_2N×nU,Inter_2N×nD,Inter_nL×2N，Inter_nR×2N预测模式中的一种，如果是，则执行步骤(11)，否则执行步骤(14)；

(11)判断当前深度下Inter_2N×2N预测模式的最佳运动估计方法是否为运动合并MERGE运动估计，如果是，则执行步骤(12)，否则执行步骤(13)；

(12)采用MERGE运动估计方法进行编码；

(13)采用高级运动矢量预测AMVP运动估计和MERGE运动估计两种方法进行编码；

(14)采用帧内候选预测模式进行编码，并记录深度为1和深度为2时的最佳预测模式；

(15)结束对当前CTU的编码，进行下一个CTU的编码。

本发明具有如下优点：

本发明由于利用当前深度下最佳预测模式为SKIP预测模式和下一深度被选作最佳预测模式的候选预测模式的概率关系，对不同深度选取不同的候选预测模式进行编码，并在候选预测模式进行预测时，根据运动估计方法和候选预测模式的关系，选取最佳的运动估计方法进行预测，因而运算复杂度小，且在不影响视频编码效率的前提下，节省了帧间编码时间。

附图说明

图1是本发明的实现流程图。

图2是本发明的编码时间随比特率变化的曲线。

图3是本发明的亮度峰值信噪比随比特率变化的率失真RD曲线。

具体实施方式

下面将结合附图对本发明的实施例进行详细描述。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体操作过程，但本发明的保护范围不限于下述实施例。

参照图1，本发明的具体实现步骤如下：

步骤一：在屏幕内容编码SCC编码器端输入视频图像，判断视频帧类型：

如果输入的视频为I帧，则对当前编码树单元CTU进行编码，执行步骤十四；

如果输入的视频为非I帧，则对当前编码树单元CTU进行编码，执行步骤二。

步骤二：判断当前编码树单元CTU的深度是否为2，如果是，则执行步骤三，否则执行步骤四。

步骤三：对当前编码树单元CTU深度为2的编码单元CU选取候选预测模式进行编码。

事先统计好的在不同量化参数QP下，深度为1时最佳预测模式为跳过模式SKIP预测模式时，深度为2的最佳预测模式为某个候选预测模式的概率，如表1所示。

表1：深度为1时最佳预测模式为SKIP下，深度为2时的最佳预测模式的概率

判断深度为1时的最佳预测模式是否为跳过模式SKIP预测模式：

如果是，则根据表1选取概率大的SKIP,Inter_2N×2N,Inter_N×2N,Inter_2N×N这4种帧间候选预测模式和帧内候选预测模式进行编码，跳过Inter_2N×nU,Inter_2N×nD,Inter_nL×2N,Inter_nR×2N这4种帧间候选预测模式，执行步骤七；

如果不是，则依次采用SKIP,Inter_2N×2N,Inter_N×2N,Inter_2N×N,Inter_2N×nU,Inter_2N×nD,Inter_nL×2N,Inter_nR×2N这8种帧间候选预测模式和帧内候选预测模式进行编码，执行步骤七。

步骤四：判断当前编码树单元CTU的深度是否为3，如果是，则执行步骤五，否则执行步骤六。

步骤五：对当前编码树单元CTU深度为3的编码单元CU选取候选预测模式进行编码。

事先统计好的在不同量化参数QP下，深度为2时最佳预测模式为跳过模式SKIP预测模式时，深度为3的最佳预测模式为某个候选预测模式的概率，如表2所示。

表2：深度为2时最佳预测模式为SKIP下，深度为3时的最佳预测模的概率

判断深度为2时的最佳预测模式是否为跳过模式SKIP预测模式：

如果是，则选取SKIP预测模式和帧内候选预测模式进行编码，跳过Inter_2N×2N,Inter_N×2N,Inter_2N×N,Inter_2N×nU,Inter_2N×nD,Inter_nL×2N,Inter_nR×2N这7种帧间候选预测模式，执行步骤七；

如果不是，则依次采用SKIP,Inter_2N×2N,Inter_N×2N,Inter_2N×N,Inter_2N×nU,Inter_2N×nD,Inter_nL×2N,Inter_nR×2N这8种帧间候选预测模式和帧内候选预测模式进行编码，执行步骤七。

步骤六：依次对SKIP,Inter_2N×2N,Inter_N×2N,Inter_2N×N,Inter_2N×nU,Inter_2N×nD,Inter_nL×2N,Inter_nR×2N这8种帧间候选预测模式和帧内候选预测模式进行编码。

步骤七：判断预测模式是否为跳过模式SKIP预测模式，如果是，则执行步骤十二，否则执行步骤八。

步骤八：判断预测模式是否为Inter_2N×2N预测模式，如果是，则执行步骤十三，记录Inter_2N×2N预测模式的最佳运动估计方式，作为Inter_2N×nU,Inter_2N×nD,Inter_nL×2N，Inter_nR×2N这4种候选预测模式选取运动估计的参考，否则，执行步骤九。

步骤九：判断预测模式是否为Inter_2N×N，Inter_N×2N预测模式中的一种，如果是，则执行步骤十二，否则执行步骤十。

事先统计好的Inter_2N×N，Inter_N×2N预测模式的最佳运动估计为高级运动矢量预测AMVP运动估计时的最佳预测模式的概率，分别如表3，表4所示；

根据表3，Inter_2N×N预测模式的最佳运动估计为高级运动矢量预测AMVP运动估计时，最佳预测模式为Inter_2N×N预测模式的概率很小，因此将Inter_2N×N预测模式的最佳运动估计选为运动合并MERGE估计，同理，对表4中Inter_N×2N预测模式的最佳运动估计选为运动合并MERGE估计。

表3：Inter_2N×N的最佳运动估计为高级运动矢量预测AMVP运动估计时最佳预测模式的概率

表4：Inter_N×2N的最佳运动估计为高级运动矢量预测AMVP运动估计时最佳预测模式的概率

步骤十：判断预测模式是否为Inter_2N×nU,Inter_2N×nD,Inter_nL×2N，Inter_nR×2N预测模式中的一种，如果是，则执行步骤十一，否则执行步骤十四。

步骤十一：根据步骤八中当前深度下Inter_2N×2N预测模式记录下的最佳运动估计方法，判断Inter_2N×2N预测模式的最佳运动估计方法是否为运动合并MERGE估计，如果是，则执行步骤十二，否则执行步骤十三。

步骤十二：采用MERGE运动估计方法进行编码。

步骤十三：采用高级运动矢量预测AMVP运动估计和MERGE运动估计两种方法进行编码。

步骤十四：采用帧内候选预测模式进行编码，并记录深度为1和深度为2时的最佳预测模式。

14.1)采用平面模式、DC模式和33种方向预测模式这35种所有可能的帧内预测模式进行编码；

14.2)判断当前编码树单元CTU的深度：

如果深度为2，则采用IntraBC_2N×2N预测模式进行编码；

如果深度为3，则采用IntraBC_2N×2N,IntraBC_2N×N,IntraBC_N×2N,IntraBC_N×N预测模式进行编码；

14.3)采用调色板PLT预测模式进行编码；

14.4)在所有帧间和帧内的候选预测模式中，选取具有最小率失真代价RDcost值的预测模式作为当前深度的最佳预测模式。记录当前深度下最佳预测模式，将深度为1和深度为2时的最佳预测模式做为下一深度编码时的参考，来选取下一深度帧间预测时的候选预测模式。

步骤十五：结束对当前CTU的编码，进行下一个CTU的编码。

上述步骤描述了本发明的优选实例，显然本领域的研究人员可参考本发明的优选实例和附图对本发明做出各种修改和替换，这些修改和替换都应落入本发明的保护范围之内。

本发明的效果可通过以下实验进一步说明：

1)实验条件

本发明中的方法使用VS2010编码环境，用HM-16.2+SCM-3.0参考软件进行测试，配置条件为低时延配置encoder_lowdelay_main_scc.cfg。量化参数QP分别取22、27、32、37。CPU配置为：Intel(R)Xeon(R)CPUE5-2650v22.60GHz。

实验测试的视频序列详细信息如表5所示：

表5：视频序列详细信息

2)实验内容及结果

用快速编码方法对所有的视频序列进行编码，记录编码时间和编码比特，计算出BD-PSNR、BD-Rate，来估计编码效率。BD-PSNR表示了在给定的同等码率下，两种方法的亮度峰值信噪比PSNR-Y的差异，单位是dB。BD-Rate表示了在同样的客观质量下，两种方法的码率节省情况，单位是％。用ΔTime表示本发明与其他方法相比的平均时间变化量，ΔTime公式如下：

$\Delta Time=\frac{Time1-Time2}{Time}\times 100\%$

在本发明中，表6中Time1表示本发明联合使用ESD方法的编码时间，Time2表示使用ESD方法的编码时间。表7中的Time1表示本发明联合使用ESD方法的编码时间，Time2表示CFM方法联合使用ESD方法的编码时间。

2.1)实验一

为了验证本发明的有效性及可行性，在使用ESD方法的基础上进行实验。用本发明和ESD方法、CFM方法，分别对屏幕内容视频序列进行测试，给出各方法编码性能比较的实验结果。在低时延配置下，本发明与ESD方法比较的实验结果如表6所示，本发明与CFM方法比较的实验结果如表7所示。

表6：本发明与ESD方法的比较

表7：本发明与CFM方法的比较

由表6可见，在使用ESD方法的基础上，本发明与ESD方法相比，节省了16.50％的编码时间，同时BD-PSNR降低0.0502dB，BD-Rate增加0.5373％，在人眼可接受范围之内。

由表7可见，在使用ESD方法的基础上，本发明与CFM方法相比，节省16.48％的编码时间，BD-PSNR增加0.028dB，BD-Rate仅增加0.0592％，证明了本发明的可行性和优势。

2.2)实验二

在使用ESD方法的基础上，在不同量化参数QP下，画出本发明、ESD方法、CFM方法，这三种方法的性能比较曲线，其中：

编码时间随比特率变化的曲线如图2所示，

亮度峰值信噪比随比特率变化的率失真RD曲线如图3所示。

由图2可见，本发明编码时间随比特率变化的曲线在ESD方法、CFM方法曲线的最下方，表明在使用ESD方法的基础上，本发明与ESD方法、CFM方法相比，编码时间最少。

由图3可见，本发明、ESD方法、CFM方法，这三种方法的率失真RD曲线基本重合，表示三种方法的编码效率几乎一样。

由实验一和实验二结果可得，在使用ESD方法的基础上，本发明在不影响视频编码效率的前提下，减少了编码时间。