基于预测模式快速选择的SHVC增强层视频编码方法

摘要

本发明公开了一种基于预测模式快速选择的SHVC增强层视频编码方法，主要解决可伸缩高效视频编码标准中增强层编码速率低的问题。其实现步骤为：(1)确定基本层和增强层的相关性并通过概率统计得到预测模式概率统计表；(2)根据概率统计表选出增强层的粗略候选预测模式；(3)用粗略的候选预测模式和Yin方法分别对视频序列前n帧进行编码，并得到率失真性能估计量BD-PSNR；(4)根据率失真性能估计量BD-PSNR调整粗略的候选预测模式得到最终的候选预测模式；(5)用最终的候选预测模式对视频序列进行编码。本发明在保证视频率失真性能的前提下，有效地降低了编码复杂度，减少了编码时间，可用于实时视频应用。

说明书

技术领域

本发明属于视频处理领域，特别涉及一种预测模式快速选择方法，可用于视频压缩。

背景技术

2013年1月，由动态图像专家组MPEG和视频编码专家组VCEG两大国际视频编码组 织成立的视频编码联合工作组JCT-VC开发制定了代替H.264/AVC的国际视频编码新标准 HEVC。但是编码标准缺乏灵活性，当不同终端对于视频的分辨率、帧率等有不同的要求时， 就必须对输入的视频流进行多次编码。为了解决这个问题，在高效视频编码HEVC标准的基 础上扩展出可伸缩视频编码技术。

可伸缩高效视频编码SHVC能够将输入的视频信号一次性编码成不同码率、空间分辨率 和视频质量的码流，以适应不同带宽以及不同客户端对视频的要求，对网络要求比较低，使 用共享线路即可，还能实现视频会议的实时交互，在视频会议中应用较为普遍。

SHVC中有时域、空域、质量和比特深度等伸缩性以及各种伸缩性的联合使用。其中， 空域可伸缩是指在原始码流的基础上，经过一次编码产生多种空间分辨率的视频流，并且增 强层的分辨率比基本层的高，但是各层的图像内容是相同的，只是空间分辨率越高，视频更 加清晰细腻。原始的输入视频经过下采样，并采用高效视频编码HEVC或先进的视频编码AVC 将其编码成为基本层比特码流。基本层的重构视频经过上采样得到的层间参考图像可用于层 间预测，使用层间预测编码增强层图像可提高增强层编码质量。

由于SHVC中增强层添加了层间预测模式ILR，并且增强层所有编码树单元要进行四个 深度的编码，每个编码深度有多种预测模式，包括SKIP、Inter_2N×2N、Inter_2N×N、 Inter_N×2N、Inter_2N×nU、Inter_2N×nD、Inter_nL×2N、Inter_nR×2N、Intra_2N×2N、Intra_N×N 和ILR，需要大量率失真代价计算，经过率失真优化后才能得到最佳预测模式，因此整个过 程计算复杂度很高，降低了编码速率，限制了标准的实际应用，需要进一步加快预测模式选 择过程。

目前为止，SHVC空域可伸缩中已提出的预测模式快速选择方法主要是Peng Yin,Taoran  Lu和Tao Chen等人于2013年1月，在JCT-VC组织召开的第12次国际视频会议上提出的题 为“Inter-layer reference picture placement”的JCTVC-L0174文件中提到的增强层模式快速选择 方法，本发明中称其为Yin方法。具体内容如下：

(1)在测试序列基本层为I帧、增强层为P帧的条件下，有两种选择方法。第一种方法 是：只选择intra模式和ILR模式，其他所有帧间模式都不选择，第二种方法是：只选择使用 merge的Inter_2N×2N模式、intra模式和ILR模式；

(2)在测试序列基本层为I帧、增强层为B帧或基本层为非I帧的条件下，相对于基本 层预测过程来说，增强层预测有两个改变：一是在Inter_2N×2N模式中，通过运动估计排除 层间参考图像的选择，二是在intra模式之后做ILR模式。

上述Yin方法中，对于图1中低时延B、低时延P和随机接入这三种配置条件下增强层 的特殊帧即黑色的P帧，采用Yin方法进行编码，增强层的其他帧采用可伸缩高效视频编码 SHVC方法进行编码，这种方法在保证率失真性能的前提下虽然能减少编码时间。但是，该 方法仍有大量视频帧没有采用快速方法，编码过程仍需消耗大量时间。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于预测模式快速选择的SHVC增强 层视频编码的方法，在保证率失真性能的前提下，减小所有帧型配置的编码复杂度和编码时间。

实现本发明目的的技术方案，包括如下步骤：

1.一种基于预测模式快速选择的SHVC增强层视频编码方法，包括如下步骤：

2.确定基本层编码单元和增强层编码单元的对应关系：

1.1)在可伸缩高效视频编码SHVC的空域可伸缩中，给出基本层和增强层的量化步长值， 输入一个视频序列并进行下采样，得到分辨率不同的两组视频，其中，分辨率小的视频为基 本层，分辨率大的视频为增强层；

1.2)将基本层的一个2N×2N的大编码单元划分为4个N×N的小编码单元，这4个N ×N的编码单元分别对应增强层4个相邻的2N×2N的编码单元，N＝4,8,16,32；

(2)统计一个视频序列前n帧的基本层最佳预测模式和增强层最佳预测模式的概率关系， 40﹤n﹤60：

2.1)将基本层中已编码的N×N编码单元分成个4×4区域，每个4×4区域都有一种预 测模式，统计个4×4区域中使用次数最多的预测模式，并将该模式作为基本层N×N编码单 元的最佳预测模式；

2.2)记录一个视频序列前n帧中基本层的N×N编码单元的最佳预测模式和对应的增强 层2N×2N编码单元的最佳预测模式，得到基本层最佳预测模式和增强层最佳预测模式的概 率关系；

(3)重复步骤(1)和步骤(2)，分别获得多个视频序列的基本层最佳预测模式与增强层 最佳预测模式的概率关系，并对所有视频序列的概率关系做平均，得到预测模式概率统计表；

(4)在预测模式概率统计表中，每种基本层最佳预测模式对应11种增强层预测模式，对 于每种基本层最佳预测模式，将其对应的11种增强层预测模式按照概率从大到小的顺序排 列，若概率大于5％的预测模式且数目不超过7种，则直接将其作为粗略的候选预测模式，否 则，选择概率高的前7种候选模式作为粗略的候选预测模式；

(5)用粗略的候选预测模式对视频序列的前n帧进行编码，记录码率和亮度峰值信噪比；

(6)用Yin方法对视频的前n帧进行编码，记录码率和亮度峰值信噪比；

(7)改变基本层和增强层的量化步长值，重复步骤(1)到步骤(6)；

(8)根据步骤(5)到步骤(7)中的码率和亮度峰值信噪比，得到率失真性能估计量 BD-PSNR；

(9)根据步骤(8)的结果判断粗略的候选预测模式是否为最终的候选预测模式：若满足 -0.055dB﹤BD-PSNR﹤-0.045dB，则粗略的候选预测模式就是最终的候选预测模式，否则， 对粗略的候选预测模式进行调整，使其BD-PSNR满足要求，并将调整后的粗略候选预测模 式作为最终的候选预测模式；

(10)根据最终的候选预测模式，对视频序列进行编码：

10.1)输入一个视频序列并进行下采样，得到基本层和增强层视频；

10.2)利用Yin方法对基本层和增强层的第一帧进行编码；

10.3)从第二帧开始对基本层和增强层的视频分别用不同的方法进行编码：若基本层为 非I帧，则利用高效视频编码HEVC方法对基本层视频进行编码，记录所有编码单元的最佳 预测模式，并根据基本层最佳预测模式找到增强层最终的候选预测模式，对增强层视频进行 编码；若基本层为I帧时，则执行步骤10.4)；

10.4)判断视频序列的配置条件：如果视频序列的配置条件为低时延，则利用高效视频 编码HEVC方法对基本层视频进行编码，记录基本层所有编码单元的最佳预测模式，根据基 本层最佳预测模式找到增强层最终的候选预测模式，对增强层视频进行编码；如果视频序列 的配置条件为随机接入，则利用高效视频编码HEVC方法对基本层视频进行编码，利用Yin 方法对增强层视频进行编码。

本发明与现有的Yin方法相比具有如下优点：

(a)本发明利用SHVC空域可伸缩中基本层和增强层视频内容相同这个特点，用概率统 计的方法得到的基本层最佳预测模式和增强层最佳预测模式的概率关系，能确定出最终的候 选预测模式，减少了增强层的预测模式数目，在保证率失真性能的前提下，降低了编码复杂 度，提高了编码速率；

(b)本发明由于对视频序列的各种帧型均做了预测模式概率统计，并得到了相应的最终 候选预测模式，因此能够广泛用于低时延B、低时延P和随机接入三种视频序列配置条件。

附图说明

图1是现有在三种视频序列配置条件下的基本层和增强层的视频帧类型；

图2是本发明的实现流程图。

具体实施方式

下面将结合附图对本发明的实施例进行详细描述。本实施例以本发明技术方案为前提进 行实施，给出了详细的实施方式和具体操作过程，但本发明的保护范围不限于下述实施例。

本发明是在SHM6.1上进行的，视频序列的配置条件有低时延B、低时延P和随机接入 三种，每种情况下的量化步长QP如表1所示：

表1 三种视频序列配置条件下的量化步长

视频序列配置条件 基本层量化步长QP0 增强层量化步长QP1 低时延B 20～25，26～29，30～33，34～40 QP0+0～QP0+1，QP0+2～QP0+3 低时延P 20～25，26～29，30～33，34～40 QP0+0～QP0+1，QP0+2～QP0+3 随机接入 20～25，26～30，31～34，35～40 QP0+0～QP0+1，QP0+2～QP0+3

参照图2，本发明的实现步骤如下：

步骤一：确定基本层编码单元和增强层编码单元的对应关系。

1.1)给出视频测试序列信息，如表所示：

表2 视频测试序列的具体信息

1.2)视频序列配置条件为低时延B、量化步长QP0＝(20～25)、QP1＝(QP0+0～QP0+1) 时，输入表2中的Traffic视频序列并进行下采样，得到分辨率分别为1280×800和2560×1600 的两组视频，其中，分辨率为1280×800的视频为基本层，分辨率为2560×1600的视频为增 强层；

1.3)将基本层的一个2N×2N的大编码单元划分为4个N×N的小编码单元，这4个N ×N的编码单元分别对应增强层中4个相邻的2N×2N的编码单元，N＝4,8,16,32。

步骤二：统计Traffic视频序列前50帧的基本层最佳预测模式和增强层最佳预测模式的概 率关系。

2.1)将基本层中已编码的N×N编码单元分成个4×4区域，每个4×4区域都有一种预 测模式，统计个4×4区域中使用次数最多的预测模式，并将该模式作为基本层N×N编码单 元的最佳预测模式；

2.2)记录Traffic视频序列前50帧的基本层中N×N编码单元的最佳预测模式和对应的增 强层2N×2N编码单元的最佳预测模式，得到基本层最佳预测模式和增强层最佳预测模式的 概率关系。

步骤三：重复步骤一和步骤二，分别得到表2中另外六个视频序列的基本层最佳预测模 式与增强层最佳预测模式的概率关系，即PeopleOnStreet、Kimono、ParkScene、Cactus、 BasketballDrive、BQTerrace，并对七个视频序列的概率关系做平均，得到预测模式概率统计， 如表3：

表3 低时延B配置条件下，QP0＝(20～25)QP1＝(QP0+0～QP0+1)时基本层最佳预测 模式和增强层最佳预测模式间的概率关系(％)

表3中，模式0～模式10分别代表SKIP、Inter_2N×2N、Inter_2N×N、Inter_N×2N、 Inter_2N×nU、Inter_2N×nD、Inter_nL×2N、Inter_nR×2N、Intra_2N×2N、Intra_N×N和ILR 这11种预测模式。

步骤四：在表3的预测模式概率统计中，对于每种基本层最佳预测模式，将其对应的11 种增强层预测模式按照概率从大到小的顺序排列，若概率大于5％的预测模式且数目不超过7 种，则直接将其作为粗略的候选预测模式，否则，选择概率高的前7种候选模式作为粗略的 候选预测模式。

步骤五：用粗略的候选预测模式分别对表2中的七个视频序列的前50帧进行编码。

5.1)用高效视频编码HEVC对基本层视频进行编码，记录所有编码单元的最佳预测模式；

5.2)根据增强层当前编码单元的尺寸和索引值，在基本层找到视频内容相对应的区域， 获得该区域的最佳预测模式；

5.3)根据基本层的最佳预测模式，用粗略的候选预测模式，对增强层视频进行编码；

5.4)分别记录七个视频序列的码率和亮度峰值信噪比；

步骤六：用Yin方法对表2中的七个视频序列的前50帧进行编码，分别记录七个视频序 列的码率和亮度峰值信噪比。

步骤七：在表1中其他七组量化步长条件下，重复步骤1.2)到步骤六，分别得到七个视 频序列的码率和亮度峰值信噪比。

步骤八：根据步骤五到步骤七中的码率和亮度峰值信噪比，按照视频编码联合组JCT-VC 提出的VCEG-AE07会议文档中的描述，通过录入两组码率和亮度峰值信噪比数据，并加载 宏文件，得到七个视频序列的率失真性能估计量BD-PSNR，并对这七个视频序列的率失真性 能估计量BD-PSNR取平均值。

步骤九：根据平均率失真性能估计量BD-PSNR，调整增强层粗略的候选预测模式。

9.1)根据步骤七的结果判断粗略的候选预测模式是否为最终的候选预测模式：若满足 -0.055dB﹤BD-PSNR﹤-0.045dB，则粗略的候选预测模式就是最终的候选预测模式，否则， 对粗略的候选预测模式进行调整，执行步骤9.2)；

9.2)若率失真性能估计量BD-PSNR﹤-0.055dB，则选取非粗略候选预测模式的其他概 率最高的模式，作为其中一种粗略的候选预测模式，但候选预测模式数目不能超过7种；若 率失真性能估计量BD-PSNR﹥-0.045dB，去掉粗略的候选预测模式中概率最小的模式，减少 粗略的候选预测模式数目，使其BD-PSNR满足要求，并将调整后的粗略候选预测模式作为 最终的候选预测模式，得到的最终候选预测模式如表4～表11所示：

表4 QP0＝(20～25)QP1＝(QP0+0～QP0+1)时增强层最终的候选预测模式

表5 QP0＝(20～25)QP1＝(QP0+2～QP0+3)时增强层最终的候选预测模式

表6 QP0＝(26～29)QP1＝(QP0+0～QP0+1)时增强层最终的候选预测模式

表7 QP0＝(26～29)QP1＝(QP0+2～QP0+3)时增强层最终的候选预测模式

表8 QP0＝(30～33)QP1＝(QP0+0～QP0+1)时增强层最终的候选预测模式

表9 QP0＝(30～33)QP1＝(QP0+2～QP0+3)时增强层最终的候选预测模式

表10 QP0＝(34～40)QP1＝(QP0+0～QP0+1)时增强层最终的候选预测模式

表11 QP0＝(34～40)QP1＝(QP0+2～QP0+3)时增强层最终的候选预测模式

9.3)视频序列配置条件为低时延P时，执行步骤一到步骤9.2)，得到最终候选预测模式 如表12～表19所示：

表12 QP0＝(20～25)QP1＝(QP0+0～QP0+1)时增强层最终的候选预测模式

表13 QP0＝(20～25)QP1＝(QP0+2～QP0+3)时增强层最终的候选预测模式

表14 QP0＝(26～29)QP1＝(QP0+0～QP0+1)时增强层最终的候选预测模式

表15 QP0＝(26～29)QP1＝(QP0+2～QP0+3)时增强层最终的候选预测模式

表16 QP0＝(30～33)QP1＝(QP0+0～QP0+1)时增强层最终的候选预测模式

表17 QP0＝(30～33)QP1＝(QP0+2～QP0+3)时增强层最终的候选预测模式

表18 QP0＝(34～40)QP1＝(QP0+0～QP0+1)时增强层最终的候选预测模式

表19 QP0＝(34～40)QP1＝(QP0+2～QP0+3)时增强层最终的候选预测模式

9.4)视频序列配置条件为随机接入时，执行步骤一到步骤9.2)，得到最终候选预测模式 如表20～表27所示。

表20 QP0＝(20～25)QP1＝(QP0+0～QP0+1)时增强层最终的候选预测模式

表21 QP0＝(20～25)QP1＝(QP0+2～QP0+3)时增强层最终的候选预测模式

表22 QP0＝(26～30)QP1＝(QP0+0～QP0+1)时增强层最终的候选预测模式

表23 QP0＝(26～30)QP1＝(QP0+2～QP0+3)时增强层最终的候选预测模式

表24 QP0＝(31～34)QP1＝(QP0+0～QP0+1)时增强层最终的候选预测模式

表25 QP0＝(31～34)QP1＝(QP0+2～QP0+3)时增强层最终的候选预测模式

表26 QP0＝(35～40)QP1＝(QP0+0～QP0+1)时增强层最终的候选预测模式

表27 QP0＝(35～40)QP1＝(QP0+2～QP0+3)时增强层最终的候选预测模式

表4～表27中，QP0代表基本层的量化步长QP的值，QP1代表增强层的量化步长QP的 值，模式0～模式10分别代表SKIP、Inter_2N×2N、Inter_2N×N、Inter_N×2N、Inter_2N×nU、 Inter_2N×nD、Inter_nL×2N、Inter_nR×2N、Intra_2N×2N、Intra_N×N和ILR这11种预测 模式。

步骤十：根据最终的候选预测模式，对表2中的每个视频序列进行编码。

10.1)视频序列配置条件为低时延B、量化步长QP0＝(20～25)、QP1＝(QP0+0～QP0+1) 时，输入视频序列并进行下采样，得到基本层和增强层视频；

10.2)利用Yin方法对基本层和增强层的第一帧进行编码；

10.3)从第二帧开始对基本层和增强层的视频分别用不同的方法进行编码：若基本层为 非I帧，则利用高效视频编码HEVC方法对基本层视频进行编码，记录所有编码单元的最佳 预测模式，并根据基本层最佳预测模式找到增强层最终的候选预测模式，对增强层视频进行 编码；若基本层为I帧时，则执行步骤10.4)；

10.4)判断视频序列的配置条件：如果视频序列的配置条件为低时延，则利用高效视频 编码HEVC方法对基本层视频进行编码，记录基本层所有编码单元的最佳预测模式，根据基 本层最佳预测模式找到增强层最终的候选预测模式，对增强层视频进行编码；如果视频序列 的配置条件为随机接入，则利用高效视频编码HEVC方法对基本层视频进行编码，利用Yin 方法对增强层视频进行编码，分别记录增强层编码时间和整个视频序列编码时间；

10.5)对表1中其他七组量化步长，分别执行步骤10.1)到步骤10.4)；

10.6)对视频序列配置条件为低时延P和随机接入两种情况，分别执行步骤10.1)到步 骤10.5)，得到的编码时间与现有Yin方法相比较的结果，如表28所示。

表28 本发明相对Yin方法的率失真性能和时间减少量

表28中，BD-PSNR表示率失真性能估计量，单位是dB，ΔTime表示本发明与Yin方法 的时间比较的时间变化，EL表示增强层的编码时间比较，Total表示整个视频序列的编码时 间比较。

从表28中可以看出，视频序列的配置条件为低时延B时，在率失真性能估计量BD-PSNR 平均减少0.066dB的情况下，增强层编码时间减少37.77％，整个过程编码时间减少30.14％； 频序列的配置条件为低时延P时，在率失真性能估计量BD-PSNR平均减少0.059dB的情况 下，增强层编码时间减少41.22％，整个过程编码时间减少32.98％；频序列的配置条件为随 机接入时，在率失真性能估计量BD-PSNR平均减少0.052dB的情况下，增强层编码时间减少 45.90％，整个过程编码时间减少36.58％。其中，在随机接入的配置条件下视频压缩的率失真 性能最好，编码过程提速最快，说明在随机接入配置条件下，基本层和增强层的相关性最大； 而低时延B的配置条件下，基本层和增强层的相关性最小。

综上所述，本发明利用基本层和增强层视频的相关性，选出增强层最终的候选预测模式， 对增强层视频进行编码，最后将该快速方法的编码时间与Yin方法作比较。通过实验得到结 论，当平均BD-PSNR的变化范围是-0.066dB～-0.052dB时，该快速方法使增强层平均编码时 间减少37.77％～45.90％，视频的整体平均编码时间减少30.14％～36.58％。因此，在三种视频 序列配置条件下，本发明都能在保证率失真性能的基础上，有效地降低编码复杂度，提高编 码速率，可用于实时视频应用。

上述描述为本发明的优选实例，显然本领域的研究人员可参考本发明的优选实例和附图 对本发明做出各种修改和替换，这些修改和替换都应落入本发明的保护范围之内。