视频标准中基于自回归模型的帧内预测快速模式选择方法

摘要

本发明公开了一种视频标准中基于自回归模型的帧内预测快速模式选择方法，主要解决现有H.265/HEVC标准中帧内预测模式选择复杂度高的问题。其实现步骤为：对当前预测单元进行粗略模式选择，得到m种候选模式；加入最有可能模式，得到m1种候选模式；对m1种候选模式的代价函数值进行升序排序；将相邻两个代价值的差值和两者平均值的比值与基于自回归模型得到的门限进行对比，自适应地选出n种最终候选模式进行率失真优化。本发明操作简单，在保持图像压缩性能的同时，缩短了运行时间，为H.265/HEVC标准的实时实现提供了技术基础，可用于所有基于H.265/HEVC标准的视频压缩编码端中的帧内预测模式选择。

说明书

技术领域

本发明属于数字信号处理技术领域，涉及图像视频压缩编码中的预测模式选择 实现方法，可用于H.265/HEVC视频标准中的帧内预测编码过程。

背景技术

在2004年，也就是在H.264/MPEG-4AVC标准制定后的一年，国际电信联盟远 程通信标准化组织ITU-T的视频专家小组VCEG便开始研究能够成为下一代视频压 缩标准的技术。为此目的VCEG和国际标准化组织ISO/IEC的运动专家组MPEG联 合成立的视频编码联合工作组(Joint Collaborative Team on Video Coding,JCT-VC)共同 开发了HEVC标准。近年来，JCT-VC一直致力于H.265/HEVC的制定，于2012年7 月发布第一版公开版草案。在2013年4月13日，第一版的H.265/HEVC视频压缩标 准被接受为ITU-T的正式标准。

H.265/HEVC的目标是，在编码性能上相对于H.264/AVC的高档次，编码效率 提高一倍，即在保证相同视频图像质量的前提下，降低50％的比特率。

H.265/HEVC视频压缩标准，首先将图像划分成64×64大小的最大编码单元LCU， 然后对LCU进行预测、变换、量化和熵编码。其中预测包含帧内预测和帧间预测， 熵编码方式为基于上下文的自适应二进制算术编码CABAC。为了提高压缩率， H.265/HEVC在帧内预测上采用了更灵活的编码单元；根据四叉树结构确定最优划分； 帧内预测的模式从9种增加为35种，这些灵活的编码方法使得编码时间和计算复杂 度急剧增加，极大地限制了H.265/HEVC的实时实现。因此，很有必要需要在保证性 能的前提下，降低时间和计算复杂度，提高运行速度。

视频压缩是通过去除空间冗余以及时间冗余实现的。帧内预测主要用于消除空间 冗余，而帧间预测主要用于去除时间冗余。H.265/HEVC帧内预测采用四叉树结构和 递归算法进行编码单元CU的划分，然后把CU划分成4个同样大小的预测单元PU 进行预测。在亮度分量上，首先进行粗略模式选择过程，对当前PU进行33种角度 预测、平面Planar预测、直流DC预测，然后依据哈德玛代价函数SATD代价函数选 取代价最小的前n种候选模式，其中n的值由PU的大小决定。对于4×4和8×8的 PU块，n为8；对于16×16、32×32、64×64的PU块，n为3。然后对n种候选模式 和最有可能模式MPM进行最优模式选择过程，依据RDO代价函数选取代价最小的 模式作为最优模式。

在整个预测过程中，用到两种代价函数：一种是SATD代价函数，一种是率失真 优化RDO代价函数。该SATD代价函数为：SatdCost＝SATD+λ_pre×B_pre，其中， SATD为原图像与当前模式预测图像的预测残差的哈德玛变换绝对和，λ_pre为拉格朗日 系数，B_pre为当前预测模式编码的码流长度；该RDO代价函数为： RdCost＝SSD+λ_mod×B_mod，其中，SSD为原图像与当前模式重建图像的差值平方和， λ_mod为拉格朗日系数，B_mod为当前预测模式编码的码流长度。

可以看出，RDO代价函数需要计算原图像与当前模式重建图像的差值平方和 SSD，因为SSD值的计算要用到重建图像，需要对CU进行变换、量化、反量化、反 变换以及重建，虽然精度很高，但是计算很复杂。SATD代价函数只需要预测和变换， 不需要对块重建，计算复杂度低，但是模式选择的精度也较低。

目前为止，已提出的快速模式选择方法主要有以下几种：

北方工业大学提出的专利申请“用于HEVC的自适应快速帧内预测模式决策”， 专利申请号为201210138816.1，公开了一种应用于高效视频编码HEVC的自适应帧内 预测模式决策方法。该方法在使用了HEVC中的粗略模式选择过程RMD、最有可能 模式过程MPM和最优模式选择过程RDO的同时，在实施RMD之后加入了基于纹理 的附加模式选择过程，针对4×4和8×8、16×16和32×32尺寸的预测块，将候选模式 数量减小至2～5个，从而明显地减少了参与RDO模式选择的候选模式的数量。该方 法针对RMD过程进行快速模式选择，虽然运行时间缩短，但候选模式的数量减少为 2～5个会对编码质量有所损伤，且对于纹理方向不突出的图像，会引起判断失误降低 编码性能。

北方工业大学提出的“用于HEVC的基于方向矢量的帧内预测模式决策”，专利 申请号为201210138806.8，公开了一种用于HEVC的帧内预测模式决策过程。该发明 首先根据方向矢量幅度与角度对预测模式进行粗略选择，确定了由方向矢量得到的2 个预测方向再加上DC、planar模式，最后通过计算方向矢量选出4个预测模式进行 RDO代价值运算，较为有效的降低了编码时间，但是时间降低不明显；由于在方向 矢量计算过程中利用了统计特性，当分块较小时方向矢量统计图特征不明显，会导致 方向判断错误，降低图像压缩性能。

西安电子科技大学提出的申请“基于HEVC标准的帧内预测模式快速自适应选择 方法”，专利申请号为201310192185.6，公开了一种基于HEVC标准的帧内预测模式 的快速自适应选择方法。该方法在RMD过程后加入了快速选择方法，将相邻两个代 价差值与代价值中值的比值与固定门限对比，自适应决定最终候选预测模式，从而减 少了参与RDO过程的候选模式数量。该方法实现了帧内预测模式的快速选择，对运 行时间有一定压缩，但是其门限值依据CU尺寸决定，不能根据上下文自适应调整， 对于纹理内容丰富的图像，编码质量有所降低。

综上所述，上述三种技术前两种技术利用图像块的纹理方向特征判断最佳预测模 式，因此均存在图像块纹理方向特征不明显时，导致方向判断错误，降低图像压缩性 能的问题；纹理方向计算过程比较复杂，增加了额外的计算量；而第三种技术中门限 值依据CU尺寸决定，不能根据上下文的内容自适应调整，纹理内容丰富时影响编码 性能。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种视频标准中基于自回归模 型的帧内预测快速模式选择方法，以减小帧内预测模式选择的复杂度，根据上下文的 内容自适应调整参数，保持压缩性能的前提下缩短运行时间，提高图像压缩性能。

实现本发明目的技术方案是：针对帧内预测模式选择过程，在H.265/HEVC原有 的粗略模式选择过程RMD、最有可能模式过程MPM、最优模式选择过程RDO的基 础上，加入了利用基于自回归模型建立的自适应模式选择算法。具体步骤包括如下：

(1)将待处理视频的帧内图像划分成编码单元，并对编码单元按照帧内划分方 式划分为大小为4×4、8×8、16×16、32×32和64×64的若干块，选取其中一块作为 预测单元PU；

(2)对预测单元PU先进行粗略模式选择RMD过程，再根据哈德玛代价SATD 代价函数选出前m种预测模式作为候选模式，记为候选集合M，并把该m种预测模 式的SATD代价函数值记为存入数组S1；

(3)利用H.265/HEVC标准中给定的最有可能模式MPM算法对预测单元PU进 行预测，得到最有可能模式MPM；

(4)判断步骤(3)得到最有可能模式MPM是否包含在候选集合M中，如果包 含在候选集合M中，则执行步骤(6)，反之，则执行步骤(5)；

(5)将最有可能模式MPM加入到候选集合M中，并将最有可能模式MPM对 应的SATD代价函数值SatdCost加入到数组S1，然后对数组S1中元素进行从小到大 排序，再依据数组S1中元素的顺序更新相应的候选模式在候选集合M中的位置；

(6)将候选集合M中的候选模式记为P₁～P_m1，并把对应的SATD代价函数值 记为再根据该代价函数值用基于自回归模型的自适应模 式选择模型对候选集合M中的候选模式P₁～P_m1进行筛选，选出前n种候选模式作 为最终候选模式集合N；

(7)对预测单元PU，依次用步骤(6)得到的最终候选模式集合N中的n种候 选模式进行率失真优化RDO过程，选取最小RDO代价函数值对应的候选模式作为最 优预测模式；

(8)对编码单元的其他预测单元重复步骤(2)～步骤(8)，完成待处理视频的 帧内图像的帧内预测模式选择。

本发明与现有技术相比具有以下优点：

第一，本发明由于在进行候选预测模式选择时，依据SATD代价函数和RDO代 价函数的相关性进行了候选模式的筛选，当相邻两种预测模式的SATD代价函数的差 值满足设定的条件时，第二个预测模式可以成为候选模式，因此减少了候选模式的数 目，提高了帧内预测模式选择的速度，缩短了运行时间；

第二，通过自回归模型建立的自适应选择模型，得到所选预测单元PU的门限由于门限可以根据上下文的内容进行自适应地调整，因此能够更好、更准确地筛选 出用于率失真优化RDO过程的候选预测模式，对编码性能影响较低。

附图说明

图1为本发明实现帧内预测模式选择的总流程图；

图2为本发明实现候选预测模式选择的子流程图；

图3为本发明计算4×4预测单元PU门限值的示意图；

图4为本发明计算8×8预测单元PU门限值的示意图；

图5为本发明计算16×16预测单元PU门限值的示意图；

图6为本发明计算32×32预测单元PU门限值的示意图；

图7为本发明计算64×64预测单元PU门限值的示意图。

具体实施方式

本发明提出的视频标准中基于自回归模型的帧内预测快速模式选择方法，是对现 有H.265/HEVC标准中帧内预测模式选择技术的改进，可以提高H.265/HEVC标准中 的帧内模式选择速度，减少运行时间。

下面结合附图和实施例对本发明进行详细说明。

参照图1，本发明的实现步骤如下：

步骤1，选取预测单元PU。

将待处理视频的帧内图像划分成编码单元，并对编码单元按照帧内划分方式划分 为大小为4×4、8×8、16×16、32×32和64×64的若干块，选取其中的任意一块作为 预测单元PU。

步骤2，对选取的预测单元PU进行粗略模式选择RMD。

(2a)用H.265/HEVC标准中的35种预测模式对所选预测单元PU进行预测；

(2b)按照H.265/HEVC标准，计算所选预测单元PU在35种预测模式下的哈 德玛变换SATD代价函数值SatdCost₁～SatdCost₃₅，计算公式为：

SatdCost_x＝SATD_x+λ_pre×B_pre

其中，x为H.265/HEVC标准中35种预测模式的序号，其值为1～35，λ_pre为拉 格朗日系数因子，B_pre为当前预测模式的码流长度，SATD_x为所选预测单元PU对应的 原图像与当前模式预测图像的预测残差哈德玛变换绝对和；

(2c)把所选预测单元PU在35种预测模式下的哈德玛变换SATD代价函数值， 记为

(2d)将中前m个值存进数 组S1，将前m个值所对应的预测模式P₁～P_m选为候选预测模式，记为候选模式集 合M，其中m的值由所选预测单元PU的大小决定，对4×4，8×8，16×16，32×32， 64×64的预测单元PU所对应的m值依次依次为3，3，3，8，8。

步骤3，按照H.265/HEVC标准，对所选预测单元PU进行最有可能模式MPM 算法，得到所选预测单元PU的左方最有可能模式P_left与上方最有可能模式P_above。

步骤4，判断最有可能模式MPM是否包含在候选集合M中。

(4a)如果步骤(3)得到的左方最有可能模式P_left与上方最有可能模式P_above包 含在候选模式集M中，则执行步骤(6)；

(4b)如果步骤(3)得到的左方最有可能模式P_left与上方最有可能模式P_above不 包含在候选模式集M中，则执行步骤(5)。

步骤5，将最有可能模式MPM加入到候选集合M中。

(5a)把步骤(3)得到的左方最有可能模式P_left和上方最有可能模式P_above加入 到候选模式集M中，将左方最有可能模式P_left和上方最有可能模式P_above对应的哈德 玛变换SATD代价函数值和加入到数组S1中；

(5b)对S1中的元素进行从小到大排列，记为

(5c)根据数组S1中的元素更新 相应的候选模式在候选集合M中的排列顺序。

步骤6，用基于自回归模型的自适应模式选择模型对候选集合M中的候选模式进 行筛选。

参照图2，本步骤的具体实现如下：

(6a)将候选集合M中的候选模式记为P₁～P_m1，将对应数组S1中的SATD代 价函数值记为

(6b)根据所选预测单元PU的尺寸，选择预测单元PU门限值的计算公式：

对于选取尺寸为4×4的预测单元PU，则执行步骤(6c)，

对于选取尺寸为8×8的预测单元PU，则执行步骤(6d)，

对于选取尺寸为16×16的预测单元PU，则执行步骤(6e)，

对于选取尺寸为32×32的预测单元PU，则执行步骤(6f)，

对于选取尺寸为64×64的预测单元PU，则执行步骤(6g)；

(6c)根据H.265/HEVC标准，通过基于自回归模型的公式，构建所选预测单元 PU门限值的计算公式；

参照图3，本步骤的具体实现如下：

(6c1)把与所选预测单元PU相邻且位于所选预测单元PU左上方的基本单元记 为PU_al，并把PU_al的门限值记为

(6c2)把与所选预测单元PU相邻且位于PU_al下方的基本单元记为并把 的门限值记为

(6c3)把与所选预测单元PU相邻且位于PU_al右方的基本单元记为并把 的门限值记为

(6c4)根据上述不同位置的门限值，通过基于自回归模型的公式，构建计算所 选预测单元PU的门限值公式，为：

${\partial }_N=({\partial }_{\mathrm{al}}+2\times {\partial }_{l_1}+2\times {\partial }_{a_1})/5;$

(6d)根据H.265/HEVC标准，通过基于自回归模型的公式，构建所选预测单元 PU门限值的计算公式；

参照图4，本步骤的具体实现如下：

(6d1)把与所选预测单元PU相邻且位于所选预测单元PU左上方的基本单元记 为PU_al，并把PU_al的门限值记为

(6d2)把与所选预测单元PU相邻且位于PU_al下方从上而下依次排列的两个基 本单元记为并把的门限值依次记为

(6d3)把与所选预测单元PU相邻且位于PU_al右方从左至右依次排列的两个基 本单元依次记为并把的门限值依次记为

(6d4)根据上述不同位置的门限值，通过基于自回归模型的公式，构建计算所 选预测单元PU的门限值公式，为：

${\partial }_N=({\partial }_{\mathrm{al}}+2\times ({\partial }_{l_1}+{\partial }_{l_2})+2\times ({\partial }_{a_1}+{\partial }_{a_2}))/9;$

(6e)根据H.265/HEVC标准，通过基于自回归模型的公式，构建所选预测单元 PU门限值的计算公式；

参照图5，本步骤的具体实现如下：

(6e1)把与所选预测单元PU相邻且位于所选预测单元PU左上方的基本单元记 为PU_al，并把PU_al的门限值记为

(6e2)把与所选预测单元PU相邻且位于PU_al下方从上而下依次排列的四个基 本单元记为并把这四个基本单元的门限值依次记为

(6e3)把与所选预测单元PU相邻且位于PU_al右方从左至右依次排列的四个基 本单元记为并把这四个基本单元的门限值依次记为

(6e4)根据上述不同位置的门限值，通过基于自回归模型的公式，构建计算所 选预测单元PU的门限值公式，为：

${\partial }_N=({\partial }_{\mathrm{al}}+2\times ({\partial }_{l_1}+{\partial }_{l_2}+{\partial }_{l_3}+{\partial }_{l_4})+2\times ({\partial }_{a_1}+{\partial }_{a_2}+{\partial }_{a_3}+{\partial }_{a_4}))/17;$

(6f)根据H.265/HEVC标准，通过基于自回归模型的公式，构建所选预测单元 PU门限值的计算公式；

参照图6，本步骤的具体实现如下：

(6f1)把与所选预测单元PU相邻且位于所选预测单元PU左上方的基本单元记 为PU_al，并把PU_al的门限值记为

(6f2)把与所选预测单元PU相邻且位于PU_al下方从上而下依次排列的八个基 本单元记为并把这八个基本 单元的门限值依次记为

(6f3)把与所选预测单元PU相邻且位于PU_al右方从左至右依次排列的八个基 本单元记为并把这八个 基本单元的门限值依次记为

(6f4)根据上述不同位置的门限值，通过基于自回归模型的公式，构建计算所 选预测单元PU的门限值公式，为：

$\left(\begin{array}{c}{\partial }_N=({\partial }_{\mathrm{al}}+2\times ({\partial }_{l_1}+{\partial }_{l_2}+{\partial }_{l_3}+{\partial }_{l_4}+{\partial }_{l_5}+{\partial }_{l_6}+{\partial }_{l_7}+{\partial }_{l_8})\\ +2\times ({\partial }_{a_1}+{\partial }_{a_2}+{\partial }_{a_3}+{\partial }_{a_4}+{\partial }_{a_5}+{\partial }_{a_6}+{\partial }_{a_7}+{\partial }_{a_8}))\end{array}\right);$

(6g)根据H.265/HEVC标准，通过基于自回归模型的公式，构建所选预测单元 PU门限值的计算公式；

参照图7，本步骤的具体实现如下：

(6g1)把与所选预测单元PU相邻且位于所选预测单元PU左上方的基本单元记 为PU_al，并把PU_al的门限值记为

(6g2)把与所选预测单元PU相邻且位于PU_al下方从上而下依次排列的十六个 基本单元记为并把这十六个基本单元的门限值依次记 为

(6g3)把与所选预测单元PU相邻且位于PU_al右方从左至右依次排列的十六个 基本单元记为并把这十六个基本单元的门限值依次 记为

(6g4)根据上述不同位置的门限值，通过基于自回归模型的公式，构建计算所 选预测单元PU的门限值公式，为：

$\left(\begin{array}{c}{\partial }_N=({\partial }_{\mathrm{al}}+2\times ({\partial }_{l_1}+{\partial }_{l_2}+{\partial }_{l_3}+{\partial }_{l_4}+{\partial }_{l_5}+{\partial }_{l_6}+{\partial }_{l_7}+{\partial }_{l_8}\\ +{\partial }_{l_9}+{\partial }_{l_{10}}+{\partial }_{l_{11}}+{\partial }_{l_{12}}+{\partial }_{l_{13}}+{\partial }_{l_{14}}+{\partial }_{l_{15}}+{\partial }_{l_{16}})\\ +2\times ({{\partial }_a}_1+{\partial }_{a_2}+{{\partial }_a}_3+{\partial }_{a_4}+{\partial }_{a_5}+{\partial }_{a_6}+{\partial }_{a_7}+{\partial }_{a_8}\\ +{\partial }_{a_9}+{\partial }_{a_{10}}+{\partial }_{a_{11}}+{\partial }_{a_{12}}+{\partial }_{a_{13}}+{\partial }_{a_{14}}+{\partial }_{a_{15}}+{\partial }_{a_{16}}))/65\end{array}\right);$

(6h)把SatdCost_p1对应的预测模式P₁作为最终候选模式集合N的初始值，此 时N＝{P₁}，初始化候选模式索引n＝1；

(6i)计算数组S1中的相邻两个元素的差和两者平均值的比值，如果所得比值与门限的关系满足：

${\mathrm{SatdCost}}_{p_{n+1}}-{\mathrm{SatdCost}}_{p_n}\le {\partial }_N({\mathrm{SatdCost}}_{p_{n+1}}+{\mathrm{SatdCost}}_{p_n})/2,$则候选模式索引n增加1，继续执行步骤(6h)，反之则结束，输出候选模式索引n；

(6j)由候选模式索引n可知候选模式为P₁～P_n，得到最终候选模式集合：

N＝{P₁，P₂，···，P_n}。

步骤7，对所选预测单元PU依次用最终候选模式集合N中的n种候选模式进行 率失真优化RDO。

(7a)按照H.265/HEVC标准，用最终候选模式P₁～P_n对所选预测单元PU进行 预测；

(7b)按照H.265/HEVC标准，计算所选预测单元PU在预测模式P₁～P_n下的 率失真优化RDO代价函数值计算公式为：

RdCost_x＝SSD_x+λ_mod×B_mod，

其中，x为H.265/HEVC标准中n种候选模式的序号，其值为1～n，λ_mod为拉格 朗日系数因子；B_mod为当前预测模式的实际码流长度，按照H.265/HEVC标准计算预 测残差，再离散余弦/正弦变换、量化、CABAC熵编码后，按照实际码流计算得到； SSD_x为所选预测单元PU对应的原始像素和重建像素间的失真度；重建像素通过 H.265/HEVC标准给定的预测残差，经过离散余弦/正弦变换、量化、反量化、反余弦 /正弦变换后，再与预测像素叠加得到；

(7c)将(7b)得到的P₁～P_n预测模式下的率失真优化RDO代价函数值 按照从小到大进行排列；

(7d)将排列后的率失真优化RDO代价函数值记为并把 对应的预测模式记为m₁～m_n；

(7e)选取预测模式m₁作为最优预测模式。

步骤8，对编码单元的其他预测单元重复步骤(2)～步骤(8)，完成待处理视频 的帧内图像的帧内预测模式选择。

以上描述仅是本发明的一个具体实例，并不构成对本发明的任何限制。显然对于 本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、 结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修 正和改变仍在本发明的权利要求保护范围之内。