一种基于几何分割的视频图像解编码方法

摘要

本发明一种基于几何分割的视频图像编解码方法，编码时先将视频图像分割成若干矩形编码块，然后对矩形编码块进行几何分割；再对几何分割后的不规则块分别进行运动估计，获取各自的残差块，将该不规则块所对应的残差块合并成矩形残差块；利用几何分割的边界方向信息，对所述矩形残差块中的像素点坐标进行重排；最后，对重排后的矩形残差块进行二维正交变换、对变换系数进行量化及熵编码，同时将几何分割信息及重排信息编入码流；解码为前述编码过程的逆过程。本发明在编码时利用几何分割的方向信息，对残差块进行像素重排，减少了正交变换后的高频非零系数，提高了压缩效率。

说明书

技术领域

本发明涉及视频图像的编解码方法，尤其是一种基于几何分割的视频图像编解码方法。

背景技术

现有的视频编码标准均采用规则块分割方法进行帧间运动估计和运动补偿，规则块分割结构简单，易于实现。特别是最新的视频标准H.264，采用更小的块尺寸（4x4）描述运动物体边界，极大提高了运动估计的准确性。但是，规则块分割模型的块边界均是基于水平和垂直方向，无法描述自然图像中运动物体复杂多变的边界。

MPEG1、MPEG4等传统视频编码采用8x8的二维离散余弦变换（2-D DCT），利用图像像素亮度间的高相关性以及DCT接近于最佳KL变换的性质，消除图像信号的空间冗余。视频标准H.264为了降低运算复杂度及消除DCT和IDCT的失配，采用了4x4的二维整数变换（2-D ICT），相比于二维离散余弦变换，其编码效率有所下降。由于二维离散余弦变换的变换基的正交性，当待编码图像块中包含有非垂直/非水平方向的边界信息时，DCT变换会产生较多的非零高频系数，限制了DCT变换的压缩效率。

由于自然视频图像中的运动物体边界是不规则的，存在着各种斜率的边界和具有曲率的曲线边界，因此，不规则的几何分割更能准确描述其物体边界。几何分割块经过运动补偿后，残差更多地集中在分割边界，经过传统二维正交变换后，将产生较多高频非零系数，限制了压缩效率的提高。

发明内容

本发明提出一种基于几何分割的视频图像编解码方法，将几何分割运动补偿和像素重排相结合，利用编码块不规则的分割信息表达残差块像素的重排方向，将不规则块分割所得到的边界残差旋转到水平/垂直方向，从而减少二维正交变换系数的高频成分，提高压缩效率。

本发明一种基于几何分割的视频图像编解码的方法，其中编码包括以下步骤：

步骤1、将输入视频图像分割成若干矩形编码块；

步骤2、分别对分割后每一个矩形编码块执行步骤3到步骤8的操作；

步骤3、对选定的矩形编码块设定一组候选分割模式集合S,                                                ；

步骤4、选取候选分割模式集合S中的一种分割模式S_i对所述矩形编码块进行分割，将矩形编码块分割成两个不规则块，并对这两个不规则块分别进行运动估计，获得两个不规则残差块，将这两个不规则残差块合并成矩形残差块，并计算该分割模式S_i的率失真代价；

步骤5、选取分割模式集合S中所有的分割模式S_i对当前矩形编码块进行分割，并计算各种分割模式S_i所对应的率失真代价，并选取其中率失真代价最小的分割模式S_i 作为当前矩形编码块的最佳分割模式；

步骤6、设当前矩形编码块大小为MxN，对采用最佳分割模式完成分割的该当前矩形编码块所对应的当前矩形残差块进行正交变换，得到由MxN个变换系数组成的非重排变换系数矩阵，并计算该非重排变换系数矩阵的率失真代价；

步骤7、设当前矩形编码块大小为MxN，对采用最佳分割模式完成分割的该当前矩形编码块所对应的当前矩形残差块，根据其最佳分割模式对当前矩形残差块进行像素重排，得到重排矩形残差块，对重排矩形残差块进行正交变换，得到由MxN个变换系数组成的重排变换系数矩阵，并计算重排变换系数矩阵的率失真代价；

步骤8、比较上述非重排变换系数矩阵和重排变换系数矩阵的率失真代价值，选取其中代价值最小的为当前矩形编码块的最终变换系数矩阵，对最终变换系数矩阵的系数进行量化、熵编码后写入码流，同时将最佳分割模式信息和最终变换系数矩阵信息编入码流；

解码为前述编码的逆过程。

所述的候选分割模式包括不分割和几何分割。

所述的几何分割是指采用一条曲线或直线将矩形编码块分割成两个区域，分割线与矩形编码块边界交叉于两点。

所述的像素重排是根据几何分割的分割边界方向，对当前大小为M×N的矩形残差块中的像素点进行重排，将沿分割边界方向的像素进行坐标置换后移至水平方向或垂直方向，其中，像素点坐标（i,j）的坐标变换公式为：R(i, j) = (k, l)，其中0≤i＜M, 0≤j＜N, 0≤k＜M, 0≤l＜N, R(·)为可逆变换的重排变换函数，若R(i, j) = (i, j)，则为一致变换。

采用本发明的技术方案后，由于矩形编码块的不规则分割信息能够表达矩形编码块内的物体边界主要方向，而矩形编码块内的物体边界恰恰是残差较大部分，利用不规则分割信息，对矩形残差块的像素位置进行重新排列，使矩形残差块中的边界方向尽可能调整到水平/垂直方向，再进行二维正交变换，从而尽可能减少变换后的高频非零系数，提高变换的压缩效率。

附图说明

图1为本发明中编解码的流程示意图；

图2为本发明基于直线分割方法的宏块分割示意图；

图3为本发明中重排DCT与LBP块划分相结合的示意图；

图4为本发明中像素行循环移位示意图；

图5为本发明中像素列循环移位示意图。

以下结合具体实施例和附图对本发明作进一步详述。

具体实施方式

如图1所示，本发明一种基于几何分割的视频图像编解码方法，具体包括如下步骤：

步骤1、将输入视频图像分割成若干矩形编码块，该矩形编码块可以是长方形或正方形，可以是均等分割，也可以是不均等分割，即既可以大小相同，也可以大小不同。  

步骤2、该输入视频图像为原始图像数据；本实施例中将该输入视频图像分割成规则的16×16宏块（编码块），当然，此处矩形编码块不限于16×16尺寸，分别对分割后的每一个矩形编码块执行步骤3到步骤8的操作。

步骤3，对选定的矩形编码块设定一组候选分割模式集合S, ，该候选分割模式用于对矩形编码块进行基于内容的不规则几何分割或不分割，本实施例以基于直线分割方法（LBP）的几何分割法为例，即采用一条直线段将一个宏块分割成两个区域。

如图2所示，圆圈表示像素点，大的矩形框表示一个宏块，直线段AB（分割线）将该宏块分割为P0和P1两个区域，A、B为分割线AB与宏块边界的交叉点，A、B的位置可以任意，也可以采用固定间距（如以1个像素或者2个像素为单位）的边界位置。采用斜率和截距更精确的直线段对宏块进行分割，一定程度上能够对具有曲率的运动物体边界进行更为准确的描述。

步骤4、 选取分割模式集合S中的一种分割模式Si对当前矩形编码块进行几何分割，将矩形编码块分割成两个不规则块，并对几何分割后的两个不规则块分别进行运动估计，获取两个不规则残差块，将这两个不规则块残差块合并成矩形残差块，这里，选择SAD匹配准则进行运动估计；并计算该分割模式Si 的率失真代价。

 步骤5、选取分割模式集合S中所有的分割模式S_i对于上述每一个宏块进行几何分割，并计算各种分割模式S_i所对应的率失真代价，并选取率失真代价最小的分割模式S_i  作为当前矩形编码快的最佳分割模式，完成几何分割；

该率失真代价函数为：                

其中，p表示宏块分割模式，R(p)表示该宏块编码比特数，而D(p)则为在分割模式p下的失真度（如MSE），为拉格郎日常数。

R(p)包含三部分，即宏块分割模式所需比特数B(p)，运动矢量信息V(p)和残差信息，其公式为。    

对于LBP模式，B(p)包含两部分信息：分割模式信息和分割点AB的位置信息，因此，对于LBP模式

   

基于LBP模式分割的宏块上分割点A、B的坐标，可根据其左边和上边宏块的分割信息进行预测。若左边宏块采用LBP模式且其中一个分割点与当前宏块的一个分割点位于同一公共边，则通过左边宏块的分割点对当前宏块的分割点进行预测；否则采用定长编码方式，对分割点相对于宏块原点（左上角点）的相对坐标进行编码。

将LBP模式分割方法与基于像素重排的DCT（简称RDCT）相结合，如图3，左边为采用LBP模式分割的原始块，分割线AB与水平线夹角为；右边为对应残差块的重排方式，在LBP模式下，线段AB的方向作为残差块的边界方向或纹理方向，因此，残差块的重排方向角亦为，的取值随着线段AB斜率的变化而改变，将不限于某些离散的角度。

步骤6、设当前矩形编码块大小为MxN，对采用最佳分割模式完成分割的该当前矩形编码块所对应的当前矩形残差块进行正交变换，得到由MxN个变换系数组成的非重排变换系数矩阵，并计算该非重排变换系数矩阵的率失真代价；

步骤7、设当前矩形编码块大小为MxN，对采用最佳分割模式完成分割的该当前矩形编码块所对应的当前矩形残差块，根据最佳分割模式中几何分割的边界方向角，对当前大小为M×N的矩形残差块中的像素点进行重排，将沿分割边界方向的像素进行坐标置换后移至水平方向或垂直方向，其中，像素点坐标（i, j）的坐标变换公式为：R(i, j) = (k, l)，其中0≤i＜M, 0≤j＜N, 0≤k＜M, 0≤l＜N, R(·)为可逆变换的重排变换函数，若R(i, j) = (i, j)则为一致变换。

如图4、5所示，以一个8×8编码块为例，直线表示分割边界方向，灰色块表示位于直线上的像素，直线与轴的夹角为，逆时针方向为正，顺时针为负。像素重排的目的在于将沿分割边界方向的像素移到水平方向或垂直方向，此时，当时，采用行循环移位，如图4所示；当时，采用列循环移位，如图5所示。假设原始像素位置为，重排后的像素位置为，与的关系可以用下式表示：

        

             

      其中N为编码块的大小，如本实施例中，N=8，mod为取模操作，以实现循环移位，而

        上述的像素重排可以在每次分割模式率失真代价计算后进行，也可以是在所有分割模式率失真代价都计算且确定了最佳分割模式后再进行。

根据上述最佳分割模式对当前MxN矩形残差块进行像素重排，得到重排矩形残差块，对重排矩形残差块进行正交变换，得到由MxN个变换系数组成的重排变换系数矩阵，使图像信号的变换系数尽可能集中在低频部分，消除图像信号的空间冗余；同时计算重排变换系数矩阵的率失真代价；

步骤8、比较上述非重排变换系数矩阵和重排变换系数矩阵的率失真代价值，选取其中代价值最小的为当前矩形编码块的最终变换系数矩阵，对最终变换系数矩阵的系数进行量化、熵编码后写入码流，同时将最佳分割模式信息和最终变换系数矩阵信息编入码流；

由于受平移运动和SAD匹配准则等因素的影响，具有最小率失真代价的LBP分割线并不总是与宏块内的物体边界相一致；而RDCT的最佳重排方向角的角度则基本上与宏块内的纹理方向或物体的边界方向相一致。如果总是按照LBP分割线方向进行RDCT，有可能将边界旋转到不利于DCT变换的方向而产生更多的高频系数，因此，对于LBP模式，可设定和两种情况，即重排与不重排，用一个比特的重排标志位LBP_RDCT_FLAG表示该LBP宏块是否采用重排DCT，若LBP_RDCT_FLAG=0，表示该宏块不采用RDCT，而采用传统DCT编码；若LBP_RDCT_FLAG=1，表示该宏块采用RDCT，且重排方向角与其分割线与水平线的夹角相同。

在解码端，只需对前述编码块进行逆运算，具体参考图1所示，依次进行熵解码、反量化及反频域变换，然后对解码块进行坐标反变换，即对解码块像素进行坐标反变换，再根据几何分割信息重建输入块。

最后在H.264的测试模型jm8.6平台上对本发明的LBP模式和基于像素重排的DCT相结合（LBP+RDCT）的方法进行验证测试，仅针对帧间预测的残差数据进行LBP+RDCT编码。通过对视频片段的测试可观察到，LBP+RDCT相比于H.264的性能有较大的提升，在低码率和高码率分别为6.23%和5.49%。本发明弥补了不规则块分割的缺点，实现了LBP块分割和RDCT的优势互补，在各个码率均能获得较好的性能增益。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。