基于图像自适应条带划分的自适应帧场编码方法及设备

摘要

本发明涉及一种基于图像自适应条带划分的自适应帧场编码方法及设备，所述方法包括：a.判断当前帧是否是视频的第一帧或者处于场景切换处；b.在步骤a的判断结果为否定的情况下，根据图像运动特征对当前帧进行条带划分，将当前帧划分为其中的宏块对为运动剧烈和运动舒缓的条带；c.根据步骤b的划分结果对当前帧进行帧编码或场编码。本发明通过对视频的内容细节和运动特征的分析，将视频的每帧图像划分为内容特性相似的条带，再采取基于图像条带的自适应帧场编码方法对视频进行编码，提高了现有基于图像条带的自适应帧场编码方法的编码效率。

说明书

技术领域

本发明涉及一种基于图像自适应条带划分的自适应帧场编码方法及设备。

背景技术

基于图像条带的自适应帧场编码方法既克服了整个图像自适应帧场编码方案灵活性不足的缺点，又克服了基于宏块对的自适应帧场编码方案运算量太大、复杂度太大的缺点。但是，目前基于图像条带的自适应帧场编码方法缺少对于条带划分技术的研究，不能充分发挥自适应帧场编码技术的优点，从而无法取得很好的编码效率。

因此，需要一种条带划分更加合理的自适应帧场编码方法，以便提高基于图像条带的自适应帧场编码的编码效率。

发明内容

本发明提供了一种能解决以上问题的基于图像自适应条带划分的自适应帧场编码方法。

在第一方面，本发明提供了一种基于图像自适应条带划分技术的自适应帧场编码方法，其特征在于包括下列步骤：

a.判断当前帧是否是视频的第一帧或者处于场景切换处；

b.在步骤a的判断结果为否定的情况下，根据图像运动特征对当前帧进行条带划分，将当前帧划分为其中的宏块对为运动剧烈和运动舒缓的条带；

c.根据步骤b的划分结果对当前帧进行帧编码或场编码，如果一个条带中的宏块对的运动特征为运动剧烈，则对当前条带进行场编码；如果一个条带中的宏块对的运动特征为运动舒缓，则对当前条带进行帧编码。

在本发明的第一方面中，优选地，步骤b包括下列步骤：

b1.对当前帧进行条带组划分，获取当前帧中宏块对的运动特征，将具有相同运动特征的宏块对划分为一个条带组；

b2.根据所述运动特征将所述条带组划分成条带。

在本发明的第一方面中，优选地，步骤b1包括：

计算当前宏块对的灰度方差值；

如果所述灰度方差值小于第一阈值，则判定当前宏块对的运动特征为运动舒缓，所述第一阈值为预先设定；

如果所述灰度方差值大于第一阈值，则在前一帧图像中为当前宏块对寻找最匹配宏块对，将当前宏块对相对于其最匹配宏块对的运动偏移量与第二阈值进行比较，根据比较结果判定当前宏块对的运动特征，所述第二阈值为预先设定，如果所述运动偏移量大于第二阈值，则判定当前宏块对的运动特征为运动剧烈；如果所述运动偏移量小于第二阈值，则判定当前宏块对的运动特征为运动舒缓。

在本发明的第一方面中，优选地，步骤b2包括下列步骤：

b2.1.如果当前宏块对是当前帧左上角的第一个宏块对，进入步骤b2.3；否则进入步骤b2.2；

b2.2.如果当前宏块对的运动特征与前一宏块对的运动特征相同，则将它们归为同一个条带，否则将当前宏块对作为新条带的第一个宏块对，然后进入步骤4；

b2.3.将当前宏块对作为当前帧中的第一个条带的第一个宏块对，进入步骤b2.4；b2.4.如果当前宏块对不是当前帧右下角的最后一个宏块对，则取下一个宏块对作为当前宏块对，进入步骤b2.1，否则对于当前帧的条带划分结束。

在本发明的第一方面中，优选地，还包括步骤：

f.在步骤b或d之后，对划分出的条带进行合并，

如果一个条带中的宏块对数量小于一个阈值，则按照相似性将其并入前一条带或后一条带，其中，所述阈值是预先设置的，代表一个条带中需要包含的最少宏块对数量，所述相似性是条带中的宏块对的运动特征或内容信息。

在第二方面，本发明提供了一种基于图像自适应条带划分技术的自适应帧场编码设备，其特征在于包括：

判断模块，用于判断当前帧是否是视频的第一帧或者是否处于场景切换处；

条带划分模块，在所述判断结果为否定的情况下，根据图像运动特征对当前帧进行条带划分，将当前帧划分为其中的宏块对为运动剧烈和运动舒缓的条带；

编码模块，用于根据所述条带划分结果对当前帧进行帧编码或场编码，如果一个条带中的宏块对的运动特征为运动剧烈，则对当前条带进行场编码；如果一个条带中的宏块对的运动特征为运动舒缓，则对当前条带进行帧编码。

在本发明的第二方面中，优选地，条带划分模块包括：

对当前帧进行条带组划分，获取当前帧中宏块对的运动特征，将具有相同运动特征的宏块对划分为一个条带组的模块；

根据所述运动特征将所述条带组划分成条带的模块。

在本发明的第二方面中，优选地，还包括：在所述条带划分之后对划分出的条带进行合并的模块，如果一个条带中的宏块对数量小于一个阈值，则按照相似性将其并入前一条带或后一条带，其中，所述阈值是预先设置的，代表一个条带中需要包含的最少宏块对数量，所述相似性是条带中的宏块对的运动特征或内容信息。

在第三方面，本发明提供了一种基于图像自适应条带划分技术的自适应帧场编码方法，其特征在于包括下列步骤：

a.判断当前帧是否是视频的第一帧或者处于场景切换处；

b.在步骤a的判断结果为否定的情况下，根据图像运动特征对当前帧进行条带划分，将当前帧划分为其中的宏块对为运动剧烈和运动舒缓的条带；

c.根据步骤b的划分结果对当前帧进行帧编码或场编码，如果一个条带中的宏块对的运动特征为运动剧烈，则对当前条带进行场编码；如果一个条带中的宏块对的运动特征为运动舒缓，则对当前条带进行帧编码；

d.在步骤a的判断结果为肯定的情况下，根据图像内容信息进行条带划分；

e.根据步骤b的划分结果对当前帧中的条带分别进行帧编码和场编码，选择其中编码失真代价较小的一个作为当前条带的编码模式。

本发明通过对视频的内容细节和运动特征的分析，将视频的每帧图像划分为内容特性相似的条带，再采取基于图像条带的自适应帧场编码方法对视频进行编码。由于采用了图像自适应条带划分，使得条带内具有更统一的内容特征，从而进一步提高了现有基于图像条带的自适应帧场编码方法的编码效率。

附图说明

下面将参照附图对本发明的具体实施方案进行更详细的说明，在附图中：

图1根据本发明的基于视频内容自适应条带划分技术的自适应帧场编码方法的流程图。

具体实施方式

通过在实际应用中对帧编码和场编码的编码特性的试验分析而得出，帧编码模式适合用在运动量较小，邻行之间空间相关性大的视频区域；而场编码模式适合用在运动量较大，邻行之间时间相关性大的视频区域。由此可知，在移动性较小的视频当中，帧编码模式较之场编码模式更有效率；反之，在移动性较大的视频当中，场编码模式较之帧编码模式更有效率。在视频当中的一帧图像中，通常有一部分内容的运动量大，一部分内容的运动量小。

本发明提出的基于视频内容自适应条带划分技术的自适应帧场编码方法根据视频的运动状况，内容细节特征，将每帧图像划分为运动特征相似的条带，再采用基于图像条带的自适应帧场编码方法对视频进行编码。本发明根据已知条带中宏块的运动状况特征，采用自适应帧场编码的快速算法，在保证编码压缩效率的前提下，可进一步减小编码的运算量和复杂度，提高编码速度。

此外，诸如h.264之类的某些视频标准支持条带组划分技术。条带组是由一帧图像中的宏块或宏块对所组成的整帧图像的一个子集，将图像分为条带组也是一种图像分割。一个条带是特定条带组内部按照光栅扫描顺序排列的整数数量的宏块或宏块对的集合。虽然如此，但是一个条带中所包含的宏块或宏块对在图像内部并不一定是按照光栅扫描顺序连续排列的。因此，条带组技术的采用可以更灵活的将图像的一帧划分为若干区域。

由于需要使用自适应帧场编码技术，本发明中划分的条带和条带组区域都由宏块对组成。本发明提出的基于视频内容自适应条带划分技术的自适应帧场编码方法可以根据视频的运动状况，内容特征等，更灵活的将每帧图像划分为相似的条带组区域，然后将每个条带组区域划分为若干条带，再采用基于图像条带的自适应帧场编码方法对视频进行编码，编码效率可有明显的提高。

图1是根据本发明的基于视频内容自适应条带划分技术的自适应帧场编码方法的流程图。

如图1所示，在步骤101，首先判断输入的视频数据是否为视频的第一帧或者场景切换处的帧数据。目前，视频场景切换主要有如下几种类型：突变场景切换、消融和淡入淡出等。

针对上述几种主要的视频场景切换，可以采用各种现有的视频场景检测方法来判断当前帧图像是否处于场景切换处。已有的场景切换检测算法分为三类，分别是基于灰度值检测、基于运动搜索检测和基于边缘轮廓检测。后两类检测算法具有相对较好的性能，但是其算法的高复杂度极大地限制了它们的应用，尤其是在对实时性的要求比较高的应用中。优选地，考虑到运算复杂度的要求，我们选择了第一类边缘检测算法，即基于灰度值检测的算法。在具体应用中，根据对于实时性编码质量等不同的要求可以选择不同的场景切换检测算法。

在采用第一类基于灰度值检测的场景检测的情况下，通过对视频序列的统计分析发现：当有场景切换时，当前帧与其参考帧在灰度和色彩信息上有很大的区别；而没有场景切换的时候，整个序列的灰度和色彩基本处于平稳或者缓变的状态。具体来说，在场景切换处，3个分量(Y为亮度分量，U、V为色度分量)均值中的全部或部分出现突变。采用当前帧和参考帧的3个分量均值的绝对差值作为判断当前帧图像是否有场景切换的差异函数为Dx(F，Fp)＝|mean(F，x)-mean(Fp，x)|。其中，mean()为均值函数，F和Fp表示当前图像和参考帧图像，x代表三个分量Y、U、V。根据该差异函数，来判断是否有场景切换

D_Y(F，Fp)/mean(Y)+D_U(F，Fp)/mean(U)+D_V(F，Fp)/mean(V)≥t_1h

D_Y(F，Fp)+D_U(F，Fp)+D_V(F，Fp)≥t_2h

当上两式同时满足时，可以判定当前帧有场景切换发生。上式中：mean(Y)、mean(U)和mean(V)分别为当前N帧内，当前帧之前所有帧各分量均值的平均值；t_1h和t_2h为判决门限，分别描述当前帧和参考帧之间亮度和色度均值的相对差异和绝对差异，并且在灰度值检测方法所给出的一个经验值范围内选取。上述算法只需要计算各帧图像中三个分量的均值，其算法复杂度低，很适合在实时要求高的应用中。经仿真实验证明误检率几乎为0。

在步骤101做出判断之后，接下来采用内容自适应条带划分技术对当前视频帧进行划分。

如果在步骤101判断出输入的视频数据是视频的第一帧或者处于场景切换处，则流程进行到步骤103。

在步骤103，根据图像内容信息对当前帧进行条带划分。

首先，将具有相同内容信息的宏块对划归为一个条带组。由于视频第一帧的数据缺少前一帧数据，而处于场景切换处的视频数据由于与前一帧数据的相关性较低，所以对它们采用诸如边缘检测之类的图像内容分析方法，提取图像中每个宏块对的细节纹理信息，使用宏块对中细节像素点的数目来表征宏块对的细节信息，设定某一阈值T1，将一帧图像中的所有宏块对分为平坦和细节两种类型。如果宏块对中细节像素点的数目大于T1，则将该宏块对归入细节的类型；如果宏块对中细节像素点的数据小于T1，则将该宏块对归入平坦的类型。这样，就将整帧图像划分为两个条带组，其中一个中包含的宏块类型为细节，另一个中包含的宏块对的类型为平坦。为了便于理解，我们可以称其中包含宏块类型为细节的条带组为细节条带组，而称另一个为平坦条带组。

然后，再将平坦和细节这两种类型的条带组划分为条带，具体过程将在下文中详述。

如果在步骤101判断出输入的视频数据不是视频的第一帧或者不处于场景切换处，则流程进行到步骤102。

在步骤102，根据图像中宏块对的运动状况信息对当前帧进行条带划分。

为了在步骤102中能够根据宏块对的运动特征进行条带划分，首先要获得图像中宏块对的运动状况信息，即宏块对的运动特征。宏块对的运动特征可以通过下述方法获得。

首先，将具有相同运动特征的宏块对划归为一个条带组。考虑到由于图像中噪声的影响，静止的平坦区域的最匹配块的位置偏移值也可能很大。因此，首先使用灰度信息将处于平滑区域的宏块对分离出来。Vgray为当前宏块对的灰度方差值，当Vgray小于某一阈值T2时，判定宏块对处于平滑区域，其运动类型为运动舒缓；当Vgray大于阈值T2时，使用块匹配搜索的方法获得当前宏块对在前一帧图像中的最匹配宏块对，使用当前宏块对和其最匹配宏块对位置的x、y坐标值的偏移量绝对值的和来表示当前宏块对的运动的剧烈程度。然后，为上述的偏移量绝对值的和设定某一阈值T3，可以将当前宏块对的运动类型判断为运动剧烈或者运动舒缓。具体地，如果运动偏移量绝对值的和大于T3，则判定当前宏块对的运动特征为运动剧烈；如果运动偏移量绝对值的和小于T3，则判定当前宏块对的运动特征为运动舒缓。这样，就将整帧图像划分为两个条带组，其中一个中包含的宏块类型为运动剧烈，另一个中包含的宏块对的类型为运动舒缓。为了便于理解，我们可以称其中包含宏块类型为运动剧烈的条带组为运动剧烈条带组，而称另一个为运动舒缓条带组。

然后，再将运动剧烈和运动舒缓这两种类型的条带组划分为条带，具体过程将在下文中详述。

本领域技术人员应当理解，按照上述方法将宏块对进行分类的过程实际上是将一帧图像划分为条带组的过程。接下来，应当将条带组划分为条带，以便进行基于条带的帧场编码。如上所述，第一帧或处于场景切换处的数据帧被划分为平坦条带组和细节条带组，而其他数据帧被划分为运动剧烈和运动舒缓条带组，而无论是哪一类帧数据划分而成的条带组，都可以采用下列两种方法再将其划分为条带。

一方面，本发明采用下述方法将一帧图像划分为条带：

1.如果当前宏块对是当前帧左上角的第一个宏块对，进入步骤3；否则进入步骤2；

2.如果当前宏块对类型与前一宏块对类型相同(同属平坦或细节中一种类型，或者同属运动剧烈或运动舒缓中的一种类型)，则将它们归为同一个条带，否则将当前宏块对作为新条带的第一个宏块对，进入步骤4

3.将当前宏块对作为当前帧中的第一个条带的第一个宏块对，进入步骤4

4.如果当前宏块对不是当前帧中右下角的最后一个宏块对，则取下一个宏块对作为当前宏块对，流程进入步骤1，否则对于当前帧的条带划分结束。

请注意，上述过程中最终划分出的条带内的宏块对在一帧图像中从左上角到右下角按照光栅扫描的顺序排列。

另一方面，也可以根据具体需求直接将条带组划分为一或者多个条带进行编码。请注意，如果直接对条带组进行划分，那么最终划分出的条带内的宏块对在一帧图像中从左上角到右下角不一定按照光栅扫描的顺序排列。

在将当前帧划分为条带之后，可以直接进行基于图像条带的自适应帧场编码方法进行编码。然而，在条带划分完毕之后，由于在实际应用中有可能出现每个条带里面只包含少量的宏块对，从而会造成编码效率的下降。为了避免这种情况的发生，需要将已划分的条带进行合并。

合并条带的具体方法是设置一个参数Qmin，代表每个条带中需要包含的最少宏块对数目。如果对视频中的一帧数据使用内容自适应条带划分技术进行条带划分，所得到某一条带S包含的宏块对数目小于Qmin，则按照相似性将其并入前一条带Sp或者后一条带Sf中，所述相似性是条带中的宏块对的运动特征或内容信息。

在根据参数Qmin判断出一个条带需要合并之后，可以对于第一帧和处于场景切换处的帧数据，以及不是第一帧和不处于场景切换处的真数据分别采用如下所述的基于相似性的合并方法。

对于是第一帧或者处于场景切换处的帧数据，合并条带的具体方法是：

比较S、Sp和Sf中每个宏块对所包含细节像素点平均值的差异，将S并入与当前条带差异小的条带中。如果S、Sp和Sf的差异相同，则将S并入Sp、Sf中包含宏块对数目较少的条带中。

对于不是第一帧或者不处于场景切换处的帧数据，合并条带的具体方法是：

1.当S为运动剧烈条带时，如果Sp中包含的平滑类型的宏块对数目大于Sf，则将S并入Sf，反之则并入Sp；如果Sp、Sf中包含的平滑类型的宏块数目相同，则比较Sp、Sf非平滑类型的宏块对的最匹配块位置偏移值的平均值，将S并入偏移值平均值大的条带中；

2.当S为运动舒缓条带时，比较Sp、Sf非平滑类型的宏块对的最匹配块位置偏移值的平均值，将S并入偏移值平均值小的条带中；

3.当前步骤1和步骤2无法决定S的归属时，将S并入Sp、Sf包含宏块对数目较少的条带中。

至此，本发明的内容自适应条带划分结束。应当理解，将各种类型的条带组划分为条带，又或经过条带合并之后，最后的划分结果可以相应地称之为：细节条带、平坦条带，以及运动舒缓条带，运动剧烈条带。

然后，在步骤104中，使用基于图像条带的自适应帧场编码方法进行编码。

在步骤104-1，对于是视频第一帧或者处于场景切换出的视频数据，选择传统的基于图像条带的自适应帧场编码方法：对于每一个图像条带，分别进行帧编码和场编码；选择代价较小的一个作为图像条带的编码模式。

在步骤104-2，对于不是视频第一帧或者不处于场景切换处的视频数据，利用获得的图像条带内宏块的运动状况信息采用基于图像条带的自适应帧场编码快速算法：对于运动剧烈条带，则选择场编码作为其编码模式；对于运动舒缓条带，选择帧编码作为其编码模式。

本发明提出的基于视频内容自适应条带划分技术的自适应帧场编码方法，通过对于视频本身内容，运动特征的充分分析，将视频的每帧图像划分为运动状况特性相似的条带，再采取基于图像条带的自适应帧场编码方法对视频进行编码。我们设计的图像自适应条带划分技术使得基于图像条带的自适应帧场编码方法使用的视频条带具有更统一的运动特征，能更好的运用自适应帧场编码方法的优势，从而能获得更高的编码压缩效率。此外，利用获得的图像条带的运动特征，本发明提出了基于图像条带的自适应帧场编码快速算法，在保证获得的编码压缩增益的同时，还能进一步提高编码的速度，降低编码的运算复杂度。

显而易见，在不偏离本发明的真实精神和范围的前提下，在此描述的本发明可以有许多变化。因此，所有对于本领域技术人员来说显而易见的改变，都应包括在本权利要求书所涵盖的范围之内。本发明所要求保护的范围仅由所述的权利要求书进行限定。