用于消除基于块编码的图像的不连续性的滤波器及其方法

摘要

一种用于消除以块为单位编码的图像的块边界的不连续性的方法及其设备。一种用于消除以具有预定的大小的块为单位而编码的图像的块边界的不连续性的滤波器，包括：垂直边缘滤波单元，用于通过以块为单位顺序地滤波来消除块的垂直方向上的不连续性；确定单元，用于根据由块形成的宏块的滤波模式来确定在水平方向上的不连续性滤波的起始点；和水平边缘滤波单元，用于如果块的垂直方向不连续性滤波被完成到由确定单元确定的滤波起始点，则顺序地执行对其完成了垂直方向不连续性滤波的块的水平方向上的不连续性滤波。因此，滤波所花费的时间减少，并且不需要不必要的存储器。

说明书

本申请要求于2004年7月2日在韩国知识产权局提交的第10-2004-0051519号韩国专利申请的优先权，该申请完整公开于此以资参考。

                         技术领域

与本发明相一致的设备和方法涉及数字图像处理，更具体地讲，涉及一种用于消除以块为单位编码的图像的块边界的不连续性的方法及其设备。

                         背景技术

当图像通过具有预定带宽的网络被发送或者被存储在存储介质中时，对图像数据编码是很重要的。为了有效地发送和存储图像数据，已进行了许多研究活动，并且在多种图像编码方法之中，基于变换的编码方法被最广泛地使用。在基于变换的编码中，离散余弦变换(DCT)技术已经被广泛地使用。

同时，在多种图像编码标准之中，有一种H.264AVC视频编码标准。在H.264AVC标准中，DCT被应用来预测帧内(intra frame)和帧间(inter frame)以获得高压缩比，并且被用来对预测图像和原始图像之间的差别进行编码。通过DCT变换，丢弃DCT系数之中的具有较低重要性的信息，从而当通过逆变换而被解码时，图像的质量降低。即，因为压缩，所以在解码的图像的质量降低的同时，图像数据的传输比特率降低。DCT以块为单位被执行，每个块通过将图像分为预定的大小而获得。由于DCT以块为单位被这样执行，所以发生了块效应(blocking effect)，在该块效应中，出现了块之间的边界上的不连续性。

以块为单位的运动补偿是块效应的另一原因。通过为帧中具有预定的大小的每个块而确定的一个运动矢量来获得当前块的可被用于对图像解码的运动信息。此外，通过使用当前块的运动矢量和与当前块相邻的块的运动矢量而获得预测的运动矢量(PMV)。如此获得的PMV从实际运动矢量中被减去以用于编码。

运动补偿的块通过从先前参考帧中的其它位置上的块中复制内插的像素值而被产生。因此，每个块的像素值连接得不平滑，并且不连续性发生在块之间的边界上。此外，在复制的过程中，参考帧中的块之间的不连续性被传递到将被直接补偿的块。因此，即使4x4大小的块被用在H.264AVC中，为了消除块边界上的不连续性，仍然应该执行解码的图像的滤波。

块效应发生在如上所述的基于块的变换和量化的过程中，并且导致画面质量的恶化现象，在该现象中，当压缩比增大时，块边界上的不连续性规则地出现，就好像瓦片被铺设一样。作为用于消除不连续性的滤波器的例子，有一种去块滤波器。同时，在块效应中，在块边界上的图像的不连续性包括水平方向边缘上的不连续性和垂直方向边缘上的不连续性。

通常，在去块滤波器中，垂直方向边缘首先被滤波，然后水平方向边缘被滤波。因此，由于同时执行在垂直方向上的边缘滤波和在水平方向上的边缘滤波很困难，所以滤波的时间变得更长，并且需要用于临时存储垂直方向边缘滤波的结果的存储器。

                         发明内容

本发明提供了一种用于更迅速地消除图像的块效应或不连续性的设备和方法，通过以上，在消除图像的块效应的过程中，垂直方向上的边缘的滤波首先开始后一段预定的时间之后，水平方向上的边缘的滤波被一起执行。

根据本发明的一方面，提供了一种用于消除以具有预定的大小的块为单位而编码的图像的块边界的不连续性的滤波器，其包括：垂直边缘滤波单元，用于通过以块为单位顺序地滤波来消除块的垂直方向上的不连续性；确定单元，用于根据由块形成的宏块的滤波模式来确定在水平方向上的不连续性滤波的起始点；和水平边缘滤波单元，用于如果块的垂直方向不连续性滤波被完成到由确定单元确定的滤波起始点，则顺序地执行对其完成了垂直方向不连续性的滤波的块的水平方向上的不连续性滤波。

垂直边缘滤波单元和水平边缘滤波单元可以按从形成宏块并位于该宏块的左上侧的块开始然后向下的顺序来执行滤波。

当在以宏块自适应帧场(MBAFF)模式编码的宏块中执行水平方向边缘滤波时，如果顶部宏块对是场宏块对，并且当前宏块属于帧宏块对并且是顶部宏块，则确定单元可确定这是例外情况，并确定水平方向上的不连续性滤波的起始点。

根据本发明的另一方面，提供了一种消除以具有预定的大小的块为单位而编码的图像的块边界的不连续性的方法，其包括：通过以块为单位顺序地滤波来消除块的垂直方向上的不连续性；根据由块形成的宏块的滤波模式来确定水平方向上的不连续性滤波的起始点；和如果块的垂直方向不连续性滤波被完成到确定的滤波起始点，则顺序地执行对其完成了垂直方向不连续性滤波的块的水平方向上的不连续性滤波。

在消除块的垂直方向上的不连续性并顺序地执行水平方向上的不连续性滤波的过程中，可以按从形成宏块并位于宏块的左上侧的块开始然后向下的顺序来顺序地执行滤波。

在确定水平方向上的不连续性滤波的起始点的过程中，当在以MBAFF模式编码的宏块中执行水平方向边缘滤波时，如果顶部宏块对是场宏块对，并且当前宏块属于帧宏块对并且是顶部宏块，则这种情况可被确定为例外情况，并且水平方向上的不连续性滤波的起始点可被确定。

                         附图说明

通过参照附图对本发明的示例性实施例进行详细的描述，本发明的上述和其它方面将会变得清楚，其中：

图1是包括根据本发明实施例的用于消除图像不连续性的滤波器的运动画面再现设备的方框图；

图2A和图2B是显示亮度块的将被滤波的边界像素和滤波顺序的示图；

图2C和图2D是显示色度块的将被滤波的边界像素和滤波顺序的示图；

图3A和3B显示在滤波中使用的像素；

图4是本发明的滤波器的方框图；

图5是显示以MBAFF模式编码的宏块对的示图；

图6A和6B显示普通情况和例外情况的水平方向边缘滤波的起始点；和

图7是由本发明的滤波方法所执行的步骤的流程图。

                         具体实施方式

现在将参照附图对本发明进行更全面的描述，本发明的示例性实施例显示在附图中。

图1显示运动画面再现设备，该设备包括根据本发明示例性实施例的用于消除图像不连续性的滤波器，并包括用于对输入的编码图像解码的解码单元110。由于图像的编码方法可以是诸如MPEG-2、MPEG-4、和H.264的多种方法之一，所以解码单元根据图像的编码方法对输入图像解码。提供了滤波器120，其可以是去块滤波器，并执行MxN块的边界上的像素的滤波。在本示例性实施例中，以4x4块为单位执行滤波的情况将被作为例子解释。滤波基于宏块(macroblock)被执行，并且对于画面中所有的宏块，滤波以具有预定大小的块为单位被顺序地执行。为了对每个宏块滤波，使用当前宏块的上方和左侧的滤波的块的像素值。此时，亮度分量和色度分量被分开并被分别滤波。

图2A和图2B是显示亮度块的将被滤波的边界像素和滤波顺序的示图。

首先，垂直方向上的不连续性指的是块之间的垂直边界上的图像的不连续性，并且水平方向上的不连续性指的是水平边界上的图像的不连续性。

在每个宏块中，对块的垂直边界上的像素的滤波首先被执行。如图2A中的箭头所指示，垂直方向边界像素沿从宏块的左侧到右侧的方向被滤波，并且使用该滤波结果，对水平方向边界像素的滤波被执行。水平方向边界像素沿图2B中的箭头所指示的从顶部到底部的方向被滤波。由于滤波基于宏块被执行，所以对四个像素行执行了用于消除亮度不连续性的滤波，每个像素行由16个像素形成。垂直方向边界像素和水平方向边界像素的4x4块的滤波顺序由图2A和图2B中的数字指示。

图2C和图2D是显示色度块的将被滤波的边界像素和滤波顺序的示图。色度块具有8x8的大小，是亮度块的大小的四分之一。和亮度分量滤波相同，对色度分量滤波也以4x4块为单位并且按由图2C和图2D中所示的数字所指示的顺序而被执行。

图3A和3B显示在滤波中使用的像素。基于4x4块的边界来确定像素，并且通过预定的滤波公式计算改变的像素值。主要地，p0、p1、p2、q0、q1、和q2像素值被改变了。除了对亮度分量滤波之外，对色度分量滤波也按与亮度分量的顺序相似的顺序被执行。

图4是本发明的示例性实施例的滤波器的方框图。参照图4，本发明的滤波器包括：垂直边缘滤波单元410，用于对垂直方向上的边缘滤波；水平边缘滤波单元420，用于对水平方向上的边缘滤波；和确定单元430。更具体地讲，在普通的去块滤波器的操作中，首先确定滤波模式，在确定的滤波模式下在垂直方向上的边缘被滤波，然后，对于该滤波结果，在水平方向上的边缘被滤波。去块顺序在亮度块中和色度块中是相同的。滤波模式例如根据以H.264运动画面编码的宏块中的数据被指示，并且随后将参照图5进行解释。

由于垂直方向边缘首先被滤波，然后，对于该滤波结果，水平方向边缘被滤波，所以垂直方向边缘滤波和水平方向边缘滤波不能同时被执行。因此，还需要能够临时存储垂直方向边缘滤波的结果的存储器。

在本发明的示例性实施例中，使垂直方向边缘滤波和水平方向边缘滤波同时被执行。在垂直方向边缘滤波首先开始后一段预定的时间之后并且在垂直方向边缘滤波结束之前，执行水平方向边缘滤波。因此，在预定的时间之后，垂直方向边缘滤波和水平方向边缘滤波被同时执行。确定单元430确定水平方向边缘滤波的开始时间。何时开始水平方向边缘滤波将参照图6A和6B进行解释。

图5是显示以宏块自适应帧场(MBAFF)模式编码的宏块对的示图。在H.264运动画面编码中，存在在其中所有宏块数据是帧数据的帧模式、在其中所有宏块数据是场数据的场模式、和在其中帧数据和场数据共存的MBAFF模式。

参照图5，在以MBAFF模式编码的宏块中对垂直方向上的边缘进行滤波的过程中，如果顶部宏块对(顶部MB对)520是场宏块对，并且当前宏块属于帧宏块对(帧MB对)510并同时是顶部宏块，则一个水平方向边缘的滤波应被执行两次。即，由于形成顶部宏块对(顶部MB对)520的顶部块和底部块每个应该被滤波，所以需要滤波两次。因此，这种情况被当作例外情况。

图6A和6B显示普通情况和例外情况的水平方向边缘滤波的起始点。对于亮度块，如图6A中所示，在普通情况下，垂直方向边缘滤波执行到点610，然后水平方向边缘滤波和垂直方向边缘滤波被一起执行。在例外情况下，垂直方向边缘滤波执行到点620，然后水平方向边缘滤波和垂直方向边缘滤波被一起执行。对于色度块，如图6B中所示，在普通情况下，垂直方向边缘滤波执行到点630，然后水平方向边缘滤波和垂直方向边缘滤波被一起执行。在例外情况下，垂直方向边缘滤波执行到点640，然后垂直方向边缘滤波和水平方向边缘滤波被一起执行。

图7是由本发明的示例性实施例的滤波方法所执行的操作步骤的流程图。在操作步骤S710中确定当前宏块的滤波模式。在该确定的模式下，垂直方向边缘在操作步骤S720中被滤波。然后，在操作步骤S730中确定何时开始水平方向边缘滤波。

在操作步骤S740中，如果在操作步骤S710中确定的模式对应于以上参照图5描述的例外情况，那么水平方向边缘滤波通过使用两个水平方向边缘滤波器而被执行，否则水平方向边缘滤波通过使用一个水平方向滤波器而被执行。因此，配置了两个水平方向边缘滤波器。通过这样做，在执行垂直方向边缘滤波的同时，可以并发地执行水平方向边缘滤波。

上述滤波方法可被实现为计算机程序。本发明的技术领域的程序员可以容易地推导出形成该程序的代码和代码段。此外，该程序可被存储在计算机可读介质中，并由计算机读取并执行以实现所述的滤波方法。计算机可读介质包括：例如，磁记录介质、光记录介质、和载波介质。

尽管已参照其示例性实施例详细地表示和描述了本发明，但本领域的普通技术人员应该理解，在不脱离由以下权利要求所限定的本发明的精神和范围的情况下，可对本发明进行形式和细节上的各种改变。示例性实施例应被认为仅仅是描述意义上的，而不是为了限制的目的。因此，本发明的范围不是由本发明的详细描述限定，而是由所附权利要求限定，并且该范围内的所有差异将被解释为被包括在本发明中。

根据如上所述的本发明，垂直方向上的边缘的滤波首先开始后一段预定的时间之后，水平方向上的边缘的滤波被一起执行，从而滤波时间被减少并且不必要的存储器需求可被去除。