多格点基于稀疏性滤波基础上环内去伪像滤波方法和装置

摘要

提供了用于在多格点基于稀疏性的滤波的基础上的环内去伪像滤波的方法和装置。一种装置包括编码器(500)，其用于编码画面的画面数据。该编码器包括环内去伪像滤波器(565)，其用于对画面数据去伪像以输出所述画面的至少两个滤波的版本的自适应的加权组合。所述画面数据包括所述画面的至少一个子采样。

说明书

对相关申请的交叉引用

本申请要求于2007年6月8日提交的美国临时申请序列号60/942,686的权益，通过引用在此并入其整体。

技术领域

本发明一般地涉及视频编码和解码，并且更具体地涉及用于在多格点(multi-lattice)基于稀疏性(sparsity-based)滤波的基础上的环内(in-loop)去伪像(de-artifacting)滤波的方法和装置

背景技术

国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)第10部分先进视频编码(AVC)标准/国际电信联盟电信分部(ITU-T)H.264建议(在下文中被称作“MPEG-4AVC标准)是当前最高效和当前技术发展水平(state-of-the-art)的视频编码标准。与其他视频编码标准类似，MPEG-4AVC标准采用基于块的离散余弦变换(DCT)和运动补偿。变换系数的粗糙的(coarse)量化可以导致诸如块伪像、边缘伪像、纹理(texture)伪像等之类的各种视觉干扰伪像。MPEG-4AVC标准定义了自适应的环内去块滤波器以解决该问题，但该滤波器仅仅关注对块边缘的平滑。该滤波器不尝试校正由量化噪声导致诸如失真的边缘和纹理之类的其他伪像。

所有的视频压缩伪像是由量化产生的，所述量化为混合视频编码框架中唯一的有损编码部分。但是，这些伪像可以以各种形式存在，所述各种形式包括但不限于块伪像、振铃(ringing)伪像、边缘失真、以及纹理毁坏。通常，解码的序列可能由具有不同的严重程度的、所有类型的视觉伪像组成。在不同种类的视觉伪像中，块伪像在基于块的视频编码中是普遍的。这些伪像可能来源于残余编码中的变换阶段(例如DCT或MPEG-4AVC标准整数(integer)块变换)以及预测阶段(例如运动补偿和/或帧内(intra)预测)的两者。例如在MPEG-4AVC标准中的，在过去已经研究了自适应的去块滤波器，并且已经提出了一些众所周知的方法。在被很好地设计时，自适应的去块滤波器可以改善客观和主观的视频质量这两者。在诸如在MPEG-4AVC标准中，本领域的视频编解码器中，设计了自适应的环内去块滤波器以减少块伪像，其中由若干语法元素的值以及由重构的图像的局部幅度和结构来控制滤波的强度。基本的构思是：如果量度到块边缘附近的样本之间的相对较大的绝对差，则它很可能是块伪像，并且因此应当被减少。但是，如果该差异的量值(magnitude)如此大以至于它不能由编码中所使用的量化的粗糙程度来解释，则该边缘更可能反映了源画面的实际表现，并且不应当对其进行平滑。以此方式，减少了块程度(blockiness)，而基本不改变内容的锐度。该去块滤波器在若干层面(level)上是自适应的。在片(slice)层面上，可以将全局滤波强度调节至该视频序列的个体特性。在块边缘层面上，使滤波强度依赖于两个相邻的块中的帧间/帧内预测决定、运动差异、和编码的残余的存在。在宏块边界上，施加尤其强的滤波以去除“平铺(tiling)伪像”。在采样层面上，采样值和依赖于量化器的阈值可以对于每个个体样本关闭滤波。

MPEG-4AVC标准去块滤波器被很好地设计以减少块伪像，但不尝试校正由量化噪声导致的其他伪像。例如，MPEG-4AVC标准去块滤波器不触及边缘和纹理。因而，MPEG-4AVC标准不能改善任何失真的边缘或纹理。背后的一个原因是：MPEG-4AVC标准去块滤波器应用平滑的图像模型，并且所设计的滤波器典型地包括一组(a bank of)低通滤波器。但是，图像可能包括不能被MPEG-4AVC标准去块滤波器正确地处理的许多奇点(singularity)、纹理等。

为了克服MPEG-4AVC标准去块滤波器的限制，最近在现有技术第一方法中已经提出去噪声类型非线性环内滤波器。现有技术第一方法描述了适配于利用稀疏图像模型的非静止图像统计的非线性去噪声滤波器，所述稀疏图像模型使用线性变换的过完整集合(overcomplete set)和阈值操作。现有技术第一方法的非线性去噪声滤波依赖于它所操作的区域，自动地变为高通、或低通、或带通等。现有技术第一方法的非线性去噪声滤波器可以对付所有类型的量化噪声。

该去噪声基本上包括以下三个步骤：变换；阈值处理；和逆变换。然后对通过利用变换的过完整集合的去噪声所提供的(例如，在现有技术第一方法中，通过利用移位(shift)的相同变换的版本施加去噪声而产生的)若干去噪声的估算在每个像素处的加权平均来组合所述估算。在现有技术第一方法中所描述的自适应的环内滤波是基于冗余变换的使用。由给定的变换H的所有可能的转换(translation)H_i来生成冗余变换。因此，给定图像I，通过在I上施加变换H_i来生成图像I的一系列不同的变换的版本Y_i。其后，借助于系数去噪声过程(通常为阈值操作)来处理每个变换的版本Y_i，以便减少在变换的系数中包括的噪声。这生成一系列Y’_i。此后，每个Y’_i被变换回空间域、变为不同的估算I’_i，其中在所述估算I’_i中的每一个中应当存在更少的噪声量。现有技术第一方法还利用以下事实：对于不同的位置，不同的I’_i包括I的最佳去噪声的版本。因此，现有技术第一方法将最终滤波的版本I’估算为I’_i的加权的和，其中最优化权重以使得在I’的每个位置处优选(favor)最佳的I’_i。图1和2涉及该现有技术第一方法。

转向图1，由参考标号100一般地指示根据现有技术的用于位置自适应的、基于稀疏性的画面滤波的装置。

装置100包括第一变换模块(具有变换矩阵1)105，其具有与第一去噪声系数模块120的输入端信号通信地连接的输出端。第一去噪声系数模块120的输出端与第一逆变换模块(具有逆变换矩阵1)135的输入端、组合权重计算模块150的输入端、以及第N逆变换模块(具有逆变换矩阵N)145的输入端信号通信地连接。第一逆变换模块(具有逆变换矩阵1)135的输出端与组合器155的第一输入端信号通信地连接。

第二变换模块(具有变换矩阵2)110的输出端与第二去噪声系数模块125的输入端信号通信地连接。第二去噪声系数模块125的输出端与第二逆变换模块(具有逆变换矩阵2)140的输入端、组合权重计算模块150的输入端、以及第N逆变换模块(具有逆变换矩阵N)145的输入端信号通信地连接。第二逆变换模块(具有逆变换矩阵2)140的输出端与组合器155的第二输入端信号通信地连接。

第N变换模块(具有变换矩阵N)115的输出端与第N去噪声系数模块130的输入端信号通信地连接。第N去噪声系数模块130的输出端与第N逆变换模块(具有逆变换矩阵N)145的输入端、组合权重计算模块150的输入端、以及第一逆变换模块(具有逆变换矩阵1)135的输入端信号通信地连接。第N逆变换模块(具有逆变换矩阵N)145的输出端与组合器155的第三输入端信号通信地连接。

组合权重计算模块150的输出端与组合器155的第四输入端信号通信地连接。

第一变换模块(具有变换矩阵1)105的输入端、第二变换模块(具有变换矩阵2)110的输入端和第N变换模块(具有变换矩阵N)115的输入端作为装置100的输入端，可用于接收输入图像。组合器155的输出端作为装置100的输出端，可用于提供输出图像。

转向图2，由参考标号200一般地指示根据现有技术的用于位置自适应的、基于稀疏性的画面滤波的方法。

方法200包括开始块205，其向循环限制块210传递控制。循环限制块210对变量i的每个值执行循环，并且向功能块215传递控制。功能块215利用变换矩阵i执行变换，并且向功能块220传递控制。功能块220确定去噪声系数，并且向功能块225传递控制。功能块225利用逆变换矩阵i执行逆变换，并且向循环限制块230传递控制。循环限制块230结束在变量i的每个值上的循环，并且向功能块235传递控制。功能块235组合去噪声的系数图像的不同的逆变换的版本(例如其局部自适应的加权和)，并且向结束块299传递控制。

加权方法可以是各种的并且可以至少依赖于以下中的至少一项：要被滤波的数据；在数据上所使用的变换；以及对要滤波的噪声/失真的统计假设。

现有技术第一方法将每个H_i视作正交归一化变换。此外，现有技术第一方法将每个H_i视作诸如小波变换或DCT之类的、给定的2D正交归一化变换的转换的版本。考虑到这点，MPEG-4AVC标准不考虑以下事实：给定的正交归一化变换具有有限量的分析方向。因此，即使DCT的所有可能的转换被用于生成I的过完整的表示，I仍将被唯一地分解为垂直分量和水平分量，而与I的特定分量无关。

基于稀疏性的去噪声工具可以减少由被奇点分离(separate)的局部均匀区域(平滑、高频率、纹理等)组成的视频帧上的量化噪声。但是，如在现有技术第一方法中详尽地注明的，其去噪声工具最初是为加性(additive)、独立和相等地分布(i.i.d.)的噪声去除而设计的，但量化噪声具有显著不同的属性，其可能呈现在恰当的失真减少和视觉去伪像方面的问题。这暗示这些技术可能被真正的边缘或虚假的块边缘所迷惑。虽然可以主张：空间-频率阈值自适应可能能够校正该决定，但所述空间-频率阈值自适应的实施不是轻而易举的。不充分的阈值选择的可能结果是：稀疏性去噪声可能导致过平滑的(over-smoothed)重构的画面或者虽然进行了滤波过程但仍然呈现块伪像。目前，如在我们的实验中所观察到的，当应用在现有技术第一方法中所呈现的基于稀疏性的去噪声技术取代MPEG-4AVC标准中的环内滤波步骤时，尽管它在客观量度(例如均方差(MSE))方面呈现了比其他技术更高的失真减少，但它仍然呈现需要被处理的重要的视觉伪像。

现有技术第一方法中的此不足之处的至少两个原因中的第一个原因为：在滤波步骤中所使用的变换与用于对残余进行编码的变换接近地类似(或相等)。由于被引入至编码的信号中的量化误差有时处于可用于重构的系数的数目的减少的形式之下，所以这种系数的减少迷惑了在现有技术第一方法中的权重生成中所执行的信号稀疏性的量度。这使得量化噪声影响权重的生成，然后所述权重生成影响一些位置中的最佳I’_i的恰当权重，这使得在滤波之后仍然可见一些块伪像。

现有技术第一方法中的此不足之处的至少两个原因中的第二个原因为：在现有技术第一方法中对如同DCT及其所有转换之类的单个类型的正交变换的使用具有用于结构分析的有限量的主方向(即垂直和水平)。这削弱了对具有既非垂直定向也非水平定向的信号结构的恰当的去伪像。

已经提出了用于基于投影到凸(convex)集合上(POCS)的压缩伪像减少的其他方法。但是，这样的方法在计算上是高强度的，并且不一定处理上面所列出的所有伪像。现有技术第二方法计算适应于信号的子空间，但由于现有技术第二方法没有恰当地处理信号的高频分量，所以它不能够完全去除所有的块伪像。在现有技术第三方法中，提出使用小波变换和阈值处理以对重构的压缩图像进行处理和去噪声。但是，现有技术第三方法在某种意义上(in the sense)仍然是受限的，这是因为现有技术第三方法没有恰当地处理高度纹理化的区域、也不能够恰当地对边缘上的几何失真进行去伪像、并且受限于对定向(orient)特征的处理。

转向图3，由参考标号300一般地指示能够根据MPEG-4AVC标准执行视频编码的视频编码器。

视频编码器300包括帧排序缓冲器310，其具有与组合器385的非反相输入端进行信号通信的输出端。组合器385的输出端与变换器和量化器325的第一输入端信号通信地连接。变换器和量化器325的输出端与熵编码器345的第一输入端、以及逆变换器和逆量化器350的第一输入端信号通信地连接。熵编码器345的输出端与组合器390的第一非反相输入端信号通信地连接。组合器390的输出端与输出缓冲器335的第一输入端信号通信地连接。

编码器控制器305的第一输出端与帧排序缓冲器310的第二输入端、逆变换器和逆量化器350的第二输入端、画面类型决定模块315的输入端、宏块类型(MB类型)决定模块320的输入端、帧内预测模块360的第二输入端、去块滤波器365的第二输入端、运动补偿器370的第一输入端、运动估算器375的第一输入端，以及参考画面缓冲器380的第二输入端信号通信地连接。

编码器控制器305的第二输出端与补充增强信息(SEI)插入器330的第一输入端、变换器和量化器325的第二输入端、熵编码器345的第二输入端、输出缓冲器335的第二输入端、以及序列参数集(SPS)和画面参数集(PPS)插入器340的输入端信号通信地连接。

画面类型决定模块315的第一输出端与帧排序缓冲器310的第三输入端信号通信地连接。画面类型决定模块315第二输出端与宏块类型决定模块320的第二输入端信号通信地连接。

序列参数集(SPS)和画面参数集(PPS)插入器340的输出端与组合器390的第三非反相输入端信号通信地连接。

逆量化器和逆变换器350的输出端与组合器327的第一非反相输入端信号通信地连接。组合器327的输出端与帧内预测模块360的第一输入端和去块滤波器365的第一输入端信号通信地连接。去块滤波器365的输出端与参考画面缓冲器380的第一输入端信号通信地连接。参考画面缓冲器380的输出端与运动估算器375的第二输入端信号通信地连接。运动估算器375的第一输出端与运动补偿器370的第二输入端信号通信地连接。运动估算器375的第二输出端与熵编码器345的第三输入端信号通信地连接。

运动补偿器370的输出端与切换器397的第一输入端信号通信地连接。帧内预测模块360的输出端与切换器397的第二输入端信号通信地连接。宏块类型决定模块320的输出端与切换器397的第三输入端信号通信地连接。切换器397的输出端与组合器327的第二非反相输入端信号通信地连接。

帧排序缓冲器310的输入端和编码器控制器305的输入端作为编码器300的输入端，可用于接收输入画面301。此外，补充增强信息(SEI)插入器330的输入端作为编码器300的输入端，可用于接收元数据。输出缓冲器335的输出端作为编码器300的输出端，可用于输出比特流。

转向图4，由参考标号400一般地指示能够根据MPEG-4AVC标准执行视频解码的视频解码器。

视频解码器400包括输入缓冲器410，其具有与熵解码器445的第一输入端信号通信地连接的输出端。熵解码器445的第一输出端与逆变换器和逆量化器450的第一输入端信号通信地连接。逆变换器和逆量化器450的输出端与组合器425的第二非反相输入端信号通信地连接。组合器425的输出端与去块滤波器465的第二输入端、以及帧内预测模块460的第一输入端信号通信地连接。去块滤波器465的第二输出端与参考画面缓冲器480的第一输入端信号通信地连接。参考画面缓冲器480的输出端与运动补偿器470的第二输入端信号通信地连接。

熵解码器445的第二输出端与运动补偿器470的第三输入端以及去块滤波器465的第一输入端信号通信地连接。熵解码器445的第三输出端与解码器控制器405的输入端信号通信地连接。解码器控制器405的第一输出端与熵解码器445的第二输入端信号通信地连接。解码器控制器405的第二输出端与逆变换器和逆量化器450的第二输入端信号通信地连接。解码器控制器405的第三输出端与去块滤波器465的第三输入端信号通信地连接。解码器控制器405的第四输出端与帧内预测模块460的第二输入端、与运动补偿器470的第一输入端、以及与参考画面缓冲器480的第二输入端信号通信地连接。

运动补偿器470的输出端与切换器497的第一输入端信号通信地连接。帧内预测模块460的输出端与切换器497的第二输入端信号通信地连接。切换器497的输出端与组合器425的第一非反相输入端信号通信地连接。

输入缓冲器410的输入端作为解码器400的输入端，可用于接收输入比特流。去块滤波器465的第一输出端作为解码器400的输出端，可用于对输出画面的输出。

发明内容

本发明处理现有技术的这些和其他缺点和劣势，本发明关注用于在多格点基于稀疏性的滤波的基础上的环内去伪像滤波的方法和装置。

根据本发明的一方面，提供了一种装置。该装置包括用于编码画面的画面数据的编码器。该编码器包括环内去伪像滤波器，用于对画面数据进行去伪像以输出所述画面的至少两个滤波的版本的自适应的加权组合。所述画面数据包括所述画面的至少一个子采样。

根据本发明的另一方面，提供了一种方法。该方法包括对画面的画面数据进行编码。所述编码步骤包括对画面数据进行环内去伪像滤波以输出所述画面的至少两个滤波的版本的自适应的加权组合。所述画面数据包括所述画面的至少一个子采样。

根据本发明的又一方面，提供了一种装置。该装置包括用于解码画面的画面数据的解码器。该解码器包括环内去伪像滤波器，用于对画面数据进行去伪像以输出所述画面的至少两个滤波的版本的自适应的加权组合。所述画面数据包括所述画面的至少一个子采样。

根据本发明的又一方面，提供了一种方法。该方法包括对画面的画面数据进行解码。所述解码步骤包括对解码的画面数据进行环内去伪像滤波以输出所述画面的至少两个滤波的版本的自适应的加权组合。所述画面数据包括所述画面的至少一个子采样。

在以下要连同附图一起阅读的、对示例实施例的详细描述中，本发明的这些和其他方面、特征和优势将变得明显。

附图说明

可以根据以下示例图更好地理解本发明，其中：

图1为根据现有技术的、用于位置自适应的、基于稀疏性的画面滤波的装置的框图；

图2为根据现有技术的、用于位置自适应的、基于稀疏性的画面滤波的方法的流程图；

图3示出了能够根据MPEG-4AVC标准执行视频编码的视频编码器的框图；

图4示出了能够根据MPEG-4AVC标准执行视频解码的视频解码器的框图；

图5示出了根据本发明的实施例的、被扩展用于本发明的、能够根据MPEG-4AVC标准执行视频编码的视频编码器的框图；

图6示出了根据本发明的实施例的、被扩展用于本发明的、能够根据MPEG-4AVC标准执行视频解码的视频解码器的框图；

图7为根据本发明的实施例的、示例性的利用多格点信号变换的、位置自适应的基于稀疏性的画面滤波器的高级框图；

图8为根据本发明的实施例的、另一示例性的利用多格点信号变换的、位置自适应的基于稀疏性的画面滤波器的高级框图；

图9为根据本发明的实施例的、可以应用本发明的、在8×8尺寸的离散余弦变换中包括的DCT基函数以及它们的形状的图；

图10A和10B为示出根据本发明的实施例的、可以应用本发明的、利用对应的格点采样矩阵的格点采样的例子的图；

图11为根据本发明的实施例的、用于利用多格点信号变换的、位置自适应的、基于稀疏性的画面滤波的示例方法的流程图；

图12A-12D为根据本发明的实施例的、可以应用本发明的、4×4DCT变换的16个可能的转换中的四个中的相应的一个转换的图；以及

图13为根据本发明的实施例的、示例性的在多格点基于稀疏性的滤波的基础上的环内去伪像滤波器的图。

具体实施方式

本发明关注用于在多格点基于稀疏性的滤波的基础上的环内去伪像滤波的方法和装置。

本说明书阐释了本发明。因而应当理解，本领域技术人员将能够设计出虽然未在这里被显式地描述或示出的、但体现了本发明并被包括在本发明的精神和范围内的各种布置。

在这里所叙述的所有例子和条件性(conditional)语言意图在于辅助读者理解本发明和由(多个)发明人为发展本领域而贡献的构思的教导目的，并且应当被理解为不受这样的具体叙述的例子和条件的限制。

此外，在这里叙述本发明的原理、方面和实施例的所有陈述，以及其具体例子，意图包括其结构性和功能性等效物的两者。另外，这样的等效物意图包括当前已知的等效物以及在将来开发的等效物，即任何所开发的无论结构如何都执行相同的功能的元件。

因而，例如，本领域技术人员将理解，在这里所呈现的框图表示体现本发明的阐释性电路的概念视图。类似地，将理解，任何流程表、流程图、状态转换图、伪码等表示可以在计算机可读介质中被实质性地表示、并且由计算机或处理器如此执行的各种处理，而无论这样的计算机或处理器是否被显式地示出。

可以通过使用专用硬件以及能够与恰当的软件相联系而执行软件的硬件来提供图中所示的各种元件的功能。在由处理器提供时，可以由单个专用处理器、由单个共享处理器、或由多个单独的处理器(其中的一些可以被共享)来提供所述功能。此外，术语“处理器”或“控制器”的显式使用不应被理解为排他性地指代能够执行软件的硬件，而可以隐式地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储装置。

还可以包括传统的和/或定制的(custom)其他硬件。类似地，图中所示的任何切换器都仅仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或甚至手动地执行它们的功能，如同从上下文中更具体地理解的，具体的技术可由实施者选择。

在本文的权利要求中，被表达为用于执行所指定的功能的部件的任何元件意图包含执行该功能的任何方式，所述任何方式例如包括：a)执行该功能的电路元件的组合或b)因此包括固件、微代码(microcode)等的任何形式的软件与用于执行该软件的恰当的电路进行组合以执行该功能。如同由这样的权利要求所限定的本发明存在于以下事实中：以权利要求所要求的方式将由各种所叙述的部件所提供的功能组合并放在一起。因而认为可以提供那些功能的任何部件与这里所示出的那些部件等效。

本说明书中对本发明的“一个实施例”或“实施例”的引用意味着在本发明的至少一个实施例中包括与该实施例相联系地描述的特定的特征、结构、特性等。因而，贯穿本说明书的多处出现的短语“在一个实施例中”或

“在实施例中”的出现不一定都指代相同的实施例。

应当理解，例如在“A和/或B”的情况中的术语“和/或”的使用意图包含对所列第一选项(A)的选择、对所列第二选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的例子，在“A、B和/或C”的情况中，这样的措辞意图包含对所列第一选项(A)的选择、对所列第二选项(B)的选择、对所列第三选项(C)的选择、对所列第一和第二选项(A和B)的选择、对所列第一和第三选项(A和C)的选择、对所列第二和第三选项(B和C)的选择、或对所有三个选项(A和B和C)的选择。如同对于本领域和相关领域中的普通技术人员来说易于明白的，这可以对所列出的许多项目进行扩展。

如这里所使用的，术语“画面”指代图像、和/或包括图像的画面、和/或与静止和运动视频相关的画面。

此外，如这里所使用的，术语“稀疏性”指代其中信号在变换的域中具有很少的非零系数的情况。作为例子，利用具有5个非零系数的变换的表示的信号比使用相同的变换框架的、具有10个非零系数的另一信号具有更稀疏的表示。

进一步地，如这里所使用的，如同对于画面的子采样所使用的，术语“格点”或“基于格点的”指代其中将根据空间连续和/或非连续的样本的给定的结构图案来选择样本的子采样。在一个例子中，这样的图案可以是诸如矩形图案的几何图案。

并且，如这里所使用的，术语“局部”指代感兴趣的项目(包括但不限于平均幅度、平均噪声能量的量度、或权重的量度的微分(derivation))相对于像素位置层面的关系、和/或对应于画面内的像素或像素的局部化邻近的感兴趣的项目。

另外，如这里所使用的，术语“全局”指代感兴趣的项目(包括但不限于平均幅度、平均噪声能量的量度、或权重的量度的微分)相对于画面层面的关系、和/或对应于画面或序列的全部像素的感兴趣的项目。

此外，如这里所使用的，“高级语法”指代分层级驻留在宏块层之上的比特流中呈现的语法。例如，如这里所使用的，高级语法可以指代、但不限于在片首部(header)层面、补充增强信息(SEI)层面、画面参数集(PPS)层面、序列参数集(SPS)层面和网络抽象层面(NAL)单元首部层面处的语法。

进一步地，如这里所使用的，“块层面语法”和“块层面语法元素”可互换地指代分层级驻留在被结构化为视频编码方案中的块或块的(多个)分区的可能的编码单元中的任一个处的比特流中呈现的语法。例如，如这里所使用的，块层面语法可以指代、但不限于宏块层面、16×8分区层面、8×16分区层面、8×8子块层面、和这些层面中的任一层面的一般的分区处的语法。此外、如这里所使用的，块层面语法还可以指代从较小的块的并集(例如宏块的并集)所产生(issue)的块。

转向图5，由参考标号500一般地指示被扩展用于本发明的、能够根据MPEG-4AVC标准执行视频编码的视频编码器。

视频编码器500包括帧排序缓冲器510，其具有与组合器585的非反相输入端进行信号通信的输出端。组合器585的输出端与变换器和量化器525的第一输入端信号通信地连接。变换器和量化器525的输出端与熵编码器545的第一输入端、以及逆变换器和逆量化器550的第一输入端信号通信地连接。熵编码器545的输出端与组合器590的第一非反相输入端信号通信地连接。组合器590的输出端与输出缓冲器535的第一输入端信号通信地连接。

具有扩展(以控制去伪像滤波器565)的编码器控制器505的第一输出端与帧排序缓冲器510的第二输入端、逆变换器和逆量化器550的第二输入端、画面类型决定模块515的输入端、宏块类型(MB类型)决定模块520的输入端、帧内预测模块560的第二输入端、去伪像滤波器565的第二输入端、运动补偿器570的第一输入端、运动估算器575的第一输入端，以及参考画面缓冲器580的第二输入端信号通信地连接。

具有扩展(以控制去伪像滤波器565)的编码器控制器505的第二输出端与补充增强信息(SEI)插入器530的第一输入端、变换器和量化器525的第二输入端、熵编码器545的第二输入端、输出缓冲器535的第二输入端、以及序列参数集(SPS)和画面参数集(PPS)插入器540的输入端信号通信地连接。

画面类型决定模块515的第一输出端与帧排序缓冲器510的第三输入端信号通信地连接。画面类型决定模块515第二输出端与宏块类型决定模块520的第二输入端信号通信地连接。

序列参数集(SPS)和画面参数集(PPS)插入器540的输出端与组合器590的第三非反相输入端信号通信地连接。

逆量化器和逆变换器550的输出端与组合器527的第一非反相输入端信号通信地连接。组合器527的输出端与帧内预测模块560的第一输入端和去伪像滤波器565的第一输入端信号通信地连接。去伪像滤波器565的输出端与参考画面缓冲器580的第一输入端信号通信地连接。参考画面缓冲器580的输出端与运动估算器575的第二输入端信号通信地连接。运动估算器575的第一输出端与运动补偿器570的第二输入端信号通信地连接。运动估算器575的第二输出端与熵编码器545的第三输入端信号通信地连接。

运动补偿器570的输出端与切换器597的第一输入端信号通信地连接。帧内预测模块560的输出端与切换器597的第二输入端信号通信地连接。宏块类型决定模块520的输出端与切换器597的第三输入端信号通信地连接。切换器597的输出端与组合器527的第二非反相输入端信号通信地连接。

帧排序缓冲器510的输入端和具有扩展(以控制去伪像滤波器565)的编码器控制器505的输入端作为编码器500的输入端，可用于接收输入画面501。此外，补充增强信息(SEI)插入器530的输入端作为编码器500的输入端，可用于接收元数据。输出缓冲器535的输出端作为编码器500的输出端，可用于输出比特流。

转向图6，由参考标号600一般地指示被扩展用于本发明的、能够根据MPEG-4AVC标准执行视频解码的视频解码器。

视频解码器600包括输入缓冲器610，输入缓冲器610具有与熵解码器645的第一输入端信号通信地连接的输出端。熵解码器645的第一输出端与逆变换器和逆量化器650的第一输入端信号通信地连接。逆变换器和逆量化器650的输出端与组合器625的第二非反相输入端信号通信地连接。组合器625的输出端与去伪像滤波器665的第二输入端、以及帧内预测模块660的第一输入端信号通信地连接。去伪像滤波器665的第二输出端与参考画面缓冲器680的第一输入端信号通信地连接。参考画面缓冲器680的输出端与运动补偿器670的第二输入端信号通信地连接。

熵解码器645的第二输出端与运动补偿器670的第三输入端、以及去伪像滤波器665的第一输入端信号通信地连接。熵解码器645的第三输出端与具有扩展(以控制去伪像滤波器665)的解码器控制器605的输入端信号通信地连接。具有扩展(以控制去伪像滤波器665)的解码器控制器605的第一输出端与熵解码器645的第二输入端信号通信地连接。具有扩展(以控制去伪像滤波器665)的解码器控制器605的第二输出端与逆变换器和逆量化器650的第二输入端信号通信地连接。具有扩展(以控制去伪像滤波器665)的解码器控制器605的第三输出端与去伪像滤波器665的第三输入端信号通信地连接。具有扩展(以控制去伪像滤波器665)的解码器控制器605的第四输出端与帧内预测模块660的第二输入端、与运动补偿器670的第一输入端、以及与参考画面缓冲器680的第二输入端信号通信地连接。

运动补偿器670的输出端与切换器697的第一输入端信号通信地连接。帧内预测模块660的输出端与切换器697的第二输入端信号通信地连接。切换器697的输出端与组合器625的第一非反相输入端信号通信地连接。

输入缓冲器610的输入端作为解码器600的输入端，可用于接收输入比特流。去伪像滤波器665的第一输出端作为解码器600的输出端，可用于对输出画面的输出。

转向图7，由参考标号700一般地指示示例性的利用多格点信号变换的、位置自适应的基于稀疏性的画面滤波器。

下采样(downsample)和样本布置(sample arrangement)模块702具有与变换模块(具有来自集合B的变换矩阵1)712的输入端、变换模块(具有来自集合B的变换矩阵2)714的输入端、和变换模块(具有来自集合B的变换矩阵N)716的输入端进行信号通信的输出端。

下采样和样本重新布置模块704具有与变换模块(具有来自集合B的变换矩阵1)718的输入端、变换模块(具有来自集合B的变换矩阵2)720的输入端、和变换模块(具有来自集合B的变换矩阵N)722的输入端进行信号通信的输出端。

变换模块(具有来自集合B的变换矩阵1)712的输出端与去噪声系数模块730的输入端信号通信地连接。变换模块(具有来自集合B的变换矩阵2)714的输出端与去噪声系数模块732的输入端信号通信地连接。变换模块(具有来自集合B的变换矩阵N)716的输出端与去噪声系数模块734的输入端信号通信地连接。

变换模块(具有来自集合B的变换矩阵1)718的输出端与去噪声系数模块736的输入端信号通信地连接。变换模块(具有来自集合B的变换矩阵2)720的输出端与去噪声系数模块738的输入端信号通信地连接。变换模块(具有来自集合B的变换矩阵N)722的输出端与去噪声系数模块740的输入端信号通信地连接。

变换模块(具有来自集合A的变换矩阵1)706的输出端与去噪声系数模块724的输入端信号通信地连接。变换模块(具有来自集合A的变换矩阵2)708的输出端与去噪声系数模块726的输入端信号通信地连接。变换模块(具有来自集合A的变换矩阵M)710的输出端与去噪声系数模块728的输入端信号通信地连接。

去噪声系数模块724的输出端、去噪声系数模块726的输出端、和去噪声系数模块728的输出端各自与逆变换模块(具有来自集合A的逆变换矩阵1)742的输入端、逆变换模块(具有来自集合A的逆变换矩阵2)744的输入端、逆变换模块(具有来自集合A的逆变换矩阵M)746的输入端、以及组合权重计算模块760的输入端信号通信地连接。

去噪声系数模块730的输出端、去噪声系数模块732的输出端、和去噪声系数模块734的输出端各自与逆变换模块(具有来自集合B的逆变换矩阵1)748的输入端、逆变换模块(具有来自集合B的逆变换矩阵2)750的输入端、逆变换模块(具有来自集合B的逆变换矩阵N)752的输入端、以及组合权重计算模块762的输入端信号通信地连接。

去噪声系数模块736的输出端、去噪声系数模块738的输出端、和去噪声系数模块740的输出端各自与逆变换模块(具有来自集合B的逆变换矩阵1)754的输入端、逆变换模块(具有来自集合B的逆变换矩阵2)756的输入端、逆变换模块(具有来自集合B的逆变换矩阵N)758的输入端、以及组合权重计算模块764的输入端信号通信地连接。

逆变换模块(具有来自集合A的逆变换矩阵1)742的输出端与组合器模块776的第一输入端信号通信地连接。逆变换模块(具有来自集合A的逆变换矩阵2)744的输出端与组合器模块776的第二输入端信号通信地连接。逆变换模块(具有来自集合A的逆变换矩阵M)746的输出端与组合器模块776的第三输入端信号通信地连接。

逆变换模块(具有来自集合B的逆变换矩阵1)748的输出端与上采样、样本重新布置(upsample，sample rearrangement)和合并陪集(merge coset)模块768的第一输入端信号通信地连接。逆变换模块(具有来自集合B的逆变换矩阵2)750的输出端与上采样、样本重新布置和合并陪集模块770的第一输入端信号通信地连接。逆变换模块(具有来自集合B的逆变换矩阵N)752的输出端与上采样、样本重新布置和合并陪集模块772的第一输入端信号通信地连接。

逆变换模块(具有来自集合B的逆变换矩阵1)754的输出端与上采样、样本重新布置和合并陪集模块768的第二输入端信号通信地连接。逆变换模块(具有来自集合B的逆变换矩阵2)756的输出端与上采样、样本重新布置和合并陪集模块770的第二输入端信号通信地连接。逆变换模块(具有来自集合B的逆变换矩阵N)758的输出端与上采样、样本重新布置和合并陪集模块772的第二输入端信号通信地连接。

组合权重计算模块760的输出端与一般的组合权重计算模块774的第一输入端信号通信地连接。组合权重计算模块762的输出端与上采样、样本重新布置和合并陪集模块766的第一输入端信号通信地连接。组合权重计算模块764的输出端与上采样、样本重新布置和合并陪集模块766的第二输入端信号通信地连接。

上采样、样本重新布置和合并陪集模块766的输出端与一般的组合权重计算模块774的第二输入端信号通信地连接。一般的组合权重计算模块774的输出端与组合器模块776的第四输入端信号通信地连接。上采样、样本重新布置和合并陪集模块768的输出端与组合器模块776的第五输入端信号通信地连接。上采样、样本重新布置和合并陪集模块770的输出端与组合器模块776的第六输入端信号通信地连接。上采样、样本重新布置和合并陪集模块772的输出端与组合器模块776的第七输入端信号通信地连接。

变换模块(具有来自集合A的变换矩阵1)706的输入端、变换模块(具有来自集合A的变换矩阵2)708的输入端、变换模块(具有来自集合A的变换矩阵M)710的输入端、下采样和样本布置模块702的输入端、下采样和样本布置模块704的输入端作为滤波器700的输入端，可用于接收输入图像。组合器模块776的输出端作为滤波器700的输出端，可用于提供输出画面。

因而，滤波器700提供对应于输入数据的非下采样的处理的处理分支(branch)以及对应于输入数据的基于格点的下采样的处理的处理分支。应当理解，滤波器700提供了可以或者不可以并行处理的一系列处理分支。进一步理解，虽然描述了由滤波器700的不同的相应元件执行若干不同的处理，但给定这里所提供的本发明的教导，本领域和相关领域普通技术人员将容易地理解：可以组合并且由单个元件(例如对于两个或更多处理分支来说共用的单个元件，例如以允许数据的非并行处理的重用)来执行两个或更多的这样的处理，并且可以容易地向其应用其他修改，同时保持本发明的精神。例如，在一个实施例中，可以在滤波器700外实施组合器模块776，同时保持本发明的精神。

并且，通过直接考虑到用于在重构子采样格点和/或变换中的每一个中的像素的每一个像素的系数的量，可以以相继的计算步骤(如本实施例中所示)来执行、或以正好在结尾处的(at the very end)单个步骤来执行如图7中所示的权重的计算以及使用权重来混合(或熔合)不同的滤波的图像，所述不同的滤波的图像是通过利用不同的变换和子采样来处理所述图像而获得的。

给定这里所提供的本发明的教导，本领域和相关领域普通技术人员将设想到滤波器700(以及下面在这里描述的滤波器800和1300)的这些和其他的变型，同时维持本发明的精神。此外，本领域和相关领域普通技术人员将设想到滤波器700、800、1300可能最终具有可以是变换的相同的冗余集合或可以不是变换的相同的冗余集合的变换的集合A和B，其中滤波器700、800、1300使用冗余变换两个可能不同的集合A和B。以相同的方式，M可能等于或可能不等于N。

转向图8，由参考标号800一般地指示另一示例性的利用多格点信号变换的、位置自适应的基于稀疏性的画面滤波器。在图8的滤波器800中，变换的冗余集合被打包(pack)进单个块中。

下采样和样本重新布置模块802的输出端与前向(forward)变换模块(具有变换的冗余集合B)808的输入端信号通信地连接。下采样和样本重新布置模块804的输出端与前向变换模块(具有变换的冗余集合B)810的输入端信号通信地连接。

前向变换模块(具有变换的冗余集合A)806的输出端与去噪声系数模块812信号通信地连接。前向变换模块(具有变换的冗余集合B)808的输出端与去噪声系数模块814信号通信地连接。前向变换模块(具有变换的冗余集合B)810的输出端与去噪声系数模块816信号通信地连接。

去噪声系数模块812的输出端与计算影响每个像素的非零系数的数目的模块826的输入端、以及逆变换模块(具有变换的冗余集合A)818的输入端信号通信地连接。去噪声系数模块814的输出端与计算影响每个像素的非零系数的数目的模块830的输入端、以及逆变换模块(具有变换的冗余集合B)820的输入端信号通信地连接。去噪声系数模块816的输出端与计算影响每个像素的非零系数的数目的模块832的输入端、以及逆变换模块(具有变换的冗余集合B)822的输入端信号通信地连接。

逆变换模块(具有变换的冗余集合A)818的输出端与组合器模块836的第一输入端信号通信地连接。逆变换模块(具有变换的冗余集合B)820的输出端与上采样、样本重新布置和合并陪集模块824的第一输入端信号通信地连接。逆变换模块(具有变换的冗余集合B)822的输出端与上采样、样本重新布置和合并陪集模块824的第二输入端信号通信地连接。

计算影响用于每个变换的每个像素的非零系数的数目的模块830的输出端与上采样、样本重新布置和合并陪集模块828的第一输入端信号通信地连接。计算影响用于每个变换的每个像素的非零系数的数目的模块832的输出端与上采样、样本重新布置和合并陪集模块828的第二输入端信号通信地连接。

上采样、样本重新布置和合并陪集模块828的输出端与一般的组合权重计算模块834的第一输入端信号通信地连接。计算影响每个像素的非零系数的数目的826的输出端与一般的组合权重计算模块834的第二输入端信号通信地连接。一般的组合权重计算模块834的输出端与组合模块836的第二输入端信号通信地连接。

上采样、样本重新布置和合并陪集模块824的输出端与组合模块836的第三输入端信号通信地连接。

前向变换模块(具有变换的冗余集合A)806的输入端、下采样和样本重新布置模块802的输入端、下采样和样本重新布置模块804的输入端各自作为滤波器800的输入端，可用于接收输入图像。组合模块836的输出端作为滤波器的输出端，可用于提供输出图像。

图8的滤波器800相对图7的滤波器700提供了显著地更紧凑的算法实施方案，为了简洁性和清晰性而将画面的冗余表示中所涉及的不同的变换打包进单个框(box)中。应当理解，可以并行地或可以不并行地对变换的冗余集合中所包括的每个变换执行变换、去噪声和/或逆变换处理

应当理解，用于在组合权重计算之前，图7-5中所示的对画面数据进行滤波的各种处理分支可以被视作版本生成器，这是因为它们生成输入画面的不同版本。

如上所注明的，本发明关注用于在多格点基于稀疏性的滤波的基础上的环内去伪像滤波的方法和装置。

根据本发明的实施例，提出了一种高性能非线性滤波器，其减少由MPEG-4AVC标准中的量化步骤所引入的失真。在视觉和客观量度两者方面减少了失真。除了块伪像之外，所提出的伪像减少滤波器还减少其他类型的伪像，包括但不限于振铃、边缘上的几何失真、纹理毁坏等。

在实施例中，基于在要被滤波的画面的不同的子格点采样上的若干滤波步骤的加权组合、对解码的视频画面的去伪像而言使用高性能非线性环内滤波器来执行这样的伪像减少。通过对要被滤波的画面的格点采样的稀疏近似来进行一个或更多的滤波步骤。稀疏近似允许从噪声、失真和伪像中鲁棒地(robust)分离真实信号分量。这涉及在给定的变换域中去除不重要(insignificant)的信号分量。通过允许在画面的不同的子采样格点上执行稀疏估算，将变换一般化以便对更宽范围的信号特性和/或特征进行处理和/或建模。即，由于相比另一格点和/或给定的变换，可以在特定的格点上更好地滤波一些信号区域，所以依赖于信号和稀疏滤波技术来执行滤波的自适应。实际上，依赖于其中被施加变换的子采样格点，可以修改(例如可以利用五点(quincunx)采样将DCT变换的最终方向修改为对角而非垂直和水平)变换的分解的主方向(例如DCT中的垂直和水平)。最终权重组合步骤允许从最恰当的子格点采样和/或变换中自适应地选择最优滤波的数据。

通过格点子采样的变换进行的定向变换：

一般地，诸如离散余弦变换(DCT)之类的变换将信号分解为原函数(primitive)或基函数的和。依赖于所使用的变换，这些原函数或基函数具有不同的属性和结构特性。转向图9，由参考标号900一般地指示在具有8×8尺寸的离散余弦变换(DCT)中所包括的DCT基函数以及它们的形状。如同可以观察到的，基函数900看起来具有2个主结构定向(或主要方向)。存在大体上垂直定向的函数、存在大体上水平定向的函数、并且存在有些像两者的棋盘状(checkerboard)混合的函数。这些形状对于静止信号以及垂直形状和水平形状的信号分量的高效表示来说是恰当的。但是，具有定向属性的信号的部分不通过这样的变换被高效地表示。通常，像DCT的例子，大部分变换基函数具有有限种类的方向分量。

修改变换的分解的方向的一种方式是在数字图像的不同子采样中使用这样的变换。实际上，可以以像素的互补的子集(或陪集)来分解2D采样的图像。可以根据给定的采样图案来生成样本的这些陪集。可以建立子采样图案使得它们是定向的。可以使用由子采样图案所施加的这些定向与固定变换的组合来使变换的分解方向适配于一系列期望的方向。

在图像子采样的实施例中，可以使用整数格点子采样，其中可以借助非唯一(non-unique)生成器矩阵来表示采样格点。可以由以下的非唯一生成器矩阵来表示立方整数格点Z²的子格点，任何格点Λ：

$M_A=\left(\begin{array}{cc}{a}_1& b_1\\ a_2& b_2\end{array}\right)=\left(\begin{array}{c}{d}_1\\ d_2\end{array}\right),$其中a₁，a₂，b₁，b₂∈Z

由以上矩阵的行列式来给出互补陪集的数目。并且，d₁，d₂可以与2D坐标平面中的采样格点的主方向相关。转向图10A和10B，分别由参考标号1000和1050一般地指示可以应用本发明的、利用对应的格点采样矩阵的格点采样的例子。在图10A中，示出了五点格点采样。用黑色(填充)点示出与五点格点采样相关的两个陪集中的一个。通过沿x/y轴方向的1-转换来获得互补陪集。在图10B中，示出了另一方向(或几何)格点采样。用黑色和白色点来示出四个可能的陪集中的两个。箭头描绘格点采样的主方向。本领域和相关领域普通技术人员可以理解格点矩阵和格点采样上的主方向(箭头)之间的关系。

以这样的方式对准任何这样的采样格点中的每个陪集使得可以在下采样的矩形网格中完全地重新布置(例如旋转、收缩等)。这允许随后在格点子采样的信号上施加任何适配于矩形网格的变换(诸如2D DCT之类)。

格点分解、格点重新布置、2D变换和相应的逆操作集合的组合允许以任意定向实施2D信号变换。

用于定向自适应的滤波的多格点画面处理：

在实施例中，为画面的自适应的滤波提出了使用画面的至少两个采样。在实施例中，可以重新使用诸如DCT系数阈值处理之类的相同的滤波策略、并且为定向自适应的滤波而将所述相同的滤波策略一般化。

例如，所述至少两个格点采样/子采样中的一个可以是给定画面的原始采样网格(即没有画面的子采样)。在实施例中，所述至少两个采样中的另一个可以是所谓的“五点”格点子采样。这样的子采样由被放置在每隔一个像素的对角地对准的采样上的样本的2个陪集组成。

如图11、5和6所描绘，在实施例中，在本发明中使用至少两个格点采样/子采样的组合以进行自适应的滤波。

转向图11，由参考标号1100一般地指示利用多格点信号变换的位置自适应的、基于稀疏性的画面滤波的示例方法。图11的方法1100对应于在数字图像的一系列重新布置的整数格点子采样上的、变换的域中的基于稀疏性的滤波的应用。

方法1100包括开始块1105，其向功能块1110传递控制。功能块1110设置子格点图像分解的可能的族(family)的形状和数目，并且向循环限制块1115传递控制。循环限制块1115对于每个(子)格点族使用变量j来执行循环，并且向功能块1120传递控制。功能块1120根据子格点族j来下采样图像并且将图像分割为N个子格点(子格点的总数目依赖于每个族j)，并且向循环限制块1125传递控制。循环限制块1125对于每个子格点使用变量k(总量依赖于族j)来执行循环，并且向功能块1130传递控制。功能块1130(例如从布置A(j，k)到B)重新布置样本，并且向功能块1135传递控制。功能块1135选择对于给定的子格点族j允许使用哪些变换，并且向循环限制块1140传递控制。循环限制块1140对于每个所允许的变换(依赖于子格点的子格点族j而选择)执行循环，并且向功能块1145传递控制。功能块1145利用变换矩阵i执行变换，并且向功能块1150传递控制。功能块1150对系数去噪声，并且向功能块1155传递控制。功能块1155利用逆变换矩阵i执行逆变换，并且向循环限制块1160传递控制。循环限制块1160结束在变量i的每个值上的循环，并且向功能块1165传递控制。功能块1165(从布置B到A(j，k))重新布置样本，并且向循环限制块1170传递控制。循环限制块1170结束在变量k的每个值上的循环，并且向功能块1175传递控制。功能块1175根据子格点族j来上采样并且合并子格点，并且向循环限制块1180传递控制。循环限制块1180结束在变量j的每个值上的循环，并且向功能块1185传递控制。功能块1185组合去噪声的系数图像的不同的逆变换的版本(例如其局部自适应的加权和)，并且向结束块1199传递控制。

对于图11，可以看到在实施例中，通过使用变换的域滤波来生成一系列滤波的画面，所述变换的域滤波依次在画面的不同子采样中使用不同的变换。作为每个滤波的画面的局部自适应的加权和来计算最终滤波的图像。

在实施例中，通过2D DCT的所有可能的转换来形成被施加至数字图像的任何重新布置的整数格点子采样的变换的集合。这暗示对于用于块变换的画面的基于块的分区，总计存在4×4DCT的16个可能的转换。以相同的方式，8×8DCT的可能的转换的总数目将是64。可以在图12A-12D中看到这个例子。转向图12A-12D，分别由参考标号1210、1220、1230和1240来一般地指示图像的DCT变换的块划分的示例的可能的转换。图12A-12D分别示出了4×4DCT变换的16个可能的转换中的四个中的一个。例如可以使用一些填充(padding)或图像扩展来虚拟地(virtually)扩展比变换尺寸小的不完整的边界块。可以借助于填充或者某些种类的画面扩展来虚拟地扩展画面的边界处的比变换尺寸小的分区。这允许在所有图像块中使用相同的变换尺寸。图11指示在本例子中向每个子格点(本例子中的2个五点陪集中的每一个陪集)施加这样的转换的DCT的集合。

在实施例中，可以通过对每个格点子采样的每个转换变换的变换的系数进行阈值处理、选择和/或加权，来在变换阶段的核心处执行滤波处理。用于这样的目的的阈值可以依赖于、但不限于以下中的一项或多项：局部信号特性、用户选择、局部统计、全局统计、局部噪声、全局噪声、局部失真、全局失真、被预先指定为去除的信号分量的统计、以及被预先指定为去除的信号分量的特性。在阈值处理步骤之后，对每个变换的和/或转换的格点子采样进行逆变换。互补陪集的每个集合被旋转回它们原始的采样方案、被上采样并且被合并以便恢复原始画面的原始采样网格。在向画面的原始采样直接施加变换的特定情况中，不需要旋转、上采样和采样合并。

用于熔合去伪像的画面估算的多格点多变换集合的权重生成：

最后，根据图11，通过对所有不同的滤波的画面的加权相加，将它们混合为一个画面。在一个实施例中，这是按以下方式执行的。设I’_i为通过阈值处理而滤波的不同的图像中的每一个图像，其中每个I’_i可以对应于在滤波处理期间可能经历或可能未经历格点子采样的、画面上的DCT(或MPEG-4AVC标准整数变换)的某个转换的阈值处理之后的重构的画面中的任何画面。设W_i为权重的画面，其中每个像素包括与I’_i中其的同位(co-located)像素相关联的权重。其后获得如下的最终估算I’_final：

${I^{\prime }}_{\mathrm{final}}(x,y)=\underset{i}{\Sigma }{I_i}^{\prime }(x,y)·W_i(x,y)$

其中x和y表示空间坐标。

在实施例中，可以以如此方式计算W_i(x，y)，使得在以上方程内使用W_i(x，y)时，在每个位置，在变换的域中具有局部更稀疏表示的I’_i(x，y)具有更大的权重。这来自以下假定：从阈值处理的更稀疏的变换获得的I’_i(x，y)包括最低量的噪声/失真。在实施例中，对于每个I’_i(x，y)(从非子采样滤波获得、并且用于基于格点子采样的滤波的那些)生成W_i(x，y)矩阵。借助于为每个滤波后的子采样图像生成独立的W_i，coset(j)(x，y)(即在旋转、上采样和合并的过程之前)，来获得对应于已经经历了格点子采样过程的I’_i(x，y)的W_i(x，y)，并且其后以与从I’_i(x，y)的互补子采样后的分量重组(recompose)I’_i(x，y)的方式相同的方式来旋转、上采样和合并对应于I’_i(x，y)的不同的W_i，coset(j)(x，y)。因而，在一个例子中，已经在滤波处理期间经历了五点子采样的每个滤波后的图像将具有2个权重子采样的矩阵。这些权重子采样的矩阵可以被旋转、上采样和合并为将与其对应的I’_i(x，y)一起使用的单个权重矩阵。

在实施例中，以与用于W_i(x，y)的方式相同的方式来执行每个W_i，coset(j)(x，y)的生成。向每个像素分配从包括这样的像素的块变换的非零系数的量导出的权重。在一个例子中，可对于每个像素计算W_i，coset(j)(x，y)(以及W_i(x，y))的权重，使得它们与包括每个像素的块变换内的非零系数的量成反比。根据该方法，W_i(x，y)中的权重具有与用于生成I’_i(x，y)的变换相同的块结构。

用于采样/子采样格点的变换集合选择：

在其中在基于稀疏性的去伪像环内滤波器内使用DCT或整数MPEG-4AVC标准块变换的实施例中，在滤波步骤中使用的变换接近地类似(或等于)对MPEG-4AVC标准中的预测步骤之后的残余信号进行编码使用的变换。因为被引入至编码的信号中的量化误差有时处于在可用于重构的系数的数目的减少的形式之下，所以这种系数的减少迷惑现有技术第一方法中的权重生成中所执行的信号稀疏性的量度。这使得量化噪声影响权重生成，然后所述权重生成影响某些位置中的最佳I’_i的恰当加权，这使得在滤波之后一些块伪像仍然可见。

如上所陈述的，与基于稀疏性的滤波相关的一个假定是：真实信号具有变换和子采样格点中的至少一个中的稀疏的表示/近似，并且信号的伪像分量不具有变换和子采样格点中的任一个中的稀疏的表示/近似。换言之，预期可以在基函数的子空间内很好地近似现实(期望的信号)，而伪像信号被大部分从该子空间中排除、或以低出现率(presence)而存在。

在使用用于滤波和用于残余编码的相同的变换族时，对于与编码变换块对准或基本对准(例如x和y方向中的至少一个中的1个像素的未对准)的滤波变换块来说，可能发生以下情况：信号中所引入的量化噪声和/或伪像主要落入与信号自身相同的基函数的子空间中。在该情况中，去噪声算法更容易混淆信号和噪声(即对于信号，噪声不是独立且相等地分布(i.i.d.)，并且通常不能够分离他们。让我们考虑如下使用正交归一化变换(即，在该情况中MPEG-4AVC整数变换)的、依据预测I_pred(x，y)和变换的残余信号I_res(x，y)＝I_orig(x，y)-I_pred(x，y)的原始信号I_orig(x，y)的MPEG-4AVC标准的以下表示：

$I_{\mathrm{orig}}(x,y)=I_{\mathrm{pred}}(x,y)+\underset{j\in J}{\Sigma }<I_{\mathrm{res}}(x,y),g_j(x,y)>·g_j(x,y)$

其中g_j(x，y)：j∈J是变换的基函数。

在量化步骤中，将变换的系数<I_res(x，y)，g_j(x，y)>量化到受限的值的集合，一些系数被简单地归零。在这样的情况中，编码的信号如下：

$I(x,y)=I_{\mathrm{pred}}(x,y)+\underset{j\in K}{\Sigma }\mathrm{quant}(<I_{\mathrm{res}}(x,y),g_j(x,y)>)·g_j(x,y)$

其中quant(·)表示量化操作，并且j∈K指示具有非零系数的基函数的集合可能比不施加量化(即card(K)≤card(J)，其中card(·)指示基数(cardinality)的量度)的情况要小。在该情况中，失真噪声如下：

$\mathrm{Artifact}\_\mathrm{signal}(x,y)=-\underset{j\in J}{\Sigma }(<I_{\mathrm{res}}(x,y),g_j(x,y)>-\mathrm{quant}(<I_{\mathrm{res}}(x,y),g_j(x,y)>))·g_j(x,y)$

即I(x，y)＝I_orig(x，y)+Artifact_signal(x，y)。

例如，由量化导致的残余的非零系数的数目的减少还影响I(x，y)中的非零系数的数目，导致具有比I_orig(x，y)更稀疏的表示的信号。在应用去噪声算法时，具有与由编码变换使用的块划分的更高的对准度的非子采样格点中的变换将很可能发现它们所表示的信号在系数方面更紧凑。根据权重生成方法，如上所述，将优选从那些“对准”的变换产生的滤波的画面，并且伪像将保留在信号中。由于使用“对准的”或有效(significant)“对准的”(例如x和y方向中的至少一个中的1个像素的未对准)的这样的滤波步骤不能够从伪像信号中分离“实际”信号，因此这是一个问题。

基于此，应当使在每个采样格点中使用的变换集合适配于使得不存在与编码变换“对准”或有效“对准”的滤波变换。在实施例中，这影响在非子采样格点中所使用的变换(即对失真画面直接施加转换后的变换以进行滤波)。

在实施例中，我们考虑为了滤波的目的，DCT(和/或MPEG-4AVC标准整数变换)的各种转换(或转换集合)的使用。在使用4×4变换时，可以将16个可能的转换视作所使用的矩阵集合的一部分。如果我们假定转换(0，0)是用于对残余进行编码的、MPEG-4AVC标准变换步骤的块分区，那么，例如，可能必须去除与块轴中的至少一个对准的那些转换。在实施例中，从画面的非子采样格点上的所使用的变换的集合中去除作为DCT(和/或MPEG-4AVC标准整数变换)的以下转换的那些变换：(0，0)、(0，1)、(0，2)、(0，3)、(1，0)、(2，0)和(3，0)。

这意味着，在本例子中实际仅仅使用至少沿块轴的两者被转换的那些变换的转换。例如，可以从图12A-12D中所示的可能的转换的集合中获得所述转换，将仅仅考虑第3个(左下方，图12C中所示)。

在实施例中，对于五点采样上的变换，考虑DCT(或MPEG-4AVC标准整数变换)的所有可能的转换。

环内滤波器自适应：

可以嵌入这里描述的所提出的去伪像算法以供在环内去伪像滤波器内使用。可以在混合视频编码器/解码器的循环、或编码器和/或解码器的分离实施方案内嵌入所提出的环内去伪像滤波器。所述视频编码器/解码器例如可以是MPEG-4AVC标准视频编码器/解码器。图5和6示出了示例实施例，其中环内去伪像滤波器已经取代了去块滤波器(见图3和4以进行比较)而被分别插入在MPEG-4AVC标准编码器和解码器内。

转向图13，由参考标号1300一般地指示示例的在多格点基于稀疏性的滤波的基础上的环内去伪像滤波器。

滤波器1300包括自适应基于稀疏性的滤波器(利用多格点信号变换)1310，其具有与像素掩蔽(masking)模块1320的第一输入端信号通信地连接的输出端。阈值生成器1330的输出端与自适应的基于稀疏性的滤波器1310的第一输入端信号通信地连接。

自适应的基于稀疏性的滤波器1310的第二输入端以及像素掩蔽模块1320的第二输入端作为滤波器1300的输入端，可用于接收输入画面。阈值生成器1330的输入端、自适应的基于稀疏性的滤波器的1310的第三输入端、以及像素掩蔽模块1320的第三输入端作为滤波器1300的输入端，可用于接收控制数据。像素掩蔽模块1320的输出端作为滤波器1300的输出端，可用于输出去伪像的画面。

阈值生成器1330自适应地计算每个块变换(例如每个转换和/或格点子采样中的每个块))的阈值。这些阈值依赖于以下中的至少一项：块质量参数(例如使用MPEG-4AVC标准中的量化参数(QP))、块模式、预测数据(帧内预测模式、运动数据等)、变换系数、局部信号结构和/或局部信号统计。在实施例中，可以局部地依赖于QP、以及依赖局部滤波强度参数(类似于MPEG-4AVC标准的去块滤波强度)产生每个块变换的去伪像的阈值。

像素掩蔽模块1320依赖于以下中的至少一项的函数：块质量参数(例如MPEG-4AVC标准中的QP)、块模式、预测数据(帧内预测模式、运动数据等)、变换系数、局部信号结构和/或局部信号统计，所述像素掩蔽模块1320决定是否将输出画面的某个像素保持不被滤波(因而使用原始的预滤波的像素或滤波的像素)。这在不发送变换系数的编码模式中、或在不期望去伪像滤波的编码模式中有特殊的用途。这样的模式的例子是MPEG-4AVC标准中的跳过(SKIP)模式。

阈值生成器1330和像素掩蔽模块1320两者使用来自分别在图5和6中所示的编码控制单元505和解码控制单元605的信息。

如图5和6中所示，修改编码控制单元505和解码控制单元605以便容纳所提出的环内去伪像滤波器的控制。这对在块层面语法和高级语法的可能要求上产生后果，以为了最高效的操作而设置、配置和适配环内去伪像滤波器。实际上，可以为了编码视频序列而接通或切断去伪像滤波器。并且，可能期望若干定制的设置以便在它的默认功能上具备某些控制。为此，可以在不同层面处定义若干语法字段，所述不同层面包括但不限于以下层面：序列参数层面、画面参数层面、片层面、和/或块层面。以下，利用在表1-3中所描述的若干示例块和/或高语法层面字段对应的编码结构而对所述示例块和/或高语法层面字段进行了披露。

表1示出了用于在多格点基于稀疏性的滤波的基础上的环内去伪像滤波器的示例的画面参数集语法数据。表2示出了用于在多格点基于稀疏性的滤波的基础上的环内去伪像滤波器的示例的片首部语法数据。表3示出了用于在多格点基于稀疏性的滤波的基础上的环内去伪像滤波器的示例的宏块语法数据。

sparse_filter_control_present_flag等于1指定了在片首部中存在控制稀疏去噪声滤波器的特性的语法元素集合。sparse_filter_control_present_flag等于0，它指定了在片首部中不存在控制稀疏去噪声滤波器的特性的语法元素集合，并且它们的所推断的值有效。

enable_selection_of_sparse_threshold、

enable_selection_of_transform_type、

enable_selection_of_adaptive_weighting_type、

enable_selection_of_set_of_subsampling_lattices、

enable_selection_of_transform_sets为例如可以位于序列参数集和/或画面参数集层面的高级语法值。在实施例中，这些值使得能够在片层面处对于每个格点改变阈值、变换类型、加权类型、子采样格点的集合和/或变换集合的默认值的可能性。

disable_sparse_filter_flag指定了是否应当禁用稀疏去噪声滤波器的操作。在片首部中不存在disable_sparse_filter_flag时，将disable_sparse_filter_flag推断为等于0

sparse_threshold指定了在稀疏去噪声中使用的阈值。在片首部中不存在sparse_threshold时，基于所使用的片QP来导出默认值。

sparse_transform_type指定了在稀疏去噪声中所使用的变换的类型。sparse_transform_type等于0指定使用4×4变换。sparse_transform_type等于1指定使用8×8变换。

adaptive_weighting_type指定了在稀疏去噪声中所使用的加权的类型。例如，adaptive_weighting_type等于0可以指定使用稀疏性加权。例如，adaptive_weighting_type等于1可以指定使用平均加权。

set_of_subsampling_lattices指定了用于在画面的变换之前分解画面的子采样格点有多少以及是哪些。

enable_macroblock_threshold_adaptation_flag指定了是否应当在宏块层面处校正和修改阈值。

transform_set_type[i]在必要时指定了在每个格点采样中所使用的变换集合。例如，在实施例中，如果需要与默认不同的设置，则它可以用于编码在每个格点采样中环内滤波所使用的变换转换的集合。

sparse_threshold_delta指定了要在基本上与宏块重叠(例如宏块的至少50％)的块变换中使用的新阈值。可以在所述新阈值的完整(full)值、与以前的宏块阈值的差、和/或在与默认阈值的差方面来指定所述新阈值，可以依赖于QP、所编码的变换系数和/或块编码模式来建立所述默认阈值。

表1

  pic_parameter_set_rbsp()(  C  描述符  ...     sparse_filter_control_present_flag  1  u(1)  if(sparse_filter_control_present_flag){      enable_selection_of_sparse_threshold  1  u(1)      enable_selection_of_transform_type  1  u(1)      enable_aelection_of_adaptive_weighting_type  1  u(1)      enable_selection_of_transform_sets  1  u(1)      enable_selection_of_set_of_subsampling_lattlces  1  u(1)  }  ...  }

表2

  slice_header(){  C  描述符  ...  if(sparse_filter_control_present_flag){       disable_sparse_filter_flag  2  u(1)       if(disable_sparse_filter_flag l＝1){         if(enable_selection_of_sparse_threshold)sparse_threshold  2  u(v)         if(enable_selection_of_transform_type)sparse_transform_type  2  u(v)         if(enable_selection_of_adaptive_weighting_type) adaptive weighting type2u(v)

  slice_header(){  C  描述符         if(enable_selection_of_set_of_subsampling_lattlces){               set_of_subsampling_latticea  2  u(v)         }         if(enable_selection_of_transform_sets){              for(i＝0；1＜Number_of_subsampling_lattices；i++){                  transform_set_type[i]  2  u(v)              }         }         if(enable_selection_of_set_of_subsampling_lattices){              enable_macroblock_threshold_adaptation_flag  2  u(1)         }      }  }  ...  }

表3

  macroblock_data(){  C  描述符  ...     if(enable_macroblock_threshold_adaptation_flag＝＝1){        sparse_threshold_delta  2  u(v)     }

  macroblock_data(){  C  描述符  ...  }

现在将给出对本发明的许多伴随的优势/特征中的一些的描述，所述优势/特征中的一些已经在上面被提及。例如，一个优势/特征为一种具有用于编码画面的画面数据的编码器的装置。该编码器包括环内去伪像滤波器，其用于对画面数据进行去伪像以输出画面的至少两个滤波的版本的自适应的加权组合。所述画面数据包括所述画面的至少一个子采样。

另一优势/特征为如上所述的具备编码器的装置，其中所述编码器具有所述环内去伪像滤波器，所述画面数据被变换为系数，并且所述环内去伪像滤波器基于信号稀疏性在变换的域中对所述系数进行滤波。

又一优势/特征为如上所述的具备编码器的装置，所述编码器具有上述基于信号稀疏性在变换的域中对所述系数进行滤波的环内去伪像滤波器，其中使用至少一个阈值来在变换的域中对所述系数进行滤波，所述至少一个阈值局部自适应地依赖于以下中的至少一项：用户选择、局部信号特性、全局信号特性、局部信号统计、全局信号统计、局部失真、全局失真、局部噪声、全局噪声、被预先指定为去除的信号分量的统计、被预先指定为去除的信号分量的特性、块编码模式、以及系数。

又一优势/特征为如上所述的具备编码器的装置，所述编码器具有所述环内去伪像滤波器，其中依赖于以下中的至少一项而对于所述编码器选择性地局部地开启或禁用所述环内去伪像滤波器的应用：用户选择、局部信号特性、全局信号特性、局部信号统计、全局信号统计、局部失真、全局失真、局部噪声、全局噪声、被预先指定为去除的信号分量的统计、被预先指定为去除的信号分量的特性、块编码模式、以及系数。

此外，另一优势/特征为如上所述的具备编码器的装置，所述编码器具有所述环内去伪像滤波器，其中使用高级语法元素来选择性地开启或禁用所述环内去伪像滤波器的应用，并且其中所述环内去伪像滤波器经受所述编码器的适配、修改、开启、和禁用中的至少一项，并且其中使用高级语法元素和块层面语法元素中的至少一个来向对应的解码器发信号通知所述适配、修改、开启、和禁用。

进一步地，另一优势/特征为如上所述的具备编码器的装置，所述编码器具有所述环内去伪像滤波器，其中所述环内去伪像滤波器包括版本生成器、权重计算器和组合器。所述版本生成器用于生成画面的至少两个滤波的版本。所述权重计算器用于对于画面的所述至少两个滤波的版本的每一个计算权重。所述组合器用于自适应地计算画面的所述至少两个滤波的版本的自适应的加权组合。

可以由相关领域中的普通技术人员基于这里的教导而容易地确定本发明的这些和其他特征和优势。应当理解，可以以各种形式的硬件、软件、固件、专用处理器或其组合来实施本发明的教导。

最优选地，作为硬件和软件的组合来实施本发明的教导。此外，优选地将所述软件作为在程序存储单元上被有形体现的应用程序来实施。所述应用程序可以被上载至包括任何合适的架构的机器，并且由所述该机器执行。优选地，在具有诸如一个或更多的中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输入(“I/O”)接口之类的硬件的计算机平台上实施所述机器。所述计算机平台还可以包括操作系统和微指令代码。在这里所描述的各种过程和功能可以是由CPU执行的微指令代码的一部分、或应用程序的一部分、或其任何组合。另外，诸如附加的数据存储单元和打印单元之类的各种其他外设单元可以与该计算机平台连接。

应当进一步理解，因为优选地以软件来实施在附图中所描绘的系统构成组件和方法中的一些，所以依赖于本发明被编程的方式，系统组件或处理功能块之间的实际连接可以是不同的。给定这里的教导，相关领域普通技术人员将能够设想到本发明的这些和类似的实施方案或配置。

虽然在这里已经参考附图描述了阐释性的实施例，但应当理解，本发明不限于这些精确的实施例，而相关领域普通技术人员可以在其中实现各种改变和修改，而不脱离本发明的范围或精神。意图将所有这样的改变和修改包括在如在所附权利要求中所提出的本发明的范围内。