用于视频压缩的高性能环路滤波器

摘要

公开了用于改进客观及主观视频编码性能的滤波器和方法。滤波器包括：参数估计单元，确定基于导频帧的平均值系数和方差系数；滤波器单元，接收视频编码过程中的量化残差系数，根据所述量化残差系数和所确定出的平均值与方差来修复编码系数；反整数余弦转换(ICT)单元，将所述反整数余弦转换应用于所修复的编码系数以获得过滤帧；信息率失真优化单元，确定四叉树块划分指示；以及自适应块选择单元，根据四叉树块划分指示选择最终块，最终块用于形成过滤帧。

说明书

技术领域

本申请涉及用于视频压缩的高性能环路滤波器。

背景技术

由于图像和视频的数据量较大，所以在传输或存储时，总是将它 们用压缩的形式表示。基于块的转换编码被广泛用于图像压缩方法。 首先，采用8阶DCT(order-8DCT)来压缩信号能量，然后，对转换 系数应用量化处理。基于块的转换编码还广泛用于视频数据，该视频 数据先被帧内/帧间预测压缩以进一步压缩信号能量。然后，对视频信 号的残差转换系数执行量化。这样的视频编码方法常由于其使用转换 编码和预测编码而被称为混合视频编码。大多数视频编码标准(包括 H.264/AVC)采用混合视频编码。在图像和视频编码系统中，量化是 导致编码失真(例如块效应和环状假影)的主源。

为了减少混合视频编码中的失真，采用两种主要途径将去块滤波 器(deblocking filter)集成到视频编解码器。去块滤波器可用作后处 理滤波器或环路滤波器。后处理滤波器仅在编码环之外的显示缓冲上 运行，因此在标准化过程中不是规范的。在编码环中运行的环路滤波 器和过滤帧被用作后续编码帧的参考。编码和解码中使用的环路滤波 器需要在标准化过程中进行指定。

图l示出H.264/AVC编码器的方块图。在图中示出了用于编码的 输入视频帧F_n，并且在宏块单元中对该F_n进行处理。通过运动估计模 块100将F_n与参考帧(例如先前的编码帧F′_n-1)进行比较，然后通过 运动补偿单元200和帧内预测单元300的常规处理生成运动补偿预测 P。

将P从当前宏块中减去以产生残差块，该残差块由转换单元400 转换，然后由量化单元500量化。量化的转换系数是由熵编码器600 编码的熵。单元700反量化后获得量化的残差系数。然后，系数由反 转换单元800反转换，以产生量化的残差块。运动补偿预测P被添加 至量化的残差块来创建重构快。环路滤波器900被用以减少阻断失真 的影响，然后根据一系列重构块创建重构参考帧。

一般而言，使用环路滤波器可获得比使用后处理滤波器更好的性 能。

初期的环路滤波器使用基于增强的方式来减少编码失真。初期的 环路滤波器在块边界附近应用低通滤波器。在本领域中，H.264/AVC 标准建议并采用去块环路滤波器(DLF)。去块环路滤波器(DLF)通 过执行围绕块边界的样本分析来运行，并调整每个块边界处的低通滤 波器的滤波强度。然而，这些基于技术的增强不会导致显著的主观视 觉质量或客观的峰值信噪比(PSNR)的改进。

还建议了基于修复的技术来优化地抑制量化噪声。优化的线性维 纳滤波器(linear Wiener filter)是众所周知的抑制噪声的技术。线性 维纳滤波器被建议如后处理滤波器或环路滤波器那样来减少视频中的 量化噪声。可通过基于修复的技术来显著地提高客观质量。维纳滤波 需要原始信号和噪声的自相关及交叉相关的知识，所以滤波器系数需 要以视频编码方案的比特流进行传递。在解码器侧，从比特流提取滤 波器系数来构建优化的维纳滤波器。由于需要大量比特数来表示滤波 器系数，所以一个优化的自适应环路滤波器(ALF)仅用于一帧。ALF 可整体地减少每帧的平均失真，但ALF不适合帧内的不同局部区域。

已开发出了虑及帧内不同局部区域的多种自适应方法。三维块匹 配(BM3D)方法使用维纳滤波器阈值来对通过块匹配来分组的3D离 散余弦转换(DCT)系数进行修复，该方法还具有在图像去噪上所获 得的优越性能。在Jun Xu、Yunfei Zheng、Peng Yin、Joel sole、Cristina  Gomila和Dapeng Wu的“Sparsity-based Deartifacting Filtering in Video  Compression(用于压缩视频的基于稀疏性的假像滤波)”，IEEE Int. Conf.Image Process(ICIP2009)，Cairo，Egypt，Nov.2009中示出的 BM3D方法仅在编码帧内作为后处理工具有良好作用。已发现了使用 BM3D方法作为用于编码帧内和编码帧间的环路滤波器的有效方式。

还建议了基于块的自适应方法。代表性的方法是基于四叉树 (quadtree)的自适应环路滤波器，由T.Chujoh、N.Wada和G.Yasuda 在“Quadtree-based adaptive loop filter(基于四叉树的自适应环路滤波 器)”，ITU-TSG16 Contribution，C181，Geneva，Jan.2009文献进行了描 述，基于四叉树的自适应环路滤波器是关键技术区域(KTA)软件中 的编码效率改进工具之一。基于四叉树的自适应环路滤波器(QALF) 允许将块过滤或不过滤，并使用四叉树表示边信息。KTA软件中的另 一工具提供了进一步的改进，该工具被称为带有去块环路滤波器的基 于四叉树的自适应环路滤波器(QALF+DLF)。该方案允许块被ALF 或DLF过滤。边信息还可使用四叉树来表示。该方案在目标和视觉的 质量改进上实现了现有技术的性能。然而，基于块的方法不完全捕获 非均匀帧的局部统计。

Non-Local Kuan(NLK)滤波器基于最小均方误差(MMSE)修 复来设计。这在以下文献中进行了描述：Renqi Zhang、Wanli Ouyang 和Wai-kuen Cham的“Image Postprocessing by Non-local Kuan’s Filter (Non-Local Kuan滤波器进行的图像后处理)”，Journal of Visual  Communication and Image Representation，Elsevier。这些滤波器通过捕 获图像中的局部自相似特性来工作。基于NLK的滤波器建议了两种图 像后处理方法(即，DNLK和OCDNLK滤波器的方法)。这两种方法 均使用双层的滤波处理。OCDNLK滤波器结合了过完备 (overcomplete)转换和DNLK滤波器的优点。它们都在图像后处理 方面具有现有技术水准的性能。

发明内容

一方面，本申请公开了一种视频环路滤波器，其包括：

参数估计单元，确定基于导频帧的平均值系数和方差系数；

滤波器单元，接收视频编码过程中的量化残差系数，并根据所述 量化残差系数和所确定出的平均值与方差来修复系数；以及

反整数余弦转换(ICT)单元，对所修复的编码系数执行反整数 余弦转换以获得过滤帧。

另一方面，本申请公开了一种用于改进视频编码性能的方法，其 包括：

确定基于导频帧的平均值系数和方差系数；

在视频编码过程中检索量化残差系数；

根据所述量化残差系数以及确定出的平均值和方差来修复系数； 以及

对所修复的编码系数执行反整数余弦转换以获得过滤帧。

附图说明

图1示出了现有技术中的H.264/AVC编码器；

图2示出了用于现有技术的图像中块的移块表示；

图3示出了根据现有技术的DNLK滤波器的方块图；

图4示出了根据本申请一个实施方式的NLK环路滤波器的方块 图；

图5示出了获得残差块的操作；

图6示出了四叉树块划分示例；

图7示出了根据本申请一个实施方式的基于四叉树的NLK (QNLK)滤波器的方块图；

图8示出了用于CIF序列Carphone的I、P、B编码帧的基于四叉 树的块划分；

图9示出了用于编码序列Foreman的R-D曲线；

图10示出了用于编码序列Akiyo的R-D曲线；以及

图11和图12分别示出了用于Carphone和Football序列的视觉质 量比较实验结果。

具体实施方式

下面参照附图对本发明的实施方式进行描述，但这些附图仅用于 说明目的而不是对本发明的限制。

为了易于理解本中请的实施方式，下面首先对Non-Local Kuan (NLK)滤波器的原理进行描述。

设B_m，n为帧内第m块的行和第n块的列处的M×M块，为相 对于块B_m，n在水平方向具有k移位并在垂直方向具有l移位的块。图2 分别给出当k＝-1，l＝-1和k＝1，l＝0时的两个示例。基于块的转换应用在 每个移位块上。因此，对于B_m，n中每个量化系数y₀，其相邻系数y_i， i＝1，2，...，k可从移位块中获得。

考虑噪声模型y＝x+n，其中向量n表示噪声，向量y包含量化系 数y₀和来自移位块的相邻系数y_i，i＝1，2，...，K，向量x包含对应的原始系 数x₀和x_i，i＝1，2，...，K。根据线性最小均方误差(LMMSE)估计，可以 获得

${\hat{x}}_{\mathrm{LMMSE}}={({\hat{x}}_0,{\hat{x}}_1,...,{\hat{x}}_K)}^T=E\left[x\right]+C_{\mathrm{xy}}{C}_y^{-1}(y-E[x\left]\right),---\left(1\right)$

其中，E[x]是x的预期值，C_xy是x与y之间的交叉协方差，是信号 y的反自协方差。

根据现有的假设，即原始系数x与量化噪声n不相关的情况下， LMMSE滤波器成为点式(point-wise)NLK滤波器：

${\hat{x}}_0={\bar{x}}_0+\frac{{\sigma }_{x_0}^2}{{\sigma }_{x_0}^2+{\sigma }_{n_0}^2}(y_0-{\bar{x}}_0)---\left(2\right)$

因此，滤波器不是对中的每个元素进行计算，而是仅对进 行计算，是量化系数y₀的LMMSE估计。均匀分布的量化噪声模型 被多种方法广泛使用，所以量化系数y₀的噪声方差可从如下所示的 具体量化步骤Q₀中确定：

${\sigma }_{n_0}^2={Q_0}^2/12.---\left(3\right)$

通过non-local技术估计的平均量和方差分别如等式(4)和 (5)中所示：

${\bar{x}}_{m,n}(u,v)=\underset{k=-L}{\overset{L}{\Sigma }}\underset{l=-L}{\overset{L}{\Sigma }}{w}_{m,n}^{k,l}{x}_{m,n}^{k,l}(u,v)---\left(4\right)$

${\sigma }_{x_{m,n}(u,v)}^2=\underset{k=-L}{\overset{L}{\Sigma }}\underset{l=-L}{\overset{L}{\Sigma }}{w}_{m,n}^{k,l}{[x_{m,n}^{k,l}(u,v)-{\bar{x}}_{m,n}(u,v)]}^2.---\left(5\right)$

权重被定义为：

$w_{m,n}^{k,l}=\frac{1}{Z_{m,n}}\exp (-\frac{\underset{u=0}{\overset{M-1}{\Sigma }}\underset{v=0}{\overset{M-1}{\Sigma }}{|x_{m,n}^{k,l}(u,v)-x_{m,n}(u,v)|}^2}{M\times M\times h^2}).---\left(6\right)$

其中，x_m，n(u，v)和是图2所示的M×M块B_m，n和的转换系数； u和v表示转换频带，并且u，v＝0，...，M-1；h是控制指数函数衰减的参 数，Z_m，n是归一化因子。较大的欧几里得距离表示较小的权重

图3示出包括两个NLK滤波器的双Non-Local Kuan(DNLK)滤 波器的方块图。NLK滤波器的性能依赖于所估计的参数、平均值和方 差的准确性。用于NLK滤波器的准确参数可从原始图像获得，但原始 图像不可用。在DNLK滤波器中，在第一估计单元301中对编码参数、 平均值和方差进行估计，然后由第一NLK滤波器302进行校正。在下 文中，用于获得编码参数、平均值和方差的校正图像被称为“试验图 像”。在第二估计单元304中，试验图像没有被用于估计参数，然后在 第二NLK滤波器303中进行修复处理。在图像离散余弦转换(IDCT) 单元305中应用IDCT处理和修复系数，从而形成最终图像。

相同的原理可用于视频数据。在上文中，在第一NLK滤波器之后 从校正帧获得导频帧。有许多视频环路滤波器方法，例如背景技术中 示出的ALF、QALF、QALF+DLF，其具有优越的性能而不需要精确 的统计参数。这些方法中的任何方法可用于获得用于NLK滤波器的导 频帧。结果表明，使用QALF+DLF来生成导频帧产生了最佳性能。在 下文中，导频帧指的是使用QALF+DLF环路滤波器方法编码的帧。

实施方式1

图4示出根据本申请第一实施方式的滤波器100的方块图，在本 申请中，滤波器可指NLK环路滤波器。如图4所示，NLK环路滤波 器100包括参数估计单元10、NLK滤波器单元20和反ICT单元30。

参数估计单元10配置为接收导频帧，然后分别通过等式(4)和 (5)根据导频帧的块确定平均值和方差图5示出获得导频帧 中的当前残差块以及其转向残差块的运算，其中，P_m，n是与B_m，n相对应 的预测块。R_m，n、是残差块。

如上所述，使用QALF+DLF环路滤波器方法从编码过程中重新获 得导频帧。

NLK滤波器单元20配置为接收每个量化残差系数y₀。如图1所 示，在编码过程中获得量化残差系数，这已在上文中进行了讨论。特 别地，在由编码器中的单元700进行反量化之后获得量化残差系数。 在解码器的情况下，来自编码器600的熵编码系数与边信息一同被传 递至解码器，其中，编码系数被熵解码，然后被反量化以获得量化残 差系数。

此外，NLK滤波器单元20接收估计的平均值和方差NLK 滤波器单元20进行运算以根据每个接收到的系数y₀、平均值和方差 通过等式(2)所列出的规则对每个系数进行修复。

然后，反ICT单元30向修复后的系数执行反整数余弦转换(ICT)， 从而获得经过滤的帧。

在该实施方式中，NLK滤波器单元20可由OCNLK滤波器单元 代替，OCNLK滤波器单元通过如现有技术中建议的OCNLK来运行。

根据该实施方式，环路滤波器方法QALF+DLF能够获得导频帧， 然后直接使用NLK和OCNLK环路滤波器来修复量化残差系数。表I 示出相同比特率下的一些编码的CIF序列的平均PSNR改进(ΔPSNR)。 采取H.264/AVC方案与去块环路滤波器ON作为基准测试，OCNLK 环路滤波器对于一些测试序列表现较好。但NLK环路滤波器对所有测 试序列均失效。

表1：NLK和OCNLK环路滤波器的实验结果，用于基准测试的具有DLFON的H.264/AVC 方案

在本申请中，基于块的技术应用于NLK和OCNLK环路滤波器以 在每帧中选择块。对于未被选择的块，则适用QALF+DLF结果。通过 NLK或OCNLK滤波器使成为经过滤的帧中的块，通过QALF+DLF 使f_m，n成为导频帧中的块而无需NLK滤波器。因此，块控制信息I_m，n 需要确定当前的块是否使用或f_m，n。块控制信息I_m，n在编码器中被 编码并被传递至解码器。需要考虑块控制信息I_m，n和当前块失真的信 息率。四叉树结构常用于将图像分解为若干空间区域以自适应地识别 图像中的不同类型。所以运行四叉树结构的信息率失真优化来传递块 控制信息I_m，n。

实施方式2

四叉树为树形数据结构，其中，每个内部节点准确地具有四个子 节点。四叉树通常用于四等分地分割二维空间。图6示出四叉树块划 分示例。如下文所述的基于四叉树的块划分指示意味着每块的NLK或 OCNLK滤波器开或关。灰色的块被选为使用根据本申请的实施方式 的滤波器，其它块没有被过滤。这些块控制由上下文的自适应二进制 算术编码(CABAC)编码为边信息(side information)并传递至解码 器。块的大小可以是4、8、16、32、64和128。然后，解码器确定在 传递的块控制被解码之后是否使用建议的滤波器。

图7示出根据本申请第二实施方式的滤波器200的方块图，滤波 器200可以是基于四叉树的NLK或OCNLK环路滤波器(QNLK或 QOCNLK)。如图7所示，滤波器200包括参数估计单元10、NLK滤 波器单元20、反ICT单元30、信息率失真优化单元40和自适应块选 择单元50。

单元10、20和30与第一实施方式中所述的那些单元等同，此处 省略其详细说明。信息率失真优化单元40配置成从反ICT单元30接 收过滤帧。单元40还配置成通过不具有NLK或OCNLK过滤的 QALF+DLF获得的导频帧。然后，对于过滤帧中的每个M×M块以 及导频帧中的每个块f_m，n，四叉树块划分I_m，n通过信息率失真度量根据 下述等式(7)来确定。

J＝D+λR，         (7)

其中J为信息率失真成本，D为处理帧与原始帧之间的失真，R为用 于块控制边信息的比特，λ为用于D和R的拉格朗日缩放因子。四叉 树块划分I_m，n通过将信息率失真成本J最小化来确定。

基于所确定的四叉树块划分I_m，n，自适应块选择单元50根据下列 等式(8)从和f_m，n选择块作为每帧中的最终块p_m，n，然后获得最终 帧。

$p_{m,n}={\hat{f}}_{m,n}\times I_{m,n}+f_{m,n}\times (1-I_{m,n}).---\left(8\right)$

图8示出用于CIF序列Carphone的I，P，B编码帧的基于四叉树的 块划分。如图8所示，一些因素可确定块选择。首先，NLK或OCNLK 滤波器利用了视频信号的局部自相似特性。由于自相似性，局部相邻 的DCT系数具有较高的相关性，本文的滤波器通过捕获较高的相关性 而良好地运行。在具有较高的自相似性的那些局部区域滤波器可更好 地运行。其次，视频编码标准使用帧内和帧间预测，帧内和帧间预测 实际上利用视频信号的自相似特性。当帧内和帧间预测块对于当前块 足够准确时，就无需应用滤波器。第三，在信息率失真优化中对块控 制信息的比特进行计数。块控制信息的比特通过CABAC被编码为边 信息。因此，所选的块更容易积累至某个区域。如图8所示，以上这 些因素将影响块选择结果。

实验结果以及所建议的环路滤波器分析

实验在KTA参考软件内进行。在表II中列出测试条件。表III示 出QALF+DLF、QNLK或QOCNLK方法的实验结果。三种方法都实 现了显著的PSNR改进，并比基准测试任务H.264编码序列节省了大 量比特率。与现有技术相比，QALF+DLF、QNLK或QOCNLK方法 还实现了平均1.5％和2.72％的比特率减少。

  软件   KTA   测试序列   352X288   编码结构   IBBPBBP   熵编码   CABAC   R-D优化   开   QP   20、26、32、38   帧数   100

表II：测试条件

表III：QNLK和QOCNLK环路滤波器的实验结果

图9和图10示出两个编码序列的曲线：Foreman和Akiyo。所建 议的两种方法在任何编码质量设置下都可良好地运行。图11和图12 给出实验的视觉质量比较。Carphone和Football序列被用作示例。与 H.264编码帧相比，QALF+DLF方法获得了较高的PSNR值，但对图 片视觉质量没有很大改进。可以明显的看出，QNLK和QOCNLK过 滤帧的视觉质量好于QALF+DLF和H.264编码帧。在Carphone序列 中，通过所建议的两种方法有效地去除了块效应。在Football序列中， 通过本文的方法在过滤帧中具有较少的块失真和环状失真。此外， QOCNLK滤波器比QNLK方法略微较好地运行。在其它测试序列中 也可获得相似的结论。

现有技术中的去块环路滤波器(DLF)基于增强技术，因为该去 块环路滤波器仅在块失真边界上运行简单的低通滤波器。自适应环路 滤波器(ALF)方法基于修复技术。ALF方法修复帧中的原始像素值。 仅有一组滤波器系数被用于整帧，所以ALF方法不适用于局部区域。 滤波器系数需要被传递至解码器。NLK滤波器设计为通过MMSE修 复量化的转换系数。NLK滤波器还可去除编码失真，从而较好地提高 图片质量。滤波器通过捕获相邻转换系数之间的高相关性适用于局部 统计。从导频帧估计NLK和OCNLK滤波器的参数。较好的估计参数 可使NLK和OCNLK滤波器更好地运行。因此，NLK和OCNLK滤 波器可利用任何新出现的方法来获得导频帧。

结合本文所公开的特殊的方面、实施方式、执行或示例描述的特 点、整体、特征或组合应理解为可应用于任何其它方面、实施方式、 执行或示例，除非这些特征、整体、特点或组合与其它方面、实施方 式、执行或示例相冲突。本申请公开的全部特征(包括任何权利要求、 摘要和附图)和/或公开的任何方法或过程的所有步骤能够以任意适当 的方式结合，除非这种结合中的至少部分特征和/或步骤是互斥的。本 发明在细节上不限于上述实施方式，而是扩展至本说明书(包括任何 权利要求、摘要和附图)公开特征的任何新特征或任何新组合，或扩 展至所公开的任何方法或过程步骤的任何新步骤或任何新组合。