使用用于视频编码的高级运动模型的参考处理

摘要

描述了对参考图片的处理。参考处理单元使得能够用信令表示诸如运动模型参数、插值滤波器参数、强度补偿参数和去噪滤波器参数等参数。还讨论了用于估计各种参数的方法。处理在将参考图片用于后续图片的预测之前改善了参考图片的质量，由此改善了预测。

说明书

相关申请的交叉引用

本申请要求2010年7月21日提交的美国临时专利申请第61/366,517 号的优先权，其全部内容通过引用包含于此。

技术领域

本公开主要涉及图像处理和视频处理。更具体地，其涉及使用用于视 频编码的高级运动模型的参考处理。

背景技术

在基于运动补偿预测的视频编码方案中，视频编码方案使用的参考图 片的质量可能显著地影响编码效率。也就是说，质量越高的参考图片（其 也与源图片越相关）通常产生改善的编码优势。编码优势包括诸如提高的 编码效率、降低的复杂度和更容易并行化的因素。

图1示出了传统视频编码系统的实现。在诸如图1所示的传统视频编 码系统等传统视频编码系统中，从参考图片缓冲器(100)中检索参考图片， 而通常不对参考图片应用任何附加处理。参考图片通常还用于后续图片的 预测。

任何附加处理的缺失出现在许多编码脚本中。这些编码脚本包括用于 静态视频序列或者用于以恒定的直线运动移动的序列的编码。然而，可以 通过在使用参考图片用于后续图片的预测之前对参考图片进行预处理，来 实现改善的编码优势。使用了预处理的一种脚本是立体或者多点视频编码 应用，其中，在预测其它视图/层时利用特定视图/层，并且可以以彼此不 同的角度捕获其它视图/层。

下面的情况通过引用包含于此：2010年4月20日提交的国际专利申 请第PCT/US2010/031762号(2010年10月28日公布的国际公布第 WO/2010/123909号)；2010年6月30日提交的国际专利申请第 PCT/US2010/040545号(2011年1月13日公布的国际公布第 WO/2011/005624号)；2011年1月5日提交的国际专利申请第 PCT/US2011/020163号(尚未公布)。

附图说明

包含在本说明书中、构成本说明书的一部分的附图，示出了本公开的 一个或更多个实施例，并且与对示例实施例的描述一起，用于解释本公开 的原理和实现。

图1示出了传统视频编码系统的实现。

图2示出了利用参考处理单元的视频编码系统的实现。

图3示出了利用参考处理单元的立体视频编码系统的实现。

图4示出了被分割为不重叠区域的参考图片。

图5示出了被分割为重叠区域的参考图片。

图6示出了编码器侧的运动模型估计处理的示例性实施例。

图7示出了快速运动模型选择处理的示例性实施例。

图8示出了插值滤波器选择和强度补偿估计处理的示例性实施例。

图9示出了像素对称的第一示例。

图10示出了像素对称的第二示例。

图11示出了用信令表示显式插值滤波器的处理的实施例。

图12示出了解码器侧的参考处理单元的框图。

具体实施方式

本公开的实施例涉及图像处理和视频处理。

根据本公开的第一实施例，提供一种用于对参考图片进行处理的方 法，包括：i)基于重构参考图片和处理后的参考图片估计值，对要被编码 的原始图片执行运动估计；ii)进一步处理经运动估计后的图片，以获得进 一步处理后的参考图片估计值；以及对所述运动估计和所述进一步处理进 行迭代，以提供处理后的参考图片。

根据本公开的第二实施例，提供一种用于当在单层或者多层视频编码 系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所 述重构参考图片的区域的运动模型参数，所述方法包括：i)基于要被编码 的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构 参考图片的区域，执行运动估计；ii)执行进一步运动估计，以提供运动 模型参数；iii)根据所述运动模型参数执行扭曲，以获得扭曲图片；以及 对i)-iii)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编 码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参 考图片的区域以及所述扭曲图片。

根据本公开的第三实施例，提供一种迭代法，用于当在单层或者多层 视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图 片或者所述重构参考图片的区域的运动模型参数，所述方法包括：i)基于 要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者 所述重构参考图片的区域，执行运动估计；ii)执行进一步运动估计，以 提供运动模型参数；iii)对所述运动模型参数进行处理，以提供插值滤波 器参数和强度补偿参数中的至少一个；iv)根据所述运动模型参数以及所述 插值滤波器参数和强度补偿参数中的至少一个来执行扭曲，以获得扭曲图 片；以及对i)-iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所 述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所 述重构参考图片的区域以及所述扭曲图片。

根据本公开的第四实施例，提供一种解码方法，所述解码方法用于当 在单层或多层视频编码系统中执行参考图片处理时，在解码器处对参考图 片缓冲器的重构参考图片或者所述重构参考图片的区域进行解码，所述解 码器被适配为对从编码器获取的参数信息进行接收和解析，所述方法包 括：i)对输入图片执行扭曲，以获得第一处理图片；以及ii)对所述第一处 理后图片应用强度补偿，以获得第二处理图片。

A.参考图片处理

图2示出了利用下文中称为RPU的参考处理单元(200)的视频编码系 统的实现。RPU(200)允许诸如滤波器参数、运动补偿参数和其它建模参 数的处理参数的信令。可以对已经在参考图片缓冲器(205)中可使用的参 考图片应用该信令，以生成新的参考图片。这些新的参考图片通常与需要 处理的后续图片更相关。如果期望，可以以区域水平、而不是全局水平来 操作信令，这使得能够进行更细致的控制并且在编码优势方面获得进一步 的改善。

引入参考处理单元(200)的使用的两个示例性参考文献是2009年4月 20日提交的标题为“Directed Interpolation and Post-Processing”的美国临 时申请第61/170,995号，以及2009年7月4日提交的标题为“Encoding and Decoding Architectures for Format Compatible3D Video Delivery”的美 国临时申请第61/223,027号。这两个参考文献的全部内容通过引用包含于 此。

通过在视频编码系统中利用RPU(200)，已经实现了支持立体和多点 视频编码的应用。通过选择高级运动模型和滤波机制，以在使用每个参考 图片以预测后续增强层图片之前应用到来自前一层图片的每个参考图片 来实现这些应用。

在帧兼容3D传递方法和2D兼容3D传递方法两者中，应用涉及针 对每个参考图片选择适当的高级运动模型(包括但不限于：平移、缩放、 旋转、仿射和立体透视变换)和滤波机制(包括但不限于：双线性、双三次、 米切尔-奈特拉瓦利(Mitchell-Netravali)、兰克泽斯(Lanczos)和用户指定的 插值滤波器)的技术。这些3D传递方法与当前由MPEG-4AVC/H.264的 多视点视频编码(MVC)扩展支持的方法类似。与其中对后续增强层的预测 考虑未经过处理的、来自前一层的参考图片的MVC不同，RPU(200)使得 能够在将来自前一层的参考图片用于后续增强层的预测之前将它们进行 改进。改进通常改善编码优势。

本公开的几个实施例集中于2D兼容多层3D编码方法。也可以在帧 兼容3D编码方法中以及在诸如通用可扩展2D编码等其它应用中使用所 呈现的编码方法。另外，可以在与智能和自适应插值滤波、强度补偿方法 以及去块/去噪滤波器的组合中，使用所呈现的编码方法。

继续参考示出了利用RPU(200)的视频编码系统的图2，在将参考图 片存储在参考图片缓冲器(205)中或者从参考图片缓冲器(205)中检索到参 考图片之后，对来自参考图片缓冲器(205)的参考图片进行处理。与不对 参考图片进行处理的情况相比，通过对参考图片进行处理，参考图片可以 提供对后续视频图片更准确的预测。这些处理方法通常包括通过使用运动 模型的运动补偿方法。稍后将在本公开中描述运动模型的具体类别。

对参考图片进行处理的一种示例性方式是对参考图片应用特定全局 或局部化运动模型。在与运动补偿方法的组合中，通过线性或者非线性滤 波器进行的处理也可以用于分数位置插值、去噪、伪影(artifact)减少(例 如去块)和图像增强。

图3示出了参考图片处理技术在多视点或者多层视频编码系统中的 使用。参考图3，该系统包括基本视点(300)和第二视点(305)。另外，该系 统包括视点间RPU(310)。基本视点(300)和第二视点(305)具有对应的基本 视点参考图片缓冲器(315)和第二视点参考图片缓冲器(325)。基本视点参 考图片缓冲器(315)与基本视点RPU(320)连接，第二视点参考图片缓冲器 (325)与第二视点RPU(330)连接。视点间RPU(310)与两个图片缓冲器 (315、325)连接。虽然图3示出了两个视点或者两层视频编码系统，但是 也可以考虑具有用于每个视点或者层的附加RPU的附加视点或者层以及 附加视点间或者层间RPU。

继续参考图3，由相应的RPU(320、330)对基本和第二视点(300、305) 内的参考图片进行处理。另外，在从基本视点(300)向第二视点(305)发送 参考图片之前，视点间RPU(310)对从基本视点参考图片缓冲器(315)接收 到的参考图片进行处理。由视点间RPU(310)进行的处理通常出现在将所 有参考图片存储在每个视点专用的参考图片缓冲器(315、325)中之后，或 者针对后续图片的预测考虑特定参考图片时(例如在敏锐的RPU处理中)。 例如，可以根据指定运动模型使用于基本视点(300)的参考图片扭曲，以 生成可以在基本视点(300)、第二视点(305)或者两个视点(300、305)中用于 后续图片的预测的新的参考图片。

使用每个缓冲器(315、325)中的原始参考图片，来生成用于相同视点 (300、305)或者用于另一视点(300、305)的附加参考图片。在给出诸如运 动模型、插值滤波器和强度补偿参数等新的处理参数（它们可能特定用于 要处理的后续图片）的情况下，可以对原始参考图片或者新生成的参考图 片再次进行处理。例如，对于视点间参考处理(310)，运动模型信息可以 表示视点(300、305)之间的差异，诸如用来捕获每个视点(300、305)的不 同的照相机位置和角度。运动模型信息不仅可以包括运动扭曲信息，还可 以包括例如指示使用哪个插值滤波器以生成子像素位置的附加信息以及 强度补偿信息。处理模型可以包含诸如高斯和/或可分离线性滤波器等去 噪滤波器、诸如中值或者分阶滤波器等非线性滤波器等。还可以使用可以 跨区域指定的去块方法。

在通常的情况下，由视频编码系统处理的视点/层的数量可以远多于 图3所示的两个视点/层的视频编码系统。通常，可以对特定视点/层的参 考图片进行处理，以生成另一视点/层的另外的参考图片。另外，可以对 特定视点/层的参考图片进行处理，以生成用于特定视点/层本身的增强参 考图片。

在参数估计处理方面，可以基于使用适当的扭曲参数的运动模型，在 编码器侧估计或者选择运动模型信息。扭曲参数可以取决于单个指定标准 或者其它标准中的诸如的视觉质量、算法复杂度、位率等指定标准的组合。 可选地，可以基于使用适当的插值滤波器参数、强度补偿参数或者去块/ 去噪参数的运动模型，在编码器侧估计或者选择运动模型信息。另外，可 以基于迄今为止未列出的其它参数中的所使用的扭曲参数、插值滤波器参 数、强度补偿参数和去块参数的适当的组合，在编码器侧估计或者选择运 动模型信息。通过除了使用高级运动模型之外还将线性和非线性滤波进行 组合(级联或者组合)，可以获得附加好处。

图12示出了解码器侧的参考处理单元的示例性实施例。可以将包括 但不限于扭曲参数、插值滤波器参数、强度补偿参数和去块/去噪参数的 所有运动模型信息封装在参考处理单元的有效载荷中，并且发送到解码器 (1200)。换句话说，RPU的有效载荷包含直接用于对参考图片进行处理的 运动模型信息。与有效载荷相反，RPU还可以包含附加头信息，附加头 信息可以对有效载荷以及需要如何对有效载荷进行处理或使用以对信号 进行重构和显示进行描述。

RPU的解码器包括解析单元(1205)，解析单元(1205)对RPU的有效 载荷进行解析，并且使用从有效载荷中提取的信息来恢复与由RPU的编 码器(在图12中未示出)使用的处理参数一致或者几乎一致的处理参数。 具体地，图12所示的实施例从有效载荷中获得关于由编码器使用的运动 模型参数(1210)、插值滤波器参数(1210)、强度补偿参数(1215)和去噪滤波 器参数(1220)的信息。

在对重构参考图片(1225)进行处理时，利用这些参数(1210、1215、 1220)。重构参考图片(1225)可以是原始参考图片或者先前RPU处理过的 参考图片。原始参考图片是指从参考图片缓冲器(例如图2所示的参考图 片缓冲器(205))直接取得的未经过任何处理的参考图片。相反，由于可以 级联多个RPU，因此先前RPU处理过的参考图片是来自参考图片缓冲器 的经过一个RPU或者多个RPU处理的参考图片。因此，所考虑的当前 RPU编码器/解码器可以将原始参考图片或者来自前一层或者前一编码/ 解码步骤的先前RPU处理过的参考图片取作输入参考图片。

再次参考图12，原始参考图片或者先前RPU处理过的参考图片用作 对于所考虑的当前RPU解码器的输入参考图片（被称为重构参考图片 (1225)）。作为一系列步骤示出了对重构参考图片(1225)的处理，该一系列 步骤包括利用从编码器获得的参数(1210、1215、1220)执行的图片扭曲 (1230)、强度补偿(1235)和噪声去除(1240)。处理的结果是处理后的参考图 片(1245)。在考虑中的当前RPU解码器的处理后的参考图片(1245)可以用 作到后续RPU解码器的输入参考图片和/或用作用来进行后续图片的预测 的图片。由于解码器恢复了与编码器使用的处理模型类似的处理模型，因 此处理后的参考图片(1245)经过了与在编码器处进行的处理类似的处理。

为了进一步提高编码效率，可以将不同的参考图片处理有效载荷信息 发送到重构参考图片(1225)的不同区域。换句话说，可以将重构参考图片 (1225)分割为多个区域，每个区域可以具有其自己的最佳处理参数。这可 以允许要应用于每个具体区域的更准确的运动模型参数和滤波参数。

图4示出了根据每个区域内的运动的同质性将参考图片分割为许多 区域的第一示例。另外，这许多区域是不重叠的。类似地，图5示出了根 据运动的同质性将参考图片分割为许多区域的第二示例。然而，图5中的 这许多区域是重叠的。在图4和5两者中，可以使用单独的参数集合来描 述每个区块。

在一个参考图片中存在具有不同运动参数的多个运动区域或者在一 个参考图片中存在不同的模糊和焦点特性的情况下，基于区域的RPU信 令将可能产生更高的编码效率。区域可以是矩形的，如图4和5所示，但 是区域也可以具有任何任意形状。区域可以如在图4中是不重叠的，或者 如在图5中是重叠的。

另外，区域可以包含单个或多个处理参数。例如，特定区域可以不仅 仅由单个运动模型来表示。例如，可以对同一区域以信令通知缩放运动模 型和仿射运动模型两者以及诸如强度补偿参数等其它参数。注意，区域的 重叠部分通常具有对其应用的多个运动模型。通过使用每个运动模型估计 的运动矢量的平均或者加权平均，将获得基于本参考图片的区域对后续图 片上的区域的预测。作为示例而非限制，基于特定区域和其邻接区域的运 动矢量之间的相似和不同，可以以信令告知或者可以确定具体平均方法。

可以跨区域应用去块方法，这可以包括基于像素的方法和/或其它频 域(例如超完备去噪)方法。对跨区域应用多少滤波进行量化的去块强度， 可以基于在相邻区块中使用的运动模型或者预测方法的不同以及相邻区 块之间的运动模型参数的不同。

在两个区域使用相同预测方法以及相同或类似运动模型的特定情况 下，不进行去块滤波。如果通过应用不同运动模型获得的所有运动矢量的 绝对差低于某一预定定义的阈值或者阈值的集合，则认为运动模型类似。 另一方面，如果使用不同的运动模型，或者运动矢量之间的差很明显(差 大于阈值或者阈值的集合)，则应用强去块。参考图片中的一些区域可能 需要较多滤波，而其它区域需要较少滤波。对任意特定区域应用的滤波的 量，取决于特定区域的运动模型和预测方法、以及该特定区域的运动模型 和预测方法与该特定区域的邻接区块的运动模型和预测方法之间的关系。 另外，对区域应用的滤波的量可能受特定区域内的纹理特性的影响。

虽然基于区域的RPU可能需要较高的比特开销，但是编码器可以应 用基于率失真的决策，来找到最佳区域分割以及用于每个区域的最佳运动 模型和预测方法。

作为示例，视频编码系统可以检查使用用于对具有单个区块的参考图 片进行处理的RPU的性能，而不检查使用用于对具有M×N个区块的参 考图片进行处理的RPU的性能。可以在进行编码之前进行关于区域分割、 运动模型和预测方法的最佳组合的决定。例如，可以仅通过将生成的参考 图片的参数与要编码的源图片的参数进行比较来进行决定。还可以通过考 虑RPU中的全部、部分或者仿真编码来进行决定。例如，使用较低分辨 率的图片表示来进行仿真编码。例如，可以基于编码方面的性能来选中选 择要以信令通知的方法。可以使用诸如给定了特定拉格朗日乘子的组合率 失真性能的特定标准来评价性能。

B.运动模型

在视频编码系统的实施例中，由于不同的运动模型提供多种可选实 现，因此考虑几种不同的运动模型，每种实现需要不同的复杂度和运动范 围。考虑的运动模型包括其它模型中的平移、缩放、仿射、立体透视、各 向同性和多项式模型。如早前所讨论的，这些运动模型的组合也是可以的。

这些运动模型通常可以准确地描述可能存在于3D真实世界场景中的 复杂运动。然而，虽然诸如立体透视运动模型的运动模型可以准确地描述 3D运动，但是这些运动模型的估计可能在计算上十分复杂。另外，与这 些运动模型相对应的估计处理可能对噪声敏感。在估计处理对噪声敏感的 这些情况下，预滤波或者更鲁棒的估计器可以改善模型估计处理。可以对 参考图片、原始图片或者参考或原始图片的运动矢量进行预滤波。鲁棒估 计器的示例是利用Levenberg-Marquadet方法的估计器。此外，需要在 解码器处应用的针对这些运动模型的运动补偿处理本身可能很复杂。

另一方面，诸如平移模型等较简单的运动模型趋于更容易进行估计， 并且对噪声更鲁棒。因此，在本实施例的视频编码系统中具有考虑针对参 考图片处理具有不同复杂度和性能特性的多个不同的运动模型的灵活性， 这允许在设计编码器并且控制需要与编码器一起工作的解码器的复杂度 时更简单地考虑不同的复杂度和性能折衷。如早前所讨论的，也可以使用 诸如平移和缩放模型的组合等不同运动模型的组合来改善性能。

针对参考图片的每个区域的运动模型的选择，取决于诸如失真要求、 比特率预期和运动模型复杂度的多种条件。另外，更复杂的模型可以取决 于诸如率失真(RD)成本和率失真复杂度(RDC)成本的条件。例如，可以使 用拉格朗日最优化方法在方程式(1)中来计算运动模型的RD成本：

RD(m)＝D(Warp(m，R)，O)+λ*(R(motion_model)+R(filier)+R(intensit y_comp))  (1)

在上面的方程式(1)中看到的函数Warp(m,I)是用于运动补偿的扭曲 函数。Warp(m,I)函数取决于诸如在表1中列出的那些运动模型等所应用 的运动模型。具体地，Warp(m,I)是作为运动模型的m和作为输入图像 的I的函数。在上面的方程式(1)中还看到的函数R(t)给出针对处理工具t 对边信息进行编码的速率。函数D(x,O)是诸如方差和(SSE)等失真度量函 数。具体地，D(x,O)是作为处理后的信号的x和作为原始信号的O的函 数。

更高级的方法例如不仅可以考虑扭曲图片和原始图片之间的失真，还 可以考虑视频编码系统内部的使用扭曲图片的最终编码效率。如果考虑失 真和最终编码在计算上太复杂，则可以使用不同的估计。例如，可以仅使 用基于块的运动估计。可选地，这些估计可以任选地考虑用于估计处理的 编解码器内的诸如时间基准的任意可用基准的作用。还可以通过考虑二次 采样版本的扭曲图片和原始图片来进行估计。还可以通过使用例如基于层 级的运动估计方法，使用不同的分辨率图像来进行估计。如下给出基于层 级的运动估计的示例。可以从最低分辨率的扭曲参考图片和原始源图片， 得出对各种RPU参数(运动模型参数、插值滤波器参数等)的估计。可以 从较高分辨率的扭曲参考图片和原始源图片，得出对各种RPU参数的进 一步估计。该进一步估计以及任意后续估计进一步改进了各种RPU参数 的值。

这同样适用于速率考虑，其中，代替仅考虑对各种RPU参数(运动模 型参数、插值滤波器参数等)进行编码所需的速率，还考虑对整个图片进 行编码所需的速率。在考虑对RPU参数进行编码所需的速率和对整个图 片进行编码所需的速率两者的情况下，可以选择不同的拉格朗日参数以在 RPU信令参数（其相对于针对图片的编码用信令表示的实际位）之间使 用。简化可以包括诸如可以潜在地用来对图片进行编码的运动和参考索引 等局部参数的考虑。特别地，不对整个图片进行编码；而仅进行局部化运 动估计。

下面示出的表1列出了各种运动模型。

表1.运动模型

表1的最后一列是指定义每个运动模型的变换方程式。特别地，如下 给出针对每个模型的方程式。

$\left(\begin{array}{c}{u}_x^{\prime }=u_x+h_0^x\\ u_y^{\prime }=u_y+h_0^y\end{array}\right)---\left(2\right)$

$\left(\begin{array}{c}{u}_x^{\prime }=h_1^x{u}_x+h_0^x\\ u_y^{\prime }=h_1^y{u}_y+h_0^y\end{array}\right)---\left(3\right)$

$\left(\begin{array}{c}{u}_x^{\prime }=h_1^y{u}_y+h_1^x{u}_x+h_0^x\\ u_y^{\prime }=h_1^x{u}_y+h_1^y{u}_x+h_0^y\end{array}\right)---\left(4\right)$

$\left(\begin{array}{c}{u}_x^{\prime }=h_2^x{u}_y+h_1^x{u}_x+h_0^x\\ u_y^{\prime }=h_2^y{u}_y+h_1^y{u}_x+h_0^y\end{array}\right)---\left(5\right)$

$\left(\begin{array}{c}{u}_x^{\prime }=(h_2^x{u}_y+h_1^x{u}_x+h_0^x)/(1+h_3^y{u}_y+h_3^x{u}_x)\\ u_y^{\prime }=(h_2^y{u}_y+h_1^y{u}_x+h_0^y)/(1+h_3^y{u}_y+h_3^x{u}_x)\end{array}\right)---\left(6\right)$

$\left(\begin{array}{c}{u}_x^{\prime }=h_5^x{u}_y^2+h_4^x{u}_x{u}_y+h_3^x{u}_x^2+h_2^x{u}_y+h_1^x{u}_x+h_0^x\\ u_y^{\prime }=h_5^y{u}_y^2+h_4^y{u}_x{u}_y+h_3^y{u}_x^2+h_2^y{u}_y+h_1^x{u}_x+h_0^y\end{array}\right)---\left(7\right)$

从方程式(2)到方程式(7)定义了变换方程式。在这些方程式中， (u_x,u_y)是源位置，而是由特定运动模型(如由形式的各种参数定 义)变换后的源位置(u_x,u_y)的相应位置。下面在表2中示出了参数。表2 提供对每个运动模型提供哪种类型的运动/变形的了解。

表2.运动模型参数的含义

从表2可以看出，平移模型仅提供平移范围，缩放模型包括平移模型 的平移参数和缩放参数，各向同性模型采用跨两个维度的相等的缩放和旋 转等。多项式模型是表1和2所示的运动模型中最复杂的模型。然而，与 在这些表中呈现的其它模型相比，该模型可以提供更全面的运动/变形范 围。使用多假设方法，这些模型的组合也是可以的，其中，可以用信令表 示每个区域的多个运动模型，可以对每个运动模型单独进行基于扭曲的运 动补偿，然后可以对多个假设进行平均或者加权平均，以生成针对后续图 片的预测的最终假设。

B.1运动模型估计和编码

存在几种运动模型估计方法。一些常用方法包括像素水平运动估计、 基于频率/相位相关的运动估计和运动场估计(motion field estimation)(例 如光流场(optical flow field))。像素水平运动估计可能在计算上很复杂，并 且容易受噪声和诸如发光条件等其它图像特性影响。另一方面，频率/相 位相关方法和光流方法可以针对大多数应用提供足够的结果。

例如，可以彼此结合地利用相位相关方法和光流方法。相位相关方法 通过对参考和源图片的变形，使得能够得到平移参数以及对旋转和缩放参 数的估计。可以针对相位相关方法尚未估计的其余参数利用光流方法；换 句话说，光流方法实质上是较简单的模型。光流方法可以在考虑或者不考 虑强度参数的情况下利用基于块的运动估计方法。

可以使用基于块的运动估计方法和频率/相位相关方法来估计光流信 息。例如，代替使用实际光流信息来表示图片的运动场，可以使用基于块 的运动估计方法来得出不同块区块的运动，其中，块区块可以具有任意大 小M×N。大小例如可以是8×8、2×2、4×2或者甚至1×1。另外，区块不 一定是矩形的，它们可以具有任何形状。

通常，运动矢量可以具有任何精度。作为示例、而非限制，运动矢量 可以具有整数、半个像素(pel)、四分之一pel或者浮点精度。给定运动 矢量的信息，则可以使用梯度下降法来估计运动模型参数。梯度下降法可 以使用诸如Newton Raphson和Levenberg-Marquadet迭代法的拟合法 (参见参考文献[6])或者最小二乘估计器。

图6示出了编码器侧的参考图片单元的运动模型参数估计处理(600)。 实质上，运动模型参数估计处理是迭代估计处理。参考图6所示的运动模 型参数估计处理(600)的实施例，估计处理(600)利用需要进行编码的原始 源图片(605)、重构参考图片(610)和处理后的参考图片(615)。

与图12中的RPU解码器类似，图6中的RPU编码器的重构参考图 片(610)是原始参考图片或者先前RPU处理过的参考图片。原始参考图片 是指任何RPU处理之前的参考图片。由于可以级联多个RPU编码器，因 此先前RPU处理过的参考图片是由一个RPU或者多个RPU处理过的参 考图片。因此，在考虑中的当前RPU编码器可以将原始参考图片或者来 自前一层或者前一编码步骤的先前RPU处理过的参考图片，取作输入参 考图片。当前RPU编码器的处理后的参考图片(615)可以用作对后续RPU 编码器和/或到RPU解码器的输入参考图片。

使用三个图片(605、610、615)中的每一个，来获得用于实现基于块 的运动参数估计(620)、运动模型参数估计(625)、插值滤波器参数估计 (630)、强度补偿参数估计(630)和去噪滤波器参数估计(640)的信息。当将 处理后的参考图片(615)通过反馈环(645)反馈到估计处理(600)中时，出现 估计处理(600)的迭代方面。对重构参考图片(610)进行扭曲(635)。图片扭 曲(635)根据来自块620和625的估计的运动参数以及来自块630的估计 的插值滤波器参数和强度补偿参数，进行图片变形。在图片扭曲(635)之 后，通过将扭曲的参考图片与原始源图片(605)进行比较，来实现去噪滤 波器参数估计(640)。反馈环(645)通过估计处理(620、625、630、640)和图 片扭曲(635)发送回处理后的参考图片(615)，以获得由块620、625、630 和640估计的每个参数的更改进的值。

注意，不对原始源图片(605)本身进行处理。仅在编码器中使用原始 源图片(605)，来得出生成处理后的参考图片(615)所需的参数。根据图6， 参数是基于块的运动参数、运动模型参数、插值滤波器参数、强度补偿参 数和去噪滤波器参数。具体地，使用这些参数来生成处理后的参考图片 (615)，从而它们与原始源图片(605)紧密匹配。虽然参考图6示出的参数 估计进行了前面的讨论，但是前面的讨论通常应用于RPU中的参数估计。

与在图12中示出了实施例的RPU的解码器侧相关，如图6所示的原 始源图片(605)对于解码器不可用。然而，如前面所讨论的，图6所示的 参数估计提供以RPU有效载荷的形式发送到解码器的参数的值。解码器 对关于参数(图12中的1210、1215、1220)的信息的有效载荷进行解析 (1205)。使用这些估计的参数(1210、1215、1220)对解码器侧的重构参考 图片(1225)进行处理，以获得处理后的参考图片(1245)。

虽然在图6中未示出，但是该处理还可以考虑来自先前经过处理和编 码的图片或者甚至同一图片内的先前经过处理的区域的运动参数，假设在 后一情况下，在区域水平发生信令处理。可以使用先前经过处理和编码的 图片的运动模型来将运动估计处理初始化，但是还可以使用运动模型，通 过将运动估计值应用于当前参考图片，来生成新的“假设”参考。然后，可 以使用新的假设参考来进行后续运动估计。可以将最终运动模型与原始假 设运动模型组合，以创建用于后续图片的预测的最终运动模型。

在编码器侧的运动模型估计处理(600)的不同实施例中，生成了多个 最终假设，从中可以选择一个最终假设。给出关于原始假设或者可能使用 不同的运动估计处理已经生成的另一假设的一些标准，可以进行最终假设 的选择。不同的运动估计处理例如可能需要在不使用任何预测器或者使用 不同的预测器的情况下直接进行运动估计。选择最符合给定标准的假设作 为最终假设。在不同的系统中，可以选择、以信令表示并使用多个假设。

继续参考图6，考虑使用单个运动模型用于整个原始源图片(605)时的 情况。在计算单个运动模型的运动模型参数之后，对重构参考图片(610) 应用图片扭曲(635)，以获得将作为用于后续运动模型估计的参考图片使 用的处理后的参考图片(615)。

考虑重构参考图片(610)具有具备不同运动模型和/或参数的多个区域 时的可选情况。可以在考虑重构参考图片(610)的运动模型和参数中的每 一个之后，生成处理后的参考图片(1245)。为了避免邻接区域之间断开， 还可以考虑重叠。区域可以重叠，并且可以使用多个运动模型和运动模型 参数预测处理后的参考图片(1245)的一些像素。

如早前所讨论的，区域的重叠部分可能具有不同的运动模型和/或应 用于它们的运动模型参数。例如，参考图5，考虑在第一区域(500)的底部 和第二区域(505)的顶部之间存在重叠(510)部分。还考虑对第一和第二区 域(500、505)应用不同的运动模型。根据第一区域(500)的运动模型参数获 得重叠部分(510)的预测像素的第一集合。根据第二区域(505)的运动模型 参数获得重叠部分(510)的预测像素的第二集合。可以通过对预测像素的 第一集合和预测像素的第二集合取平均或者加权平均，来生成重叠部分 (510)的处理后的参考图片(615)的预测像素。

将如根据对重叠区域的预测的平均或者加权平均获得的结果像素，称 为最终像素。等同地，这些最终像素用作将在预测后续图片时利用的信息。 给定每个像素与每个区块的中心的距离，可以以信令通知或者自动选择在 加权平均中应用的权重。作为可选项，如早前所讨论的，还可以跨区域边 界应用去块，以避免断开。

即使针对大的运动场，也可以估计准确的运动模型参数。扭曲处理 (635)针对不同的运动模型而不同，原始图片(605)中的不同区域可能具有 不同的运动模型和/或运动模型参数。因此，在图片内的区域之间以及在 编码器侧和解码器侧之间，存在不同的编码效率。同时，效率可能显著地 受到在应用运动模型参数时使用的插值滤波器的精度影响。

提高编码效率的一种方式是使用简单插值滤波器，例如利用双线性或 者像素复制方法的插值滤波器。然而，也可以使用较复杂的插值滤波器来 提高编码效率。理想地，如图6所示，除了仅以信令表示运动模型，还以 信令表示要用于每个区块的不同的插值方法(630)。可以指定在重构参考 图片(610)中的各个区块中使用的每个插值滤波器具有不同的性能行为。 通常在选择用于信令和编码的适当运动模型之前，进行对每个插值滤波器 的性能的评价。

可以通过考虑一些客观或者甚至主观标准来进行运动模型的选择。客 观标准可以基于率失真和计算复杂度考虑。例如，选择的运动模型可以是 使定义的成本最小化的运动模型。更特别地，试图最小化的定义的成本可 以是如在方程式(1)中定义的RD成本。

在利用拉格朗日最优化计算RD成本的特定实施例中，可以执行强力 选择方法。强力选择方法将包括对所有运动模型的评价和比较。对运动模 型的评价可以潜在地包括考虑运动模型支持的所有插值方法。在本示例 中，所选择的运动模型将具有最小RD成本。

然而，强力选择方法可能太慢。为了加速运动模型选择处理，可以使 用诸如修剪评价方法等快速选择方法。具体地，针对修剪评价方法，可以 将支持的视频编码系统的组划分为子组。认为支持的组包括在表1中列出 的6个运动模型。在特定实施例中，如在表1的第二列中给出的，定义了 5个组。通常基于运动模型的复杂度来确定组。对于表1，通过模型参数 的数量来对组进行分组。因此，由于缩放运动模型和各向同性运动模型各 自具有4个模型参数，因此它们形成一个子组。表1中的其它运动模型中 的每个是其自己的子组。

图7示出了示例性快速运动模型选择算法(700)。该选择算法(700)选 择具有最小RD成本的运动模型。对RD成本的评价从组0开始(705)。将 Min_Cost参数设置为视频系统可以支持的最大值。例如，如果系统仅支 持8位整数，则最大值是255。在第二步骤(710)中，对组0的RD成本进 行评价。在第三步骤(715)中，将组0的RD成本与Min_Cost参数进行比 较。如果组0的RD成本低于Min_Cost参数，则第四步骤(720)进行检查 来看是否存在任意更多组进行评价。如果存在更多组，则第五步骤(725) 将下一组、在这种情况下为组1进行评价。重复进行第二至第五步骤(710、 715、720、725)，直到对所有组进行了评价，或者每当第三步骤(715)确定 当前RD成本不小于Min_Cost参数时为止。针对于每个组的评价，对属 于该组的每个运动模型进行评价。对于图7所示的运动模型选择算法 (700)，将选择具有最小RD成本的运动和/或处理模型。

图7示出了基于最小RD成本的快速运动模型选择算法。如早前所讨 论的，诸如率失真复杂度成本和运动模型参数信令的比特开销等其它编码 标准也可以用来选择运动和/或处理模型。

快速运动模型选择算法(700)的附加实施例可以考虑先前的参考图片 和邻接空间和/或时间区域。另外，考虑到已经针对任意特定区域考虑了 使用哪个运动模型，因此也可以甚至进一步加速选择处理(700)。

作为示例，考虑到邻接区域选择了模型0，并且针对该模型邻接区域 具有与当前区域类似的运动参数。在这种情况下，模型0可能是对于当前 区域适当的模型。因此，可以立即选择模型0。可选地，可以将评价限制 于考虑类似运动模型的那些其它运动模型。例如，如果缩放模型(表1中 组索引为1)是最可能用于邻接区域的运动模型，则将各向同性模型(表1 中组索引也为1)视为类似运动模型。

另外，可以对跨邻接区域的基于块的运动参数进行比较。这些比较用 来确定区域之间的相似程度，这产生可以用来甚至进一步加速选择处理 (700)的信息。

在附加实施例中，如果不同区域中的所有运动模型具有相同或非常类 似的运动模型参数，则可以立即进行最终运动模型的确定，而不进行任何 进一步改进。也可以考虑诸如阈值方法等其它方法。阈值方法例如可以考 虑特定运动模型的预测失真和邻接区域之间的预测失真。当运动模型参数 的差小时，可以确定多个邻接区域之间相似。阈值方法通常计算各个运动 模型参数之间的绝对差的和(SAD)或者方差的和。

通常，运动模型参数可以取任何精度，包括浮点精度。然而，为了便 于编码，应当执行将得到的运动模型参数转换到整数精度。特别地，如下 由方程式(8)给出了任意特定运动模型参数从浮点精度到整数精度的示例 性转换：

P_int＝Floor(P_floor*s+r)    (8)

其中，P_int是取整数精度的运动模型参数，P_floor是取浮点精度的运动模型参 数，s是解码器已知的缩放因数，r是舍入移位。Floor(x)运算选择小于或 等于x的最大整数。缩放因数s的值可以针对不同的运动模型参数而不同。

如下面在表3中列出的，可以将运动模型参数分类为三个组：

表3.运动模型参数类别

通常，阶数越高的参数需要越高的精度进行准确的表示。另外，精度越高 产生越大的缩放因数s的值。

假设许多区块可以具有类似的运动模型，则可以利用某些预测方法来 提供附加压缩好处。例如，如果多个区域使用相同的运动模型，则在这些 区块外部，可以以更高的电平用信令表示单个运动模型，从而可以使用该 单个运动模型的区块内的信令，而不必需要在RPU内多次用信令表示相 同的单个模型。

同样可以针对多个运动模型的情况，考虑预测处理。特别地，在表4 中列出了考虑多个运动模型的预测器得出方法。对于该方法，预测可以使 用来自全局运动模型参数的单个集合的信息，或者在不使用预测信息的情 况下用信令表示所有运动参数。

表4.存在全局运动模型的情况下的全局运动模型预测

预测器索引 预测器 0 无 1 默认运动(零运动)

另一方面，通过利用一些或所有邻接区块，可以考虑更简单的预测方 法。预测方法例如可以使用诸如在MPEG-4AVC中使用的中值方法等中 值方法，来得到用于预测的运动模型参数。可选地，预测方法可以仅考虑 利用相同运动模型的邻接区块。如果将不同的模型组合，则通常在考虑使 用其运动矢量用于预测之前，执行从不同的运动模型到当前考虑的运动模 型的转换。

在可选实施例中，可以使用使得能够用信令表示预测机位置的更全面 的方法，来代替暗示或者根据邻接区块得到预测器位置。下面在表5和表 6中示出该方法。

表5.存在全局运动模型的情况下的区块的运动模型预测

预测器索引 预测器 0 无 1 全局运动 2 左部区块 3 上部区块 4 左上部区块 5 右上部区块 其它 Partition_Idx=Current_Partition_Idx-(predictor_index-5)

表6.不存在全局运动模型的情况下的区块的运动模型预测

预测器索引 预测器 0 无 1 左部区块 2 上部区块 3 左上部区块 4 右上部区块 其它 Partition_Idx=Current_Partition_Idx-(predictor_index-4)

表5假设存在单个全局运动模型。然而，可以将区块的运动模型预测 扩展为支持在用信令表示区块之前的用信令表示的多个全局运动模型。

可选地，表6考虑没有任何全局运动模型参数的情况下的区块的运动 模型预测。还可以使用暗示和明确指定的方法的组合。用于任意特定区块 的暗示方法例如可以基于根据来自邻接区块的信息的预测处理。例如，如 果特定区块的邻接区块全部使用反射运动模型，并且全部具有相同的参 数，则特定区块也使用相同的运动模型和相同的参数的可能性高。因此， 在该简化的示例中，该特定区块将非常可能使用仿射运动模型和与邻接区 域的参数相同的参数。

此外，预测结果可能暗示在不用信令表示任何附加改进信息的情况下 正确地预测了整个运动矢量。这例如在满足运动估计处理的成本标准时出 现。即使在这种情况下，也可以任选地用信令表示附加改进信息。可以将 该改进信息添加到与如下面所示出的在方程式(9)中定义的处理类似的预 测的运动模型上。注意，预测也可以显著影响每个RPU区域的解码并行 化，可能在设计使用这些技术的系统时需要考虑预测。

${\overrightarrow{M}}_{\mathrm{int}}=\mathrm{Scale}\_\mathrm{Down}(\mathrm{Scale}\_\mathrm{Up}\left({\overrightarrow{P}}_{\mathrm{int}}\right)+{\overrightarrow{r}}_{\mathrm{int}})---\left(9\right)$

其中，矢量是解码的运动模型参数，矢量是预测的运动模型参数， 矢量是编码残差。所有参数通常具有固定点精度。Scale_Down和 Scale_Up函数是在转换中使用的缩放函数。

如方程式(8)所示，考虑缩放因数s。讨论缩放因数的三种可能的信令 方法。对于整个编码处理，该缩放因数可能是暗示并且固定的；换句话说， 可以针对所有区块用信令表示缩放因数。可以基于来自邻接区块的信息来 用信令表示(或者不用信令表示)缩放因数。作为第一示例，如果确定缩放 因数对于所有区块相同，则仅需要用信令表示一次缩放因数。可选地，可 以用信令表示特定区块的缩放因数和邻接区块的缩放因数之间的差。还可 以依据针对每个区域指定的标志来用信令表示缩放因数。例如，如果标志 被设置为1，则用信令表示缩放因数。否则，不用信令表示缩放因数，并 且解码器使用默认值。

C.插值滤波

在运动扭曲之后，可以使用各种插值滤波，来获得分数位置的像素值。 可以作为运动模型参数的信令的一部分，来指示用来获得分数位置 （fractional position）处的像素值的插值滤波方法。作为示例而非限制， 可以使用下面示出的表7中指定的6种插值滤波器中的任意一个，来获得 分数位置的像素值。

表7.插值滤波器

索引 滤波器 滤波器标签的数量 0 双线性 2 1 Lanczos_2 4 2 双三次 4 3 Mitchell-Netravali 4 4 Lanczos_3 6 5 显式滤波器 4或者6

在显式滤波器(表7中的滤波器索引为5)的情况下，可能需要将滤波 器系数作为位流的一部分发送到解码器。与运动模型参数的信令类似，也 可以预测滤波器系数。例如，可以通过信令处理或者通过先前编码的区块， 与先前编码的区块和当前区块的运动模型是类似的还是不同无关地，实现 对滤波器系数的预测。

表7中的所有其它滤波器(滤波器索引0-4)是固定滤波器，也称为隐 式滤波器。对于固定滤波器，滤波器系数是预先确定的，因此仅需要向解 码器用信令通知滤波器索引。然后，解码器将能够例如通过使用查找表来 确定系数。在固定滤波器中，如果不进行系数量化，则固定滤波器系数可 能具有浮点精度。使用浮点精度需要对应地使用浮点精度处理。

可选地，在插值滤波器的另一实施例中，可以将滤波器系数量化为具 有固定点精度。固定点精度通常降低实现复杂度。另外，固定点精度消除 了漂移的可能。漂移是通过使用不同的平台(例如不同的操作系统)获得不 同结果的效果。漂移可能是由于使用了不同精度的浮置数表示(例如具有 不同尾数和指数大小的数)以及在不同平台上进行的运算。

在又一实施例中，可以将滤波器系数量化，从而可以使用16位运算。 例如，可以如下如表8至表11所示，针对每个滤波器(滤波器索引1-4)将 滤波器系数量化。注意，不需要事先对双线性滤波器系数(滤波器索引为 0)进行量化，因为可以以敏锐的固定点精度容易地计算双线性滤波器系 数。如表8至表11所示的滤波器允许针对8位输入视频信号使用16位运 算。量化的滤波器系数仅可以进行直到1/32像素精度的插值。然而，当 由插值滤波器进行的运动扭曲处理使用高于1/32的像素精度时，可以使 用第二级双线性滤波器或者任何其它滤波器来获得更高像素精度的值。

表8.用于具有1/32像素精度的Lanczos_2滤波器(滤波器索引1)的插值滤 波器系数

表9.用于具有1/32像素精度的双三次滤波器(滤波器索引2)的插值滤波器 系数

表10.用于具有1/32像素精度的Mitchell-Netravali滤波器(滤波器索引3) 的插值滤波器系数

位置索引 Coeff_0 Coeff_1 Coeff_2 Coeff_3 0 4 56 4 0 1 3 56 5 0 2 2 56 6 0 3 1 56 7 0 4 0 55 9 0 5 0 54 10 0 6 -1 53 13 -1 7 -1 52 14 -1 8 -2 50 17 -1 9 -2 48 19 -1 10 -2 47 20 -1 11 -2 45 23 -2 12 -2 43 25 -2 13 -2 41 27 -2 14 -2 38 30 -2 15 -2 36 32 -2 16 -2 34 34 -2 17 -2 32 36 -2 18 -2 30 38 -2 19 -2 27 41 -2 20 -2 25 43 -2 21 -2 23 45 -2 22 -1 20 47 -2 23 -1 19 48 -2 24 -1 17 50 -2 25 -1 14 52 -1 26 -1 13 53 -1 27 0 10 54 0 28 0 9 55 0 29 0 7 56 1 30 0 6 56 2 31 0 5 56 3

表11.用于具有1/32像素精度的Lanczos_3滤波器(滤波器索引4)的插 值滤波器系数

位置索引 Coeff_0 Coeff_1 Coeff_2 Coeff_3 Coeff_4 Coeff_5 0 0 0 64 0 0 0 1 0 -2 64 2 0 0 2 1 -3 63 4 -1 0 3 1 -4 63 5 -1 0 4 1 -5 62 8 -2 0 5 2 -6 61 10 -3 0 6 2 -7 60 12 -3 0 7 2 -8 59 15 -4 0 8 2 -9 57 17 -4 1 9 2 -9 55 20 -5 1 10 2 -9 53 23 -6 1 11 2 -9 51 25 -6 1 12 2 -9 49 28 -7 1 13 2 -9 46 31 -7 1 14 2 -9 44 34 -8 1 15 2 -9 42 36 -8 1 16 2 -9 39 39 -9 2 17 1 -8 36 42 -9 2 18 1 -8 34 44 -9 2 19 1 -7 31 46 -9 2 20 1 -7 28 49 -9 2 21 1 -6 25 51 -9 2 22 1 -6 23 53 -9 2 23 1 -5 20 55 -9 2 24 1 -6 17 57 -9 2 25 0 -4 15 59 -8 2 26 0 -3 12 60 -7 2 27 0 -3 10 61 -6 2 28 0 -2 8 62 -5 1 29 0 -1 5 63 -4 1 30 0 -1 4 63 -3 1 31 0 0 2 64 -2 0

注意，插值滤波器可以考虑非线性插值机制。可以通过诸如基于小波 或者扁带的插值、基于运动补偿时间滤波(MCTF)的插值等技术，来实现 非线性插值。

可以针对色度(chroma)样本和亮度(luma)样本使用不同的插值滤波 器和/或插值机制。亮度样本包含关于图片的亮度的信息；换句话说，亮 度样本处置图片的无色信息。相反，色度样本包含图片的颜色信息。

通常基于特定标准或者多个标准来选择插值滤波器。如早前所讨论 的，这些标准可以包括对失真、率失真、失真复杂度、联合率失真复杂度 等的要求。

图8示出了示例性联合插值滤波器选择和强度补偿估计处理(800)。 该示例性选择处理(800)估计强度信息，并且从滤波器池中选择具有最低 RD成本的插值滤波器。第一步骤(805)包括从滤波器池中选中当前插值滤 波器。第二步骤(810)包括用第一步骤(805)的插值滤波器扭曲参考图片。 第三步骤(815)包括用于在计算RD成本时使用的强度补偿估计。第四步骤 (820)包括计算RD成本。第五步骤(825)包括将当前滤波器的RD成本与 迄今评价的所有插值滤波器的最小RD成本进行比较。如果当前滤波器具 有比当前最小RD成本更低的RD成本，则将最小RD成本设置为当前滤 波器的RD成本。第六步骤(830)包括判断是否对来自滤波器池的所有插值 滤波器进行了评价。如果没有，则对下一个插值滤波器重复进行第二步骤 (810)至第六步骤(830)。一旦对所有插值滤波器进行了评价，则选择具有 最低RD成本的插值滤波器。

与图7所示的快速运动模型选择算法(700)的情况相同，图8所示的 插值滤波器选择算法(800)也利用RD成本作为其标准。仅作为示例来使用 利用RD成本的标准，本领域普通技术人员知道同样可以使用其它预先定 义的编码标准。这些标准包括率失真复杂度成本，并且还可以使用用于运 动模型参数信令的比特开销来选择运动模型。

对于如在表7中分类的具有滤波器索引0-4的滤波器，滤波器系数是 预先定义的，因此仅需要用信令向解码器通知滤波器索引。对于显式滤波 器(滤波器索引为5)，需要估计滤波器系数。例如，可以使用最小二乘估 计器，基于运动模型参数估计显式滤波器的滤波器系数。然后，用信令向 解码器通知这些滤波器系数。也可以使用其它方法来加速滤波器选择处 理。例如，如刚才所讨论的图8，在同一处理内进行插值滤波器选择和强 度补偿估计。可选地，可以在分离的处理中进行插值滤波器选择和强度补 偿估计。另外，还可以实现图8的选择处理和运动模型参数估计处理之间 的迭代。

考虑固定滤波器信令的实施例。具体地，考虑进行高达第一像素精度 水平的插值的第一固定滤波器和进行用于比第一像素精度水平高的其余 像素精度水平的插值的第二固定滤波器。可以针对高达第一像素精度水平 的所有像素精度水平信令对应于第一固定滤波器的第一像素索引。可以针 对高于第一像素精度水平的其余像素精度水平用信令表示对应于第二固 定滤波器的第二像素索引。

一些方法可以考虑邻接区块(邻接空间区块或者邻接时间区块)。作为 示例，编码器可以测试全局水平的特定插值滤波器以及区域水平的多个插 值滤波器。然后，编码器可以基于诸如率失真成本或者率失真复杂度成本 的预先定义的标准，选择是否利用全局或者区域水平的插值滤波。另外， 一些方法可以包括早终止，其中，特定方法例如可以包括考虑“复杂度” 开支。复杂度开支可以由编码器定义，其中，编码器可以简化或者结束变 得过于复杂的最优化处理。编码器还可以在进行最优化处理时考虑解码复 杂度。

另外，显式滤波器由于滤波器系数信令的附加开销，可以或者不能产 生更好的性能。通常，编码器基于诸如在图8中给定的选择处理的选择处 理，生成关于是否使用显式或者固定滤波器的决定。

C.1显式滤波器信令

当使用显式插值滤波器(表1中的滤波器索引为5)时，滤波器系数信 令可能招致高比特开销。由于该原因，通常使用某些类型的像素对称和系 数对称，来减少需要用信令表示的唯一的滤波器系数的数量。

使用像素和系数对称进行处置来减少唯一滤波器系数的数量的示例 性参考文献，是2010年1月14日提交的标题为“Buffered Adaptive Filters” 的美国临时申请第61/295,034号。该参考文献的全部内容通过引用，包含 于此。

图9示出了像素对称的第一示例。特别地，图9利用1/4像素精度， 因此示出了标记为像素“A”至“O”的15个分数像素位置以及标记为“INT” 的全像素位置。在图9中，假设共享相同的阴影图案的分数像素位置也共 享相同集合的滤波器参数；然而，它们的插值滤波器是彼此的转置和/或 翻转(flipped)版本。因此，使用如图9所示的像素对称，仅需要用信令表 示用于15个像素位置中的5个的插值滤波器。特别地，分数像素“A”、“C”、 “D”和“L”共享第一集合的滤波器系数，“B”和“H”共享第二集合的滤波器 系数，“E”、“G”、“M”和“O”共享第三集合的滤波器系数，“J”具有第四 集合的滤波器系数。因此，通过使用像素对称，滤波器系数的数量减少， 因此用于滤波器系数信令的比特开销减少。

图10示出了像素对称的第二示例。仅用信令表示分数位置“A”和“B” 的水平插值滤波器以及分数位置“D”和“H”的垂直插值滤波器。分数位置 “C”和“L”分别共享与分数位置“A”和“D”相同的集合的滤波器。首先，使 用水平插值滤波器对2D像素位置(即“E”、“F”、“G”、“I”、“J”、“K”、 “M”、“N”和“O”、)中的每个进行插值，然后使用垂直插值滤波器进行滤 波(或者相反)。为了进一步减少用于滤波器系数信令的比特开销，可以强 制水平插值滤波器和垂直插值滤波器共享相同集合的滤波器系数，从而 “A”、“C”、“D”和“L”共享一个集合的滤波器系数，“B”和“H”共享另一 个集合的滤波器系数。

更具体地，考虑分数位置“A”、“C”和“D”的像素对称。通过利用像 素对称，分数位置“A”和“C”可以共享相同集合的滤波器系数，但是它们 的滤波器是彼此的转置版本(旋转180°)。分数位置“A”和“D”也共享相同 的系数，但是水平地应用“A”的滤波器，而垂直地应用“D”的滤波器，因 此“D”的滤波器相对于“A”的滤波器呈现90°。虽然插值滤波器本身在分数 位置“A”、“C”和“D”中的任意一个之间不相同，但是因为可以使用这些 分数位置中的任意一个的插值滤波器来得到另外两个的插值滤波器，因此 用信令表示这些分数位置中的任意一个的滤波器系数就足够了。因此，使 用像素对称获得了比特开销节省。还可以利用先前列出的其它对称来实现 比特开销节省。

图9和图10仅仅是像素对称的两个示例。也可以使用其它类型的像 素对称，来减少滤波器系数信令开销。编码器可以选择最佳像素对称，并 且作为RPU有效载荷的一部分用信令向解码器通知像素对称。除了参考 图片的像素对称之外，还可以实施诸如系数对称的其它对称，来进一步减 少滤波器信令开销。例如，像素位置“B”和“H”的插值滤波器可以是对称 滤波器。

在由插值滤波器进行的运动扭曲处理期间，通常使用较高的分数像素 精度。分数像素精度越高，则产生质量越好的扭曲参考图片。然而，分数 像素精度越高，也导致需要信令的滤波器的数量越大，从而产生高比特开 销。即使当强制某一类型的像素对称时，随着像素精度增加，实质上比特 开销可能仍然增加。

考虑使用图9中的像素对称的第一示例，如先前所讨论的，其中，使 用1/4像素精度，并且需要用信令表示5个插值滤波器。代替考虑使用1/2^m像素精度来代替1/4像素精度。需要用信令表示的插值滤波器的数量将是 (2^m-2+1)(2^m-1+1)-1，这意味着如果使用1/32像素精度(m=5)，则需要用信 令表示152个滤波器。

考虑使用图10中的像素对称的第二示例，如先前所讨论的，其中， 使用1/4像素精度，并且需要用信令表示4个插值滤波器。代替考虑使用 1/2^m像素精度。如果允许水平和垂直插值滤波器不同，则需要用信令表示 的插值滤波器的数量将是2^m，而如果强迫水平和垂直插值滤波器相同，则 需要用信令表示的插值滤波器的数量将是2^m-1。为了解决需要用信令表示 太多滤波器的问题，可以用信令表示显式滤波器仅到某一精度1/2ⁿ，n≤m， 其中，m是编码器基于诸如率失真成本的标准选择的参数。对于高于1/2ⁿ的任意精度，可以使用固定插值滤波器(表7中索引为0至4的滤波器)。

例如，图11描述了显式滤波器信令(1100)的实施例。图11中的处理 从通常为1/2像素精度的最低插值精度开始(1105)。在针对当前精度用信 令表示了所有显式滤波器(1100)之后，处理判断是否用信令表示了所有精 度(1115)。如果块1115的决定为“是”，则不需要用信令表示其它插值滤波 器。否则，如果1115的决定为“否”，则用信令表示在图11中作为 “stop_flag”示出的一位标志(1120)，以指示接着是否进一步信令显式滤波 器。如果“stop_flag”的值是1(1125)，则不用信令表示更多显式滤波器。 否则，如果“stop_flag”的值是0(1125)，则递增当前像素精度(1130)，并且 进一步继续用信令表示显式插值滤波器(重复块1110、1115、1120和1125)。

在用信令表示了所有显式滤波器之后，处理判断是否用信令表示了所 有精度水平的显式滤波器(1135)。如果块1135的决定为“是”，则不需要进 行进一步信令表示。否则，如果块1135的决定为“否”，则处理将针对所 有其余精度水平用信令表示一个固定滤波器索引(1140)；从该滤波器索引 可以推断所有这些其余精度水平的相应插值滤波器。最后，可以应用使用 的类型的像素对称(先前已信令，在图11中未示出)，从而在所有精度水平 针对所有像素位置获得插值滤波器(1145)。

D.强度补偿

虽然在表1中呈现的运动模型可以使用参考图片提供关于存在于区 域内的运动的准确信息，但是运动模型通常不提供关于可能存在于场景内 的强度改变、特别是亮度和对比度改变的太多信息。因此，将运动模型参 数和附加强度补偿模型组合，可以在多视点、可缩放或者2D编解码系统 中提供编码效率的进一步提高。强度补偿需要在信令强度补偿参数之前得 出强度补偿参数的集合。可以通过诸如直方图匹配、最小二乘估计、DC 减法和比率考虑的多种方法，得到强度补偿参数。可以根据亮度和色度分 量得出不同的强度补偿参数。可选地，强度补偿参数的得出可以基于一个 分量，而其它可以通过简单的投射方法来得出。例如，可以仅基于亮度分 量来得出一些强度补偿参数。可以使用来自根据亮度分量得出的参数的信 息，来估计其余强度补偿参数、即通过根据色度分量获得的强度补偿参数。

可以使用包括诸如在高动态范围应用中使用的非线性方法的非线性 方法的多种方法，来表示对参考图片应用的强度补偿。在特定实施例中， 为了简单，强度补偿可以使用如下面的方程式(10)所示的线性格式：

I′＝w*I+o    (10)

其中，I′是进行像素补偿之后的最终像素，I是进行像素补偿之前的原始 像素，w是指示强度补偿的权重的参数，o是强度补偿的移位。

通常在编码中使用之前，将参数w和o量化。根据需要的像素值的 精度可能还需要限制最终像素I′。通常以整数形式或者固定点形式表示强 度参数，以简化编码处理和计算处理。因此，可以将缩放因数w和o从 浮点精度转换为整数精度或者固定点精度。先前在方程式(8)中定义了这 些转换。

强度补偿参数估计可以基于不进行任何运动考虑的原始图片以及运 动调整/补偿图片。在基于运动调整/补偿的情况下，可以改善强度补偿参 数估计。

另外，可以利用迭代法用于强度补偿参数估计。如下给出示例性迭代 法。在得出初步运动模型参数之后，可以根据初步运动模型参数得出初始 强度补偿参数。给定这些初始强度补偿参数，则可以改进初步运动模型参 数。换句话说，通过利用强度参数，可以重新估计所有运动模型参数，由 此产生第二集合的运动模型参数。使用第二运动模型参数，之后可以进行 强度补偿参数的第二次改进。可以重复进行该迭代处理，直到观察到运动 模型参数和强度参数的可忽略的改变为止。可选地，可以重复进行该迭代 处理，直到强度补偿的性能对于特定应用足够为止。作为另一可选项，可 以将该迭代处理重复进行预先定义的迭代次数。

还可以考虑检测淡入淡出(fade)和交叉淡入淡出(cross-fade)，来加速 该迭代处理。例如，可以使用简化方法，使得如果在参考图片中没有检测 到淡入淡出和交叉淡入淡出，则完全跳过强度参数的检测。另一方面，如 果检测到了淡入淡出和交叉淡入淡出，则编码器可以附加进行照度参数的 估计，并且在估计对于编码处理有益的情况下，向解码器信令照度参数。

如早前所提及的，强度参数可能在RPU内是任选的。强度参数的信 令表示可以基于用来用信令表示每个区域的标志。可选地，强度参数的信 令表示也可以基于任意或者所有邻接区块是否也用信令表示强度参数。换 句话说，可以在基于邻接区域的预测处理中利用邻接区块。基于邻接区域 的预测处理例如可以使用多数投票，其中，将使用邻接区块中的强度参数 来判断是否针对特定区域用信令表示这些相同的强度参数。也就是说，如 果所有或者大多数邻接区块使用相同的强度参数，则预测使用那些相同的 强度参数。对强度参数的编码还可以基于邻接参数的强度参数的值。与早 前讨论的运动预测模型的情况类似，编码还可以考虑全局预测方法。如早 前所提及的，还可以针对移位o和权重w或者针对不同的颜色分量，用 信令表示不同的标志。

在位流中不用信令表示的强度参数的情况下，使用默认集合的强度参 数。为了在编码器和解码器两者处生成新的参考图片，可以根据下面示出 的方程式(11)进行强度补偿：

I′＝Floor(((w_int*I)*s_o+o_int*s_w+r)/(s_w*s_o))    (11)

其中，r是舍入移位，w_int和o_int是如从位流中解码的具有整数精度的强度 参数(特别地分别是权重和移位参数)，s_w和s_o分别是用于权重和移位参数 的缩放因数。除了方程式(11)对照度参数应用缩放因数s_w和s_o之外，方程 式(11)等同于方程式(10)。

E.去噪滤波器

作为参考处理的示例性实施例的最后的步骤，可以对运动补偿图像应 用去噪滤波器、通常也称为伪影减少滤波器，以进一步改善处理后的参考 图片的质量。可以使用去噪滤波器，来进一步减少在编码和/或扭曲处理 期间引入的噪声和伪影以及已经存在于原始源中的噪声和伪影。通过进一 步减少噪声和伪影，去噪滤波器进一步改善参考图片的质量，由此改善参 考图片的作为预测信号的功能。

在许多实施例中，可以在编码器侧使用最小二乘估计器或者任意其它 最优化处理来获得去噪滤波器。可以在RPU内使用适当句法，用信令向 解码器通知获得的去噪滤波器。

如早前所提及的，图12描绘了解码器侧的框图。特别地，图12示出 了解码器侧的RPU内部的各种部件。当在RPU内部使用去噪滤波器时， 编码器可以使去噪滤波器与RPU中的诸如运动模型和相应的运动模型参 数、插值滤波器、强度补偿等其它部件一起联合最优化。换句话说，编码 器可以在图8所示的选择环内部考虑去噪滤波器最优化。

可以以硬件、软件、固件或者其组合实现在本公开中描述的方法和系 统。可以一起(例如在诸如集成逻辑器件的逻辑器件中)或者单独(例如作为 单独连接的逻辑器件)实现作为块、模块或者部件描述的特征。本公开的 方法的软件部分可以包括计算机可读介质，计算机可读介质包括指令，当 执行时，指令至少部分执行上述方法。计算机可读介质例如可以包括随机 存取存储器(RAM)和/或只读存储器(ROM)。可以由处理器(例如数字信号 处理器(DSP)、专用集成电路(ASIC)或者场可编程逻辑阵列(FPGA))执行 指令。

因此，本发明的实施例可以涉及下面描述的一个或更多个示例实施 例。

相应地，可以以这里描述的形式中的任意一个来实施本发明，包括、 但不限于下面的描述本发明的一些部分的结构、特征和功能的枚举示例实 施例(EEE)：

EEE1.一种用于对参考图片进行处理的方法，包括：

i)基于重构参考图片和处理后的参考图片估计值，对要被编码的原始 图片执行运动估计；

ii)进一步处理经运动估计后图片，以获得进一步处理后的参考图片估 计值；以及

对所述运动估计和所述进一步处理进行迭代，以提供处理后的参考图 片。

EEE2.根据枚举示例实施例1所述的方法，其中，所述进一步处理包括： 用于获得运动模型参数的进一步运动估计以及估计插值滤波器参数、强度 补偿参数和去噪滤波器参数中的至少一个；以及对所述重构参考图片应用 所述运动模型参数及所述插值滤波器参数、强度补偿参数和去噪滤波器参 数中的至少一个。

EEE3.一种迭代法，用于在单层或者多层视频编码系统中执行参考图片 处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区 域的运动参数，所述方法包括：

i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考 图片或者所述重构参考图片的区域，执行运动估计；

ii)执行进一步运动估计，以提供运动模型参数；以及

iii)根据所述运动模型参数来执行扭曲，以获得扭曲图片；以及

对i)-iii)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要 被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重 构参考图片的区域以及所述扭曲图片。

EEE4.一种迭代法，用于在单层或者多层视频编码系统中执行参考图片 处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区 域的运动参数，所述方法包括：

i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考 图片或者所述重构参考图片的区域，执行运动估计；

ii)执行进一步运动估计，以提供运动模型参数；

iii)对所述运动模型参数进行处理，以提供插值滤波器参数和强度补 偿参数中的至少一个；

iv)根据所述运动模型参数以及所述插值滤波器参数和强度补偿参数 中的至少一个来执行扭曲，以获得扭曲图片；以及

对i)-iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要 被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重 构参考图片的区域以及所述扭曲图片。

EEE5.根据枚举示例实施例3所述的方法，在迭代之前还包括：

iv)对所述扭曲图片进行滤波，以获得处理后的参考图片，

其中，所述迭代还对iv)进行迭代，由此对i)-iv)进行迭代，其中，后续迭 代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲 器的所述重构参考图片或者所述重构参考图片的区域以及所述处理后的 参考图片。

EEE6.根据枚举示例实施例4所述的方法，在迭代之前还包括：

v)对所述扭曲图片进行滤波，以获得处理后的参考图片，

其中，所述迭代还对iv)和v)进行迭代，由此对i)-v)进行迭代，其中，后 续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片 缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述处理 后的参考图片。

EEE7.根据包含性的枚举示例实施例1-6中的任一项所述的方法，其中， 所述重构参考图片是未经过处理的所述参考图片缓冲器中的原始参考图 片。

EEE8.根据包含性的枚举示例实施例1-6中的任一项所述的方法，其中， 所述重构参考图片是先前处理过的参考图片。

EEE9.根据包含性的枚举示例实施例1-6中的任一项所述的方法，其中， 先前处理过的参考图片已经通过应用可选运动模型参数、可选插值滤波器 参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个而被处理。

EEE10.根据枚举示例实施例9所述的方法，其中，根据先前的要被编码 的原始图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强 度补偿参数和可选去噪滤波器参数中的至少一个。

EEE11.根据枚举示例实施例9所述的方法，其中，根据先前的要被编码 的原始图片和所述先前处理过的参考图片，估计所述可选运动模型参数、 可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少 一个。

EEE12.根据包含性的枚举示例实施例1-2或5-11中的任一项所述的方 法，其中，将所述处理后的参考图片用作迭代中的后续运动估计的参考。

EEE13.根据包含性的枚举示例实施例1-12中的任一项所述的方法，其 中，所述运动估计包括基于块的运动估计。

EEE14.根据包含性的枚举示例实施例1-12中的任一项所述的方法，其 中，所述运动估计包括频率相关方法或者相位相关方法。

EEE15.根据包含性的枚举示例实施例1-12中的任一项所述的方法，其 中，所述运动估计包括像素水平运动估计方法。

EEE16.根据包含性的枚举示例实施例2-15中的任一项所述的方法，其 中，所述进一步运动估计是梯度下降估计法。

EEE17.根据枚举示例实施例16所述的方法，其中，所述梯度下降估计 法利用从由Newton Raphson迭代法、Levenberg-Marquadet迭代法和最 小二乘估计器构成的组中选择的拟合法。

EEE18.根据包含性的枚举示例实施例2-17中的任一项所述的方法，其 中，所述进一步运动估计利用单个运动模型。

EEE19.根据包含性的枚举示例实施例2-17中的任一项所述的方法，其 中，所述进一步运动估计利用多个运动模型。

EEE20.根据包含性的枚举示例实施例18或19所述的方法，其中，从由 平移、缩放、旋转、各向同性、仿射、立体透视和多项式运动模型构成的 组中，选择所述单个运动模型或者所述多个运动模型。

EEE21.根据包含性的枚举示例实施例2-20中的任一项所述的方法，其 中，所述运动模型参数来自先前经过编码或者处理的图片。

EEE22.根据包含性的枚举示例实施例2-20中的任一项所述的方法，其 中，所述运动模型参数来自相同图片的先前经过处理的区域。

EEE23.根据包含性的枚举示例实施例2-22中的任一项所述的方法，其 中，将所述重构参考图片划分为多个重叠区域。

EEE24.根据包含性的枚举示例实施例2-22中的任一项所述的方法，其 中，将所述重构参考图片划分为多个不重叠区域。

EEE25.根据枚举示例实施例16-24中的任一项所述的方法，其中，通过 插值滤波器选择和强度补偿估计对所述运动模型参数的处理，还基于所述 要被编码的原始图片和所述重构参考图片。

EEE26.根据包含性的枚举示例实施例5-25中的任一项所述的方法，其 中，所述滤波包括去噪滤波。

EEE27.根据包含性的枚举示例实施例5-26中的任一项所述的方法，其 中，基于所述重构参考图片执行所述扭曲。

EEE28.根据包含性的枚举示例实施例3或4所述的方法，其中，基于所 述扭曲图片选择所述运动模型参数。

EEE29.根据包含性的枚举示例实施例5或6所述的方法，其中，基于所 述处理后的参考图片选择所述运动模型参数。

EEE30.根据包含性的枚举示例实施例2-26中的任一项所述的方法，其 中，基于失真成本、率失真成本、失真复杂度或者率失真复杂度，选择所 述运动模型参数。

EEE31.根据包含性的枚举示例实施例3-22中的任一项所述的方法，其 中，通过对叠加或者不叠加区域的分析，来进行图片的区域的运动模型参 数估计。

EEE32.根据枚举示例实施例31所述的方法，其中，所述分析包括进行 平均。

EEE33.根据枚举示例实施例31所述的方法，其中，所述分析包括进行 加权平均。

EEE34.根据枚举示例实施例31所述的方法，其中，所述分析包括：对 所述叠加或者不叠加区域中的任意一个应用多个运动模型，并且基于所述 多个运动模型中的每个运动模型的贡献获得平均值。

EEE35.根据枚举示例实施例31所述的方法，其中，所述分析包括：对 所述叠加或者不叠加区域中的任意一个应用多个运动模型，并且基于所述 多个运动模型中的每个运动模型的贡献获得加权平均值。

EEE36.根据枚举示例实施例35所述的方法，其中，用信令向所述解码 器通知所述加权平均的权重。

EEE37.根据枚举示例实施例31所述的方法，其中，所述分析包括跨区 域边界执行去块。

EEE38.根据枚举示例实施例37所述的方法，其中，在执行去块时使用 基于像素的方法。

EEE39.根据枚举示例实施例37所述的方法，其中，在执行去块时使用 频域方法。

EEE40.根据枚举示例实施例25所述的方法，其中，基于扭曲和率失真 考虑，执行插值滤波器选择。

EEE41.根据枚举示例实施例25所述的方法，其中，用信令向所述解码 器通知插值滤波器选择。

EEE42.根据包含性的枚举示例实施例5或6所述的方法，其中，从所述 运动模型参数获得插值滤波器参数，并且该插值滤波器参数进一步依赖于 来自多个独立插值滤波器的滤波器参数的插值滤波器参数。

EEE43.根据枚举示例实施例42所述的方法，其中，所述多个独立插值 滤波器属于多个像素精度水平。

EEE44.根据枚举示例实施例43所述的方法，其中，所述多个独立插值 滤波器包括多个固定滤波器，其中，由固定滤波器索引标识每个固定滤波 器。

EEE45.根据枚举示例实施例43所述的方法，其中，所述多个独立插值 滤波器包括至少一个固定滤波器和至少一个显式滤波器。

EEE46.根据枚举示例实施例44所述的方法，其中，通过使用与所述多 个固定滤波器中的每个固定滤波器相对应的所述固定滤波器索引，用信令 向所述多个固定滤波器表示与所述多个固定滤波器相对应的所有精度水 平。

EEE47.根据枚举示例实施例44所述的方法，其中，

所述多个固定滤波器包括第一固定滤波器和第二固定滤波器，

由第一固定滤波器索引标识所述第一固定滤波器，并且由第二固定滤 波器索引标识所述第二固定滤波器，以及

所述固定滤波器执行直到第一像素精度水平的插值，所述第二固定滤 波器执行用于高于所述第一像素精度水平的其余像素精度水平的插值。

EEE48.根据枚举示例实施例47所述的方法，其中，通过使用所述第一 固定滤波器索引，用信令向所述第一固定滤波器表示与所述第一固定滤波 器相对应的所有像素精度水平，并且使用所述第二固定滤波器索引，用信 令向所述第二固定滤波器表示与所述第二固定滤波器相对应的所有像素 精度水平。

EEE49.根据枚举示例实施例43所述的方法，其中，所述独立插值滤波 器被适配为通过16位运算使用。

EEE50.根据包含性的枚举示例实施例44或45所述的方法，其中，所述 独立插值滤波器被适配为通过16位运算使用。

EEE51.根据枚举示例实施例45所述的方法，其中，用信令向所述至少 一个显式滤波器通知与所述至少一个显式滤波器相对应的所有像素精度 水平。

EEE52.根据枚举示例实施例50所述的方法，其中，使用与所述至少一 个固定滤波器相对应的所述固定滤波器索引，用信令向所述至少一个固定 滤波器通知与所述至少一个固定滤波器相对应的所有像素精度水平。

EEE53.根据枚举示例实施例50所述的方法，其中，用信令向所述至少 一个显式滤波器通知与所述至少一个显式滤波器相对应的所有像素精度 水平。

EEE54.根据枚举示例实施例43所述的方法，其中，根据使用的插值滤 波器的类型，推断每个像素精度水平和要在所述精度水平使用的其相应的 插值滤波器之间的关系。

EEE55.根据枚举示例实施例43所述的方法，其中，在位流中用信令向 所述解码器通知每个像素精度水平和要在所述精度水平使用的其相应的 插值滤波器之间的关系。

EEE56.根据包含性的枚举示例实施例42或43所述的方法，其中，从由 双线性、Lanczos、双三次、Mitchell-Netravali、基于小波、基于扁带、 基于运动补偿时间滤波和显式插值滤波器构成的组中选择独立插值滤波 器。

EEE57.根据包含性的枚举示例实施例2或26所述的方法，其中，使用 最小二乘估计器获得用于执行去噪滤波的去噪滤波器。

EEE58.根据包含性的枚举示例实施例2或26所述的方法，其中，与所 述运动模型参数、所述插值滤波器参数和所述强度补偿参数中的至少一个 的估计处理联合获得用于执行去噪滤波的去噪滤波器。

EEE59.根据包含性的枚举示例实施例2或26所述的方法，其中，在完 成所述运动模型参数、所述插值滤波器参数和所述强度补偿参数的估计处 理之后，获得用于执行去噪滤波的去噪滤波器。

EEE60.根据包含性的枚举示例实施例2、26、58或59中的任一项所述 的方法，其中，从由高斯滤波器、中值滤波器和分阶滤波器构成的组中选 择用于执行去噪滤波的去噪滤波器。

EEE61.一种解码方法，所述解码方法用于当在单层或多层视频编码系统 中执行参考图片处理时，在解码器处对参考图片缓冲器的重构参考图片或 者所述重构参考图片的区域进行解码，所述解码器被适配为对从编码器获 取的参数信息进行接收和解析，所述方法包括：

i)对输入图片执行扭曲，以获得第一处理图片；以及

ii)对所述第一处理后图片应用强度补偿，以获得第二处理图片。

EEE62.根据枚举示例实施例61所述的方法，还包括：

iii)对所述第二处理图片进行滤波，以获取处理后的参考图片。

EEE63.根据包含性的枚举示例实施例61或62所述的方法，其中，基于 所述重构参考图片执行扭曲。

EEE64.根据包含性的枚举示例实施例61-63中的任一项所述的方法，其 中，基于运动模型参数和插值滤波器参数执行扭曲。

EEE65.根据包含性的枚举示例实施例61-64中的任一项所述的方法，其 中，基于强度补偿参数执行强度补偿。

EEE66.根据包含性的枚举示例实施例61-64中的任一项所述的方法，其 中，基于去噪滤波器参数执行去噪滤波。

EEE67.根据包含性的枚举示例实施例61-64中的任一项所述的方法，其 中，基于去块滤波器参数执行去块滤波。

EEE68.根据包含性的枚举示例实施例61或62所述的方法，其中，所述 重构参考图片是未经过处理的所述参考图片缓冲器中的原始参考图片。

EEE69.根据包含性的枚举示例实施例61或62所述的方法，其中，所述 重构参考图片是先前处理过的参考图片。

EEE70.根据包含性的枚举示例实施例61或62所述的方法，其中，所述 先前处理过的参考图片已经通过应用可选运动模型参数、可选插值滤波器 参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个而被处理。

EEE71.根据枚举示例实施例70所述的方法，其中，根据先前的要被编 码的原始图片，估计所述可选运动模型参数、可选插值滤波器参数、可选 强度补偿参数和可选去噪滤波器参数中的至少一个。

EEE72.根据枚举示例实施例70所述的方法，其中，根据先前的要被编 码的原始图片和所述先前处理过的参考图片，估计所述可选运动模型参 数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的 至少一个。

在本说明书中提及的所有专利和公布可以指示本公开所涉及的本领 域技术人员的技术水平。像通过引用单独包含每个参考文献的全部内容一 样的程度，通过引用包含在本公开中引用的所有参考文献。

应当理解，本公开不限于特定方法或者系统，特定方法或者系统当然 可以变化。还应当理解，这里使用的术语仅用于描述特定实施例的目的， 而不旨在进行限制。如在本说明书和所附权利要求中所使用的，除非内容 另外清楚地指出，否则单数形式“一”、“一个”和“该”包括复数指代。除非 另外定义，否则这里使用的所有科技术语具有与本公开所涉及的本领域普 通技术任意通常所理解的相同的含义。

提供上面叙述的示例，以向本领域普通技术任意给出对如何作出并使 用本公开的参考处理方法的实施例的完全公开和描述，而不旨在限制发明 人视为其公开的内容的范围。视频领域技术人员可以使用上述本公开的实 施方式的变形，这些变形旨在所附权利要求的范围内。

描述了本公开的多个实施例。尽管如此，应当理解，可以进行各种变 形，而不脱离本公开的精神和范围。相应地，其它实施例在所附权利要求 的范围内。

参考文献列表

[1]Advanced video coding for generic audiovisual services, http://www.itu.int/rec/recommendation.asp?type=folders&lang=e&parent=T-REC-H.264,March2010.

[2]SMPTE421M,“VC-1Compressed Video Bitstream Format and Decoding Process,”April2006.

[3]G.J.Sullivan and T.Wiegand,“Rate-distortion optimization for video compression,”IEEE Signal Processing Magazine,vol.15,issue6, November1998.

[4]Y. He,B.Feng,S.Yang,Y.Zhong,“Fast Global Motion Estimation for Global Motion Compensation Coding,”2001IEEE International Symposium on Circuits and Systems(ISCAS'2001),May2001,Page(s): 233-236vol.2.