具有与至少一个相邻参考图像分区的几何形状或尺寸不同的几何形状或尺寸的当前图像分区的移动向量的预测以及使用一个这种预测的编码和解码

摘要

本发明涉及一种用于对当前图像(I

说明书

技术领域

本发明一般地属于图像处理的领域，且更精确地，属于数字图像的和数 字图像序列的基于竞争的编码和解码。

背景技术

存在几种编码和解码方法，以用于传送图像。在主要类型的编码之中， 具体地是诸如所谓的“帧内(intra)”编码、亦或所谓的“帧间(inter)”编码之 类的那些编码，在该所谓的“帧内”编码中，按照自治的方式(即，无需参考 其它图像)来对图像进行编码，所谓的“帧间”编码在于相对于过去的图像来 对当前图像进行编码，从而表达这些图像之间的差异，并且仅仅传送此差异。

用于前述类型的编码的方法一般包括预测性编码的步骤，根据该预测性 编码，当前图像的图像部分(叫做块或宏块)相对于其它参考块或宏块(即， 预先编码并然后解码的其它参考块或宏块)来进行预测。

在例如H264/MPEG-4AVC(代表了“高级视频编码”)标准的情况下，宏 块的预测性编码在于，根据一般具有较小尺寸的块的形状的多个分区 (partition)来对宏块进行分割。

更精确地说，在根据前述标准的帧间编码的情况下，可以根据16×16、 8×16、16×8和8×8模式来对要编码的当前宏块进行分区。如果选择了8×8模 式，则根据8×8、4×8、8×4和4×4模式来对每个8×8块进行再次分区。将每 个当前块与一个或多个参考图像的相应的一个或多个块进行比较。然后，获 得运动向量，该运动向量描述当前块与具有与先前图像中的当前宏块相同的 位置的参考块之间的运动。然后，计算此运动向量的预测器，从而对前述的 运动向量与计算的预测器运动向量之间的残差进行编码。

运动向量的这种预测不适于所有类型的分区。

例如，图1A表现了表示为MBC_N的、要编码的当前宏块的分区P1的运 动向量MVp1的时间预测的情况，该要编码的当前宏块属于要根据前述标准 来进行编码的图像N。在所表现的示例中，这种宏块MBC_N具有传统的正方 形形状。尺寸比当前宏块MBC_N的尺寸更小的分区P1也具有正方形形状。而 且，分区P1被其他宏块BR1、BR2、BR3、BR4所包围，所述其他宏块 BR1、BR2、BR3、BR4位于该分区P1的接近邻域中，并且在所表现的示例 中，所述其他宏块BR1、BR2、BR3、BR4具有与宏块MBC_N的形状和尺寸 相同的形状和尺寸。

在所表现的示例中，运动向量MVp1指向表示为N-1的参考图像的区域 (zone)p′1处，该参考图像例如是紧邻的前一图像。在前一图像N-1中，参 考图像区域p′1与当前宏块MBC_N的分区p1具有相同的位置，并且与多个参 考分区r′1、r′2、r′3和r′4邻接。

在H264/AVC标准的应用中，仅仅在空间上预测前述的运动向量 MVp1。更精确地，采取参考运动向量的计算，该参考运动向量等于与参考 宏块BR1、BR3、BR4分别相关联的运动向量MV1、MV3、MV4的中值。

而且，最近已经出现了要编码的当前宏块的新类型的分区，该分区还没 有提供在H264/AVC标准中。因而，如图1B所表现的，可以将要编码的当 前宏块MBC_N分割为线性形状的、L形状的、亦或完全任意形状的几个分区 P1到Pp。

H264/AVC标准没有提供适合于图1B的各种类型的分区的并且适合于 以下特定情况的任何运动向量预测，在该特定情况下，此向量所指向的参考 图像区域具有与至少一个邻居参考分区的几何形状亦或尺寸分别不同的几何 形状或尺寸。

这种情形表现在图1C中，该图1C图示了分别与要编码的当前宏块 MBC_N的三个分区P1、P2、P3相关联的几个运动向量MVp1、MVp2、MVp3 的预测的情况，该要编码的当前宏块MBC_N属于要根据前述标准来进行编码 的图像N。在所表现的示例中，宏块MBC_N的分区P1、P2和P3具有任意的 几何形状。

在所表现的示例中，表示为MVp1的、当前宏块MBC_N的第一分区P1 的运动向量指向在前一图像N-1中与当前宏块MBC_N具有相同位置的参考图 像N-1的参考宏块MBC_N-1的参考图像区域p′1处。与参考图像区域p′1邻接 的参考分区r′1具有与参考图像区域p′1的几何形状非常不同的几何形状，并 且H264/AVC标准没有提出专用于诸如此类的典型情况的计算方案。

在H264/AVC标准的应用中，例如为了预测运动向量Mvp1，如在图1A 的情况中一样，采取参考运动向量的计算，该参考运动向量一般等于与当前 图像N的参考宏块BR1、BR3、BR4分别相关联的运动向量MV1、M3、 MV4的空间中值(median)。

在顾及以下事实(该事实即，在图像N-1中，在参考图像区域p′1与参 考分区r′1、r′2、r′3、r′4之间存在形状上和尺寸上的差异)的情况下，运动向 量的这种空间预测可能结果是缺少精确度。

例如，图1D表现了表示为MBC_N的、要编码的当前宏块的分区P1的运 动向量MVp1的空间预测的情况，该要编码的当前宏块属于要根据前述标准 来进行编码的图像N。在H264/AVC标准中使用的传统预测方案在于，凭借 分别与分区P1的邻居参考分区(即，图1D的分区BR1、BR3和BR4)相关 联的参考运动向量的中值来计算分区P1的运动向量MVp1。

现在，应该注意到，远离于刚好安排在分区P1之上的分区r′5，其他参 考分区BR1、BR2正像BR3的参考子分区r′1、r′2、r′3和BR4的r′4一样， 具有与分区P1的几何形状或尺寸非常不同的几何形状或尺寸。因而，按照 类似于图1C的方式，传统的预测方案因此将不适合于在图1D所图示的特定 分区。确实地，这种方案没有施加用于选择在几何形状或尺寸方面最为适合 的参考分区的任何规则，并因此，没有施加用于选择用于预测MVp1的对应 参考运动向量的任何规则。

而且，已知用于着眼于对当前宏块的分区进行帧间编码而计算参考运动 向量的其他方案。

所述其他方案之一描述在作者为G Laroche，J.Jung和B.Pesquet-Popescu 的公开IEEE Transactions on Circuits and System for Video Technology，第18 卷，1247-1257(2008年九月)，并且涉及以下情况，其中如在H264/AVC 标准中一样，根据一般具有较小尺寸的块的形状的多个分区来对宏块进行分 割。根据此方案，相对于参考运动向量来预测当前图像的宏块的运动向量， 该参考运动向量被选定为指向位于在前一图像中与当前宏块具有相同位置的 宏块的顶部且在左边最远处的像素处。

如果试图将后者方案应用于图1A的向量MVp1的预测或应用于图1C的 向量MVp1的预测，则：

-基于与参考分区r′2相关联的参考运动向量来获得图1A的向量 MVp1，参考分区p′1的最左边的像素位于参考分区r′2中；

-基于与参考分区r′1相关联的参考运动向量来获得图1C的向量 MVp1，参考分区p′1的最左边的像素位于参考分区r′1中。

由于与结合在H264/AVC标准中使用的预测方案而在上面描述的原因相 同的原因，所以没有一种预测是适合于各种可能类型的分区的利用此编码方 案所获得的预测。

发明内容

本发明的目标之一在于补救前述现有技术的缺点。

为此目的，根据第一方面，本发明涉及一种对当前图像的分区的运动向 量进行空间预测的方法，该空间预测是基于多个与所述当前图像的n个参考 分区分别相关联的n个参考运动向量，所述n个参考分区已经被预先编码并 然后解码。

根据本发明，在其中所述当前分区的几何形状与k个邻居参考分区的几 何形状不同的情况下，其中k≤n，基于至少一个参考运动向量的函数来确定 当前图像分区的运动向量，该至少一个参考运动向量属于与k个邻居参考分 区分别相关联的k个参考运动向量的集合。

因而，这种安排使得可能通过考虑到以下因素来显著地改善当前分区的 运动向量的预测的精确度：

-当前宏块的特定分区，

-在所考虑的当前分区与邻接参考分区之间形状上或尺寸上的差异。

此外，根据本发明的预测可适于任何类型的用于计算当前分区的预测的 运动向量的方案，诸如具体地，根据H264/AVC标准的方案和在前述的IEEE 公开中描述的方案。

在一个实施例中，该确定当前分区的运动向量的步骤包括以下步骤：

-对所述当前分区的至少一个像素进行空间扩展，

-从所述当前分区的所述k个邻居参考分区的集合之中选择与所述扩展 的当前分区重叠的k_c个参考分区的子集，

-计算与k_c个所选择的参考分区分别对应的k_c个参考运动向量的均值 (mean)。

因而，这种安排使得可能基于以下选定准则来选择非常精确的参考运动 向量，该选定准则这里是基于一方面的当前分区与另一方面的(多个)最接 近参考分区之间的接近性。

在另一实施例中，该确定当前分区的运动向量的步骤包括以下步骤：

-一方面，确定所述当前分区的中心，并且另一方面，确定所述k个邻 居参考分区中的每一个的中心，

-计算所确定的所述当前分区的中心分别与所确定的所述k个邻居参考 分区中的每一个的中心分隔开的距离，

-从所述k个邻居参考分区之中选择其中心位于距所述当前分区的最小 计算距离的那个邻居参考分区，

-选择与所述所选择的参考分区对应的参考运动向量。

在特定运行程式中，该确定当前分区的运动向量的步骤包括以下步骤：

-从所述当前分区的所述k个邻居参考分区的集合之中选择与当前分区 最接近的k_p个参考分区的子集，

-计算一方面的所述当前分区的中心与另一方面的k_p个最接近参考分区 中的每一个的中心之间的相应距离，

-计算分别与k_p个所选择的参考分区对应的k_p个参考运动向量的均值， 所述均值通过所计算的相应距离来进行加权。

因而，这种安排使得可能按照更为精细且更加定向的方式，基于以下选 定准则来选择一个或多个参考运动向量，该选定准则这里不但是基于当前分 区与(多个)最接近参考分区之间的接近性，而且是基于一方面的当前分区 的中心与另一方面的邻居参考分区中的每一个的中心之间的距离的比较。

在另一实施例中，该确定当前分区的运动向量的步骤包括以下步骤：

-对所述当前分区的边缘在k个邻居参考分区中的至少某些参考分区上 进行延长，

-从所述某些邻居参考分区之中选择位于所延长的边缘的同一侧上的 k_prol个参考分区的子集，

-计算与k_prol个所选择的参考分区分别对应的k_prol个参考运动向量的均 值。

因而，这种安排使得可能按照定向的方式，基于以下选定准则来选择一 个或多个非常精确的参考运动向量，该选定准则这里是基于在预先编码并然 后解码的宏块中的非连续性的存在。由于基于被假设为与在均质的图像的区 域中相比、在包含非连续性的图像的区域中更加精确的参考运动向量来获得 预测，因而改善了该预测的精确度。

在另一实施例中，该确定当前分区的运动向量的步骤包括以下步骤：

-确定所述当前分区的最长边缘，

-从所述k个邻居参考分区之中选择公共地具有所述边缘的k_bd个参考分 区的子集。

因而，这种安排使得可能基于以下选定准则来选择非常精确的参考运动 向量，该选定准则这里是基于一方面的当前分区与另一方面的(多个)最接 近参考分区之间的接近性。

而且，通过确定用于将当前分区与至少一个邻居参考分区分界开的这些 当前分区的最长边缘，来细化这种选择。

根据第一变体，在该选择步骤之后跟随有计算分别与k_bd个所选择的参考 分区对应的k_bd个参考运动向量的均值的步骤。

根据第二变体，该选择步骤在于，从公共地具有所述最长边缘的k_bd个参 考分区的子集之中选择其公共的边缘的部分最长的参考分区，并然后选择与 所述所选择的参考分区对应的参考运动向量。

在又一实施例中，该确定当前分区的运动向量的步骤包括以下步骤：

-一方面计算所述当前分区的均值像素值，并且另一方面，计算用于所 述k个邻居参考分区中的每一个的相同类型的像素值，

-从k个邻居参考分区之中选择其计算均值像素值最接近于所述当前分 区的像素值的那个邻居参考分区，

-选择与所述所选择的参考分区对应的参考运动向量。

因而，这种安排使得可能基于以下某一特性来选择非常精确的参考运动 向量，该某一特性这里是基于在当前分区的邻居参考分区中对特定像素分量 (诸如，图案的、色彩的、轮廓的均值亮度等…)进行标识。

根据第二方面，本发明涉及一种用于对图像或图像的序列进行编码、以 生成数据流的方法，该数据流包括表现了至少一个图像分区的数据，这种方 法包括对所述图像分区的运动向量进行空间预测的步骤。

这种编码方法的特征在于，所述空间预测根据前述空间预测方法来执行。

根据第三方面，本发明涉及一种用于对数据流进行解码的方法，该数据 流表现了图像或图像的序列，所述流包括表现了至少一个图像分区的数据， 这种方法包括对所述图像分区的运动向量进行空间预测的步骤。

这种方法的特征在于，所述空间预测根据前述空间预测方法来执行。

相关地，根据第四方面，本发明涉及一种用于对当前图像的分区的运动 向量进行空间预测的装置，该空间预测是基于多个与所述当前图像的n个参 考分区分别相关联的n个参考运动向量，所述n个参考分区已经被预先编码 并然后解码。

根据本发明，在其中所述当前分区的几何形状与k个邻居参考分区的几 何形状不同的情况下，其中k≤n，该空间预测装置包括计算模块，该计算模 块能够基于至少一个参考运动向量的函数来确定当前图像分区的运动向量， 该至少一个参考运动向量属于与k个邻居参考分区分别相关联的k个参考运 动向量的集合。

相关地，根据第五方面，本发明涉及一种用于对图像或图像的序列进行 编码、以生成数据流的装置，该数据流包括表现了至少一个图像分区的数据， 这种装置包括用于对所述图像分区的运动向量进行空间预测的部件。

这种编码装置的特征在于，所述预测部件包含在前述空间预测装置中。

相关地，根据第六方面，本发明涉及一种用于对数据流进行解码的装置， 该数据流表现了图像或图像的序列，所述流包括表现了至少一个图像分区的 数据，这种装置包括用于对所述图像分区的运动向量进行空间预测的部件。

这种解码装置的特征在于，所述预测部件包含在前述空间预测装置中。

本发明还涉及一种计算机程序，包括用于当在计算机上运行该计算机程 序时、实现根据本发明的方法之一的指令。

所述编码方法、解码方法、空间预测装置、编码装置和解码装置至少展 现出与根据本发明的空间预测方法所传达的优点相同的优点。

按照对应的方式，本发明还可应用于运动向量的时间预测。为此目的， 根据第七方面，本发明涉及一种用于对当前图像的分区的运动向量进行时间 预测的方法，该运动向量指向参考图像区域处，该参考图像区域具有与当前 分区相同的形状、并属于与当前图像不同的并且在完成编码并然后完成解码 时已经预先被分割为多个n个分区的参考图像。

根据本发明，在其中参考图像区域被安排在n个参考分区之一内部的情 况下，基于至少一个参考运动向量的函数来确定当前图像分区的运动向量， 该至少一个参考运动向量属于与多个n个参考分区的k个分区分别相关联的 k个参考运动向量的集合，该k个分区是所述参考图像区域的邻居。

因而，这种安排使得可能通过考虑到以下因素来显著地改善当前分区的 运动向量的时间预测的精确度：

-参考宏块的特定分区，

-在所考虑的参考图像区域与邻接参考分区之间形状上或尺寸上的差 异。

此外，根据本发明的时间预测可适于任何类型的用于计算当前分区的预 测的运动向量的方案，诸如具体地，根据H264/AVC标准的方案和在前述的 IEEE公开中描述的方案。

在一个实施例中，该确定当前分区的运动向量的步骤包括以下步骤：

-对所述参考图像区域的至少一个像素进行空间扩展，

-从所述参考图像区域的所述k个邻居参考分区的集合之中选择与所述 扩展的参考图像区域重叠的k_c个参考分区的子集，

-计算与k_c个所选择的参考分区分别对应的k_c个参考运动向量的均值。

因而，这种安排使得可能基于以下选定准则来选择非常精确的参考运动 向量，该选定准则这里是基于一方面的参考图像区域与另一方面的(多个) 最接近参考分区之间的接近性。

在另一实施例中，该确定参考图像区域的运动向量的步骤包括以下步骤：

-一方面，确定所述参考图像区域的中心，并且另一方面，确定所述k 个邻居参考分区中的每一个的中心，

-计算所确定的所述参考图像区域的中心分别与所确定的所述k个邻居 参考分区中的每一个的中心分隔开的距离，

-从所述k个邻居参考分区之中选择其中心位于距所述参考图像区域的 最小计算距离的那个邻居参考分区，

-选择与所述所选择的参考分区对应的参考运动向量。

根据特定运行程式中，该确定当前分区的运动向量的步骤包括以下步骤：

-从所述参考图像区域的所述k个邻居参考分区的集合之中选择最接近 于参考图像区域的k_p个参考分区的子集，

-计算一方面的所述参考图像区域的中心与另一方面的k_p个最接近参考 分区中的每一个的中心之间的相应距离，

-计算分别与k_p个所选择的参考分区对应的k_p个参考运动向量的均值， 所述均值通过所计算的相应距离来进行加权。

因而，这种安排使得可能按照更为精细且更加定向的方式，基于以下选 定准则来选择一个或多个参考运动向量，该选定准则这里不但是基于参考图 像区域与(多个)最接近参考分区之间的接近性，而且是基于一方面的参考 图像区域的中心与另一方面的邻居参考分区中的每一个的中心之间的距离的 比较。

在另一实施例中，该确定当前分区的运动向量的步骤包括以下步骤：

-对所述参考图像区域的边缘在k个邻居参考分区中的至少某些参考分 区上进行延长，

-从所述某些邻居参考分区之中选择位于所延长的边缘的同一侧上的 k_prol个参考分区的子集，

-计算与k_prol个所选择的参考分区分别对应的k_prol个参考运动向量的均 值。

因而，按照安排使得可能按照定向的方式，基于以下选定准则来选择一 个或多个非常精确的参考运动向量，该选定准则这里是基于在预先编码并然 后解码的宏块中的非连续性的存在。由于基于被假设为与在均质的图像的区 域中相比、在包含非连续性的图像的区域中更加精确的参考运动向量来获得 时间预测，因而改善了该时间预测的精确度。

在另一实施例中，该确定当前分区的运动向量的步骤包括以下步骤：

-确定所述参考图像区域的最长边缘，

-从所述k个邻居参考分区之中选择公共地具有所述边缘的k_bd个参考分 区的子集。

因而，这种安排使得可能基于以下选定准则来选择非常精确的参考运动 向量，该选定准则这里是基于一方面的参考图像区域与另一方面的(多个) 最接近参考分区之间的接近性。

而且，通过确定用于将参考图像区域与至少一个邻居参考分区分界开的 这些参考图像区域的最长边缘来细化这种选择。

根据第一变体，在该选择步骤之后跟随有计算分别与k_bd个所选择的参考 分区对应的k_bd个参考运动向量的均值的步骤。

根据第二变体，该选择步骤在于，从公共地具有所述最长边缘的k_bd个参 考分区的子集之中选择其公共的边缘的部分最长的参考分区，并然后选择与 所述所选择的参考分区对应的参考运动向量。

在又一实施例中，该确定当前分区的运动向量的步骤包括以下步骤：

-一方面计算所述参考图像区域的均值像素值，并且另一方面，计算用 于所述k个邻居参考分区中的每一个的相同类型的像素值，

-从k个邻居参考分区之中选择其所计算的均值像素值最接近于所述参 考图像区域的像素值的那个邻居参考分区，

-选择与所述所选择的参考分区对应的参考运动向量。

因而，这种安排使得可能基于以下某一特性来选择非常精确的参考运动 向量，该某一特性这里是基于在参考图像区域的邻居参考分区中对特定像素 分量(诸如，图案的、色彩的、轮廓的均值亮度等…)进行标识。

根据第八方面，本发明涉及一种用于对图像或图像的序列进行编码、以 生成数据流的方法，该数据流包括表现了至少一个图像分区的数据，这种方 法包括对所述图像分区的运动向量进行时间预测的步骤。

这种编码方法的特征在于，所述时间预测根据前述时间预测方法来执行。

根据第九方面，本发明涉及一种用于对数据流进行解码的方法，该数据 流表现了图像或图像的序列，所述流包括表现了至少一个图像分区的数据， 所述方法包括对所述图像分区的运动向量进行时间预测的步骤。

这种方法的特征在于，所述时间预测根据前述时间预测方法来执行。

相关地，根据第十方面，本发明涉及一种用于对当前图像的分区的运动 向量进行时间预测的装置，该运动向量指向参考图像区域处，该参考图像区 域具有与当前分区相同的形状，并属于与当前图像不同的并且在完成编码并 然后完成解码时已经预先被分割为多个n个分区的参考图像。

根据本发明，在其中参考图像区域被安排在n个参考分区之一内部的情 况下，该时间预测装置包括计算模块，该计算模块能够基于至少一个参考运 动向量的函数来确定当前图像分区的运动向量，该至少一个参考运动向量属 于与多个n个参考分区的k个分区分别相关联的k个参考运动向量的集合， 该k个分区是所述参考图像区域的邻居。

相关地，根据第十一方面，本发明涉及一种用于对图像或图像的序列进 行编码、以生成数据流的装置，该数据流包括表现了至少一个图像分区的数 据，这种装置包括对所述图像分区的运动向量进行时间预测的部件。

这种编码装置的特征在于，所述预测部件包含在前述时间预测装置中。

相关地，根据第十二方面，本发明涉及一种用于对数据流进行解码的装 置，该数据流表现了图像或图像的序列，所述流包括表现了至少一个图像分 区的数据，这种装置包括对所述图像分区的运动向量进行时间预测的部件。

这种解码装置的特征在于，所述预测部件被包含在前述时间预测装置中。

本发明还涉及一种计算机程序，包括用于当在计算机上运行该计算机程 序时、实现根据本发明的方法之一的指令。

所述编码方法、解码方法、时间预测装置、编码装置和解码装置至少展 现出与根据本发明的时间预测方法所传达的优点相同的优点。

附图说明

一旦阅读了参考附图所描述的优选实施例，其他特性和优点就将变得明 显，在附图中：

-图1A表现了现有技术的示范时间预测，其利用了图像N的要编码的 当前宏块与前一图像N-1的参考宏块之间的时间相关性，该参考宏块具有正 方形形状，并且被安排在邻居参考宏块内部，

-图1B表现了根据现有技术的各种类型的分区的宏块分割，

-图1C表现了现有技术的示范时间预测，其利用了图像N的要编码的 当前宏块与前一图像N-1的参考宏块之间的时间相关性，该当前宏块被根据 任意形状的几个分区来进行分割，这些分区之一的运动向量指向被安排在邻 居参考宏块内部的参考图像区域处，

-图1D表现了现有技术的示范空间预测，其利用了图像N的要编码的 当前宏块与此图像的邻居参考分区之间的空间相关性，

-图2表现了根据本发明的编码方法的步骤，

-图3表现了根据本发明的编码装置的实施例，

-图4A和4B表现了分别根据空间和时间两种类型的预测的、根据本发 明的用于预测运动向量的第一方案，

-图5A和5B表现了分别根据空间和时间两种类型的预测的、根据本发 明的用于预测运动向量的第二方案，

-图6A和6B表现了分别根据空间和时间两种类型的预测的、根据本发 明的用于预测运动向量的第三方案，

-图7A和7B表现了分别根据空间和时间两种类型的预测的、根据本发 明的用于预测运动向量的第四方案，

-图8A和8B表现了分别根据空间和时间两种类型的预测的、根据本发 明的用于预测运动向量的第五方案，

-图9表现了根据本发明的解码装置，

-图10表现了根据本发明的解码方法的步骤。

具体实施方式

现在，将描述本发明的实施例，其中根据本发明的编码方法用于根据二 进制流来对图像的序列进行帧间编码，该二进制流与经由根据H.264/MPEG-4 AVC标准的编码所获得的二进制流非常相像。在此实施例中，例如，通过修 改初始地符合H.264/MPEG-4AVC标准的编码器，而按照软件或硬件方式来 实现根据本发明的编码方法。按照包括在图2中表现的步骤C0到C6的算法 的形式来表现根据本发明的编码方法。

在图3所表现的编码装置CO中实现根据本发明的编码方法。

在图2中表现的第一步骤C0是对于属于在图3中表示为I_N的要编码的 图像的序列的图像的宏块，选择与此宏块相关联的特定分区。

应该注意到，步骤C0是可选的，可能通过在整体上考虑当前宏块(即， 将当前宏块考虑为一个单一分区)来执行该当前宏块的运动向量的预测。

在步骤C0的过程中，例如，将4×4尺寸的且属于图像I_N的宏块MB_N作 为输入而应用于在图3中表现的分区选择模块SP。

此分区模块SP例如使用用于通过穷举竞争来进行选定的方案，亦或使 用用于借助于具有先验的算法来进行选定的方案。这些方案对于本领域技术 人员是公知的(参见：G.J.Sullivan和T.Wiegand，″Rate-distortion optimization for video compression″，IEEE Signal Proc.Mag.，第74-90页，1998年)。因此， 在下文中将不描述它们。

在编码器CO的数据库BD中将各种类型的可能的分区算法分组到一起。 它们使得可能获得当前宏块到矩形或正方形形状的、或者其他几何形状(诸 如，实质上线性形状)的、或完全任意形状的多个分区中的分割。

在图2中表现的接下来的步骤C1是将宏块MB_N分割为多个要预测的p 个分区。

在图4A所表现的示例中，例如，将宏块MB_N分割为正方形形状的四个 较小分区P1、P2、P3和P4。通过图3所表现的宏块分区模块PMBCO来执 行这种分割，该宏块分区模块PMBCO使用传统的分区算法。

在分区步骤C1之后，在图2所表现的步骤C2的过程中，分区模块 PMBCO将刚刚已经分割的宏块MB_N传送到图3所表现的预测模块PREDCO。

按照传统的方式，这种预测模块PREDCO意欲相对于多个n个参考分区 来预测所分区的当前宏块MB_N，所述多个n个参考分区属于已经预先编码并 然后解码的先前图像I_N-1，或者属于当前图像I_N。

在图4A所表现的示例中，表现了六个参考分区r′1、r′2、r′3、r′4、r′5和 r′6。

参考图3，根据H.264/MPEG-4AVC标准来对先前图像I_N-1的参考分区进 行编码，即，它们按照本身已知的方式来经历：

-通过离散余弦变换和量化进行的编码，这是通过变换和量化模块 TQCO来执行的，

-和然后的通过逆离散余弦变换和逆量化进行的解码，这是通过逆变换 和量化模块TQICO来执行的。

仍然参考图3，预测模块PREDCO包括：

-分区模块PMB，意欲根据多个n个参考分区r′1、r′2、…、r′n来分割 图像I_N-1的参考宏块，

-计算模块CAL，意欲对与当前宏块MB_N的分区P1、P2、…、Pp分别 相关联的每个运动向量MVp1、MVp2、…、MVpp进行预测。

根据本发明，根据运动向量MVp1、MVp2、…、MVpp的预测的类型(即， 空间或时间)，在其中分别地运动向量MVp1、MVp2、…、MVpp所指向的 当前分区P1、P2、…、Pp或者参考图像区域p′1、p′2、…、p′p具有分别与从 k(其中，k≤n)个邻接参考分区之中选定的至少一个参考分区的几何形状或 尺寸不同的几何形状或尺寸的情况下，计算模块CAL基于至少一个参考运动 向量的函数来预测当前图像分区的运动向量，该至少一个运动向量属于分别 与k个邻居参考分区相关联的k个参考运动向量的集合。

在图2所表现的步骤C3的过程中，图3的分区模块PMB经历根据n个 参考分区r′1、r′2、…、r′n分割参考图像I_N-1。

在图2所表现的步骤C4的过程中，图3的计算模块CAL根据在下文中 描述的根据本发明的各种方案，来对于每个当前分区，计算分别与其相关联 的预测的运动向量。

根据诸如图4A所表现的、用于预测运动向量的第一方案，在时间类型 的预测的情况下，在顾及以下事实(该事实即，运动向量MVp1所指向的参 考图像区域p′1被安排在邻接参考分区r′1内部，该邻接参考分区r′1展现出与 参考图像区域p′1的尺寸不同的尺寸)的时间类型的预测的情况下，模块CAL 经历参考图像区域p′1的至少一个像素的扩展。这种扩展例如包含本领域技术 人员所公知的形态扩展数学运算符的传播。在所表现的示例中，所执行的扩 展具有单一像素，并且通过图4A中的阴影区域来表现。其后，计算模块CAL 选择与扩展的参考图像区域p′1ext重叠的k_c个邻接参考分区的子集。在所表 现的示例中，存在k_c个邻接参考分区r′1、r′2、r′3、r′4、r′5和r′6。然后，计 算模块CAL作为参考运动向量MVr′1、MVr′2、MVr′3、MVr′4、MVr′5和MVr′6 的函数来确定当前分区P1的预测的运动向量MVp1，所述参考运动向量 MVr′1、MVr′2、MVr′3、MVr′4、MVr′5和MVr′6分别与图4A所表现的六个 重叠参考分区r′1、r′2、r′3、r′4、r′5和r′6相关联。例如，这种确定在于，根 据在下文中的等式来计算参考运动向量MVr′1、MVr′2、MVr′3、MVr′4、MVr′5、 MVr′6的中值：

MVp1＝Mean(MVr′1，MVr′2，MVr′3，MVr′4，MVr′5，MVr′6)

根据此方案的变体，模块CAL确定参考运动向量MVr′1、MVr′2、MVr′3、 MVr′4、MVr′5、MVr′6的均值，该均值通过在扩展的参考图像区域p′1ext与 和该扩展的参考图像区域p′1ext重叠的参考分区r′1、r′2、r′3、r′4、r′5、r′6中 的每一个之间共享的像素的公共数目来进行加权。这种确定相当于根据在下 文中的等式来计算预测的运动向量MVp1：

其中：

-k_c＝6，

并且表现了在扩展的参考图像区域p′1ext与和该扩展的参考图 像区域p′1ext重叠的参考分区r′1、r′2、r′3、r′4、r′5、r′6中的每一个之间共享 的像素的公共数目。

在图4A所表现的示例中，$\mathrm{MVp}1=\frac{1}{20}·(9{r^{\prime }}_1+4{r^{\prime }}_3+4{r^{\prime }}_5+{r^{\prime }}_2+{r^{\prime }}_4+{r^{\prime }}_6).$

可以将上文中刚刚已经描述的第一方案及其变体应用于诸如图4B所表 现的运动向量MVp1的空间预测。在所表现的示例中，在顾及以下事实(该 事实即，当前分区P1与邻接参考分区pr1具有不同的尺寸)的情况下，模块 CAL经历如在上文中参考图4A所描述的当前分区P1的至少一个像素的扩 展，以获得扩展的当前分区P1ext。在所表现的示例中，所执行的扩展是单一 像素，并且通过图4B中的阴影区域来表现。其后，计算模块CAL选择与扩 展的当前分区P1ext重叠的k_c个邻接参考分区的子集。在所表现的示例中， 存在k_c个邻接参考分区pr1、pr2、pr3、pr4、pr5和pr6。然后，计算模块CAL 作为参考运动向量MVr1、MVr2、MVr3、MVr4、MVr5和MVr6的函数来确 定当前分区P1的预测的运动向量MVp1，所述参考运动向量MVr1、MVr2、 MVr3、MVr4、MVr5和MVr6分别与图4B所表现的六个重叠参考分区pr1、 pr2、pr3、pr4、pr5和pr6相关联。例如，这种确定在于根据在下文中的等式 来计算参考运动向量MVr1、MVr2、MVr3、MVr4、MVr5、MVr6的中值：

MVp1＝Mean(MVr1，MVr2，MVr3，MVr4，MVr5，MVr6)

作为变体，模块CAL确定参考运动向量MVr1、MVr2、MVr3、MVr4、 MVr5、MVr6的均值，该均值通过在扩展的当前分区P1ext与和该扩展的当 前分区P1ext重叠的参考分区pr1、pr2、pr3、pr4、pr5、pr6中的每一个之间 共享的像素的公共数目来进行加权。

现在，将参考图5A来描述第二运动向量预测方案。在所表现的示例中， 例如，将宏块MB_N分割为任意形状的三个分区P1、P2和P3。就其自身而言， 根据n个参考分区r′1、r′2、…、r′n来进行分割参考图像I_N-1。

根据诸如图5A所表现的第二运动向量预测方案，在时间类型的预测的 情况下，在顾及以下事实(该事实即，运动向量MVp1所指向的参考图像区 域p′1具有与邻接参考分区r′1的几何形状不同的几何形状)的时间类型的预 测的情况下，模块CAL确定参考图像区域p′1的中心(在图5A中表示为 CTp′1)，并且另一方面，确定邻居参考分区r′1、r′2、r′3、r′4、r′5中的每一个 的对应中心CTr′1、CTr′2、CTr′3、CTr′4、CTr′5。其后，模块CAL计算将参 考图像区域p′1的中心CTp′1分别与中心CTr′1、CTr′2、CTr′3、CTr′4、CTr′5 中的每一个分隔开的距离。借助于以下算法来计算中心CTp′1、CTr′1、CTr′2、 CTr′3、CTr′4、CTr′5，分别地，该算法使得相对于参考图像区域P′1和参考分 区r′1、r′2、r′3、r′4、r′5的所有点的距离之和最小化。然后，模块CAL从邻 居参考分区r′1、r′2、r′3、r′4、r′5之中选择其中心位于距参考图像区域p′1的 最小计算距离的那个邻居参考分区。在所表现的示例中，这是参考分区r′1。 最终，模块CAL将预测的运动向量MVp1计算为等于与选择的参考分区r′1 对应的参考运动向量MVr′1。

在图5A所表现的示例中，MVp1＝MVr′1。

根据此第二方案的变体，模块CAL从邻居参考分区r′1到r′5的集合之中 选择最接近于参考图像区域p′1的那些邻居参考分区。在所表现的示例中，这 些是参考分区r′1、r′2和r′3。其后。模块CAL确定参考图像区域p′1的中心 CTp′1，并且另一方面，确定最接近参考分区r′1、r′2、r′3中的每一个的对应 中心CTr′1、CTr′2、CTr′3。其后，模块CAL计算将参考图像区域p′1的中心 CTp′1分别与中心CTr′1、CTr′2、CTr′3中的每一个分隔开的距离。模块CAL 将预测的运动向量MVp1计算为等于参考运动向量MVr′1、MVr′2、MVr′3的 均值，所述均值通过所计算的三个相应的距离来进行加权。

可以将上文中刚刚已经描述的第二方案及其变体应用于诸如图5B所表 现的运动向量MVp1的空间预测。在所表现的示例中，在顾及了以下事实(该 事实即，当前分区P1具有与邻接参考分区pr1的几何形状不同的几何形状) 的情况下，模块CAL确定当前分区P1的中心(在图5B中表示为CTp1)， 并且另一方面，确定邻居参考分区pr1、pr2、pr3、pr4、pr5的每一个中的对 应中心CTr1、CTr2、CTr3、CTr4、CTr5。其后，模块CAL计算将当前分区 P1的中心CTp1分别与中心CTr1、CTr2、CTr3、CTr4、CTr5中的每一个分 隔开的距离。然后，模块CAL从邻居参考分区pr1、pr2、pr3、pr4、pr5之中 选择其中心位于距当前分区P1的最小计算距离的那个邻居参考分区。在所表 现的示例中，这是参考分区pr1。最终，模块CAL将预测的运动向量MVp1 计算为等于与选择的参考分区pr1对应的参考运动向量MVr1。

在图5B所表现的示例中，MVp1＝MVr1。

作为变体，模块CAL从邻居参考分区pr1到pr5的集合之中选择最接近 于当前分区P1的那个邻居参考分区。在所表现的示例中，这些是参考分区 pr1、pr2和pr3。其后，模块CAL确定当前分区P1的中心CTp1，并且另一 方面，确定参考分区pr1、pr2、pr3中的每一个的对应中心CTr1、CTr2、CTr3。 其后，模块CAL计算将当前分区P1的中心CTp1分别与中心CTr1、CTr2、 CTr3中的每一个分隔开的距离。模块CAL将预测的运动向量MVp1计算为 等于参考运动向量MVr1、MVr2、MVr3的均值，所述均值通过所计算的三个 相应的距离来进行加权。

现在，将参考图6A来描述第三运动向量预测方案。在所表现的示例中， 例如，将宏块MB_N分割为任意形状的三个分区P1、P2和P3。就其自身而言， 参考图像I_N-1根据n个参考分区r′1、r′2、…、r′n来进行分割。

根据诸如图6A所表现的第三运动向量预测方案，在时间类型的预测的 情况下，在顾及以下事实(该事实即，运动向量MVp1所指向的参考图像区 域p′1具有与邻接参考分区r′1到r′5的几何形状不同的几何形状)的情况下， 模块CAL经历参考图像区域p′1的边缘b d′1在前述邻居参考分区中的至少一 些上的延长。延长通过图6A中的虚线来表现。其后，模块CAL从邻居参考 分区之中选择位于延长的边缘的同一侧上的参考分区。在所表现的示例中， 这些是参考分区r′1、r′2、r′3。然后，模块CAL将预测的运动向量MVp1计 算为等于与选择的参考分区r′1、r′2、r′3分别相关联的参考运动向量MVr′1、 MVr′2、MVr′3的均值。

可以将上文中刚刚已经描述的第三方案应用于诸如图6B所表现的运动 向量MVp1的空间预测。在所表现的示例中，在顾及以下事实(该事实即， 当前分区P1具有与邻接参考分区pr1到pr5的几何形状不同的几何形状)的 情况下，模块CAL经历当前分区P1的边缘bd1在前述邻居参考分区中的至 少一些上的延长。延长通过图6B中的虚线来表现。其后，模块CAL从邻居 参考分区之中选择位于延长的边缘的同一侧上的参考分区。在所表现的示例 中，这些是参考分区pr1、pr2、pr3。然后，模块CAL将预测的运动向量MVp1 计算为等于与选择的参考分区pr1、pr2、pr3分别相关联的参考运动向量 MVr1、MVr2、MVr3的均值。

现在，将参考图7A来描述第四运动向量预测方案。在所表现的示例中， 例如，将宏块MB_N分割为任意形状的两个分区P1和P2。就其自身而言，参 考图像I_N-1根据n个参考分区r′1、r′2、…、r′n来进行分割。

根据诸如图7A所表现的第四运动向量预测方案，在时间类型的预测的 情况下，在顾及以下事实(该事实即，运动向量MVp1所指向的参考图像区 域p′1与邻接参考分区r′1到r′5具有不同的几何形状)的情况下，模块CAL 确定参考图像区域p′1的最长边缘。在图7A中将这种边缘表示为bdl′1。其后， 模块CAL从邻居参考分区r′1到r′5之中选择具有公共边缘bdl′1的参考分区。 在所表现的示例中，这些是参考分区r′3和r′4。

根据此第四方案的第一变体，模块CAL将预测的运动向量MVp1计算 为等于与选择的参考分区r′3和r′4分别相关联的参考运动向量MVr′3和MVr′4 的均值。

根据第二变体，模块CAL通过与参考图像区域p′1公共的参考分区r′3 的边缘的长度、并且通过与参考图像区域p′1公共的参考分区r′4的边缘的长 度，来对所述计算的均值进行加权。

根据第三变体，模块CAL从两个参考分区r′3和r′4之中选择其与参考图 像区域p′1公共的边缘是最长的那个参考分区。在所表现的示例中，这是参考 分区r′3。其后，模块CAL将预测的运动向量MVp1计算为等于与选择的参 考分区r′3对应的参考运动向量MVr′3。

在图7A所表现的示例中，MVp1＝MVr′3。

可以将上文中刚刚已经描述的第四方案及其三个变体应用于诸如图7B 所表现的运动向量MVp1的空间预测。在所表现的示例中，在顾及以下事实 (该事实即，当前分区P1具有与邻接参考分区pr1到pr5的几何形状不同的 几何形状)的情况下，模块CAL确定当前分区P1的最长边缘。在图7B中 将这种边缘表示为bdl1。其后，模块CAL从邻居参考分区pr1到pr5之中选 择公共地具有边缘bdl1的参考分区。在所表现的示例中，这些是参考分区pr3 和pr3。

根据前述三个变体，模块CAL：

-将预测的运动向量MVp1计算为等于与选择的参考分区pr3和pr4分 别相关联的参考运动向量MVr3和MVr4的均值，

-通过与当前分区P1公共的参考分区pr3的边缘的长度并且通过与当前 分区P1公共的参考分区pr4的边缘的长度，来对所述计算的均值进行加权，

-将预测的运动向量MVp1计算为等于与参考分区pr3对应的参考运动 向量MVr3，该参考分区pr3具有与当前分区P1公共的最长边缘。

现在，将参考图8A来描述第五运动向量预测方案。在所表现的示例中， 例如，将宏块MBN分割为矩形形状的两个相等分区P1和P2。就其自身而言， 参考图像IN-1根据n个参考分区r′1、r′2、…、r′n来进行分割。

根据诸如图8A所表现的第五运动向量预测方案，在时间类型的预测的 情况下，在顾及以下事实(该事实即，运动向量MVp1所指向的参考图像区 域p′1具有与邻接参考分区r′1到r′5的几何形状不同的几何形状，并且它包含 诸如黑色圆圈C′1之类的特定色彩的图案)的情况下，模块CAL计算参考图 像区域p′1与邻居参考分区r′1到r′5中的每一个的均值亮度。然后，它从邻居 参考分区r′1到r′5之中选择其计算的均值亮度最接近于参考图像区域p′1的亮 度的那个邻居参考分区。在所表现的示例中，这是参考分区r′2，该参考分区 r′2包括与参考图像区域p′1的图案相似的图案C′2。其后，模块CAL将预测 的运动向量MVp1计算为等于与选择的参考分区r′2对应的参考运动向量 MVr′2。

可以将上文中刚刚已经描述的第五方案应用于诸如图8B所表现的运动 向量MVp1的空间预测。在所表现的示例中，在顾及以下事实(该事实即， 当前分区P1具有与邻接参考分区pr1到pr5的几何形状不同的几何形状，并 且它包含诸如黑色圆圈C1之类的特定色彩的图案)的情况下，模块CAL计 算当前分区P1与邻居参考分区pr1到pr5中的每一个的均值亮度。然后，它 从邻居参考分区pr1到pr5之中选择其计算的均值亮度最接近于当前分区P1 的均值亮度的那个邻居参考分区。在所表现的示例中，这是参考分区pr2，该 参考分区pr2包括与当前分区P1的图案相似的图案Cr2。其后，模块CAL将 预测的运动向量MVp1计算为等于与选择的参考分区pr2对应的参考运动向 量MVr2。

在依照根据本发明的前述方案中的这个或那个方案来完成计算步骤C4 时，预测计算模块PREDCO然后传递第一预测的向量MVp1，在其中编码器 CO将该第一预测的向量MVp1保持为最优运动向量的类型的情况下，通过 变换和量化模块TQCO来对它立即进行编码，并然后通过逆变换和量化模块 TQICO来对它进行解码，这表现在图3中。

其后，对前述步骤C4进行重复，从而预测与当前宏块MBN的分区P2 到Pp分别相关联的其他运动向量MVp2到MVpp。

一旦预测计算模块PREDCO已经计算了各种可能的预测，在图2所表现 的步骤C5的过程中，图3所表现的决定模块DCNCO就扫描所分区的图像 IN的宏块，并且在此步骤C5中选定用于对这些宏块中的每一个进行编码的预 测模式。从用于宏块的可能预测之中，决定模块DCNCO根据本领域技术人 员公知的比率失真准则来选定最优的预测。

参考图2，如在H.264/MPEG-4AVC标准中一样，在步骤C6的过程中， 对每个预测的宏块进行编码。

参考图3，一旦决定模块DCNCO已经执行了此结构编码，就将与图像 I_N的块对应的残差(如果它们存在的话)的系数分派到变换和量化模块 TQCO，以经历离散余弦变换，该离散余弦变换之后跟随有量化。其后，将 具有这些量化系数的宏块的切片传送到所表现的熵编码模块CE，从而利用已 经按照与图像I_N相同的方式而编码的视频序列的其他图像来产生根据本发明 所编码的二进制视频流F。

通过通信网络来将如此编码的二进制流F传送到远程终端。该远程终端 包括图9所表现的、根据本发明的解码器DO。

首先，将二进制流F分派到熵解码模块DE，该解码与在图3中表现的 熵编码模块CE所执行的编码相逆。接下来，对于要重构的每个图像宏块， 将模块DE所解码的系数分派到逆量化和逆变换模块QTIDO。

然后，图像重构模块RI将与模块DCNCO(图3)在根据本发明的编码 步骤C5中产生的数据对应的解码数据接收在传送误差内。模块RI实现根据 本发明的解码方法的、诸如图10所表现的步骤D0到D6。同样，通过修改初 始地符合H.264/MPEG-4AVC标准的解码器，而按照软件或硬件方式来实现 根据本发明的这种解码方法。

第一步骤D0是对在要解码的图像I_N的当前宏块的切片中编码的数据结 构进行解码。按照本身已知的方式，重构模块RI基于所述宏块切片的数据来 确定：

-所述数据的编码的类型，帧内或帧间：根据本发明的帧间，

-要重构的宏块的分区的类型，帧间4×4、8×8、线条、等…：在所描述 的实施例中的帧间4×4，

-诸如由决定模块DCNCO在前述步骤C5中选择的最优预测器的索引。

在图10中表现的接下来的步骤D1是根据在步骤D0中所确定的分区来 分割要解码的当前宏块。为此目的，参考图9，在所有方面类似于图3所表 现的分区模块的宏块分区模块PMBDO将宏块分割为多个p个分区P1到Pp。

在图10所表现的步骤D2的过程中，分区模块PMBDO将刚刚已经分区 的、要解码的当前宏块传送到图9所表现的预测模块PREDDO，该预测模块 PREDDO在所有方面类似于图3的编码器CO的预测模块PREDCO，并且为 此原因将不再详细地进行描述。

在图10所表现的步骤D3和D4的过程中，图9的预测模块PREDDO执 行与前述编码器CO的预测模块PREDCO所执行的算法相同的算法，从而获 得当前宏块，已经根据在上文中描述的五个方案中的这个或那个方案来预测 了该当前宏块的相关联的运动向量。

在步骤D5的过程中，决定模块DCNDO根据本领域技术人员公知的比 率失真准则来选定最优的预测。

其后，如在H.264/MPEG-AVC标准中一样，在步骤D6的过程中，对每 个预测的宏块进行解码。

一旦已经解码了图像I_N的所有宏块，参考图9，图像重构模块RI就作为 来自解码器DO的输出而提供与图像I_N的解码对应的图像ID_N。

在顾及以下事实(该事实即，在解码器DO处执行的预测算法在每个方 面与在编码器CO处执行的预测算法相同)的情况下，大大地减少了预测器 所引入的信息代价。

无需赘述的是，已经单纯地借助于完全非限制性的指示而给出了已经在 上文中描述的实施例，并且本领域技术人员可以容易地做出若干修改，然而 并不脱离本发明的范围。