用于对实施不同大小的块的图像序列进行译码的方法和装置、信号、数据媒体、解码方法和装置以及对应于其的计算机程序

摘要

本发明是关于一种用于对图像序列进行编码的方法，其包括用于将当前图像细分(11)为称为宏块的标准大小块的步骤。根据本发明，所述方法针对所述当前图像的至少一个当前宏块包括以下步骤：考虑所述当前图像的特性而建置(12)具有比所述当前宏块大的大小的至少一个块，称为较大块，其包括所述当前宏块和所述当前图像中的至少一个相邻宏块；对所述较大块进行编码(13)，传递基本编码信息，从而实现所述当前图像的基本层的重建，以及针对至少一个较大块，确定(14)与所述较大块中存在的至少一个宏块相关联的增强信息。

说明书

技术领域

本发明的领域是由一系列连续图像形成的视频流的编码和解码的领域。更具体来说，本发明涉及使用块变换对图像或图像序列的压缩。

本发明可尤其应用于在当前视频编码器(MPEG、H.264等)或未来视频编码器(H.265)中实施的视频编码。

背景技术

已经存在许多已知的视频数据压缩技术。这些技术包含使用视频序列的逐块表示的许多视频编码技术，例如实施由MPEG组织发布的视频压缩标准(MPEG-1、MPEG-2、MPEG-4部分2等)或ITU-T(H.261…H.264/AVC)标准的技术。因此，在H.264技术中，每一图像可划分为若干切片，切片自身被划分为若干宏块，宏块接着被细分为若干块。块是由像素集合构成。根据H.264标准，宏块是大小等于16x16像素的正方形块，其可再次划分为大小为8x8、16x8或8x16的块，8x8块则能够再分为大小为4x4、8x4或4x8的块。

根据现有技术，宏块或块可通过图像内或图像间预测来编码。换句话说，宏块或块可通过以下方式来编码：

时间预测，即，参考属于一个或一个以上其它图像的参考块或宏块；和/或

称为“空间”预测的预测，其依据与当前图像相邻的块或宏块。

在后一种情况下，可仅基于先前已经编码的块来进行预测。

更具体来说，根据H.264技术，通过空间预测(帧内预测)来对图像I进行编码，且相对于借助运动补偿而编码/解码的其它图像I、P或B通过时间预测来对图像P和B进行编码。

为了进行编码，将这些图像细分为若干块。对于每一块编码一残余块，也称为预测残余，其对应于原始块减去预测。此块的系数在可能的变换之后量化且随后由熵编码器编码。

根据例如H.264技术，针对每一块编码以下各项：

-编码类型(帧内预测、帧间预测、预测跳跃)；

-分割类型；

-关于预测的信息(定向、参考图像等)；

-运动信息(如果必要)；

-经编码系数；

-等等。

解码是逐个图像来进行，且对于每一图像，解码是逐个宏块来进行。对于每一宏块，读取流的对应元素，且进行宏块的块的系数的逆量化和逆变换。随后，计算宏块的预测且通过将预测添加到经解码的预测残余来重建宏块。

然而随着新的高分辨率视频格式的出现，遗憾的是，在当今视频压缩标准中使用的块的大小不再适合于待压缩的视频序列的内容。

此外，AVC编码器中可能的各种类型的预测取决于块的大小而不同。举例来说，在帧内编码中，不可能从针对大小为16x16的块的与针对大小为4x4的块一样多的预测方向受益。现在，使用4x4大小的块来对高分辨率序列进行编码无法用以有效地利用待压缩信号，因为块中含有的信息量不足以代表用于将在位速率/失真成本方面有效的所应用的编码的高分辨率序列。

此外，当今视频压缩标准中，用于预测的块的最大大小限于16x16。现在，使用较大大小的块可在高分辨率序列的情况下具有一些效用。

A.Tourapis、J.Boyce的文献“对H.264标准的降低分辨率更新模式扩展(Reduced Resolution Update Mode Extension to the H.264Standard)”提议将称为“降低分辨率更新”或RRU的编码技术扩展到H.264编码。

为了对块进行编码，RRU技术以块的分辨率对块的预测残余进行预测和计算。随后对块进行子取样。熵编码器对子取样系数进行变换、量化和编码。在解码时，对系数进行解码，执行逆量化和变换，且随后应用对系数进行过取样的步骤以便以块的初始分辨率来重建块。

此RRU技术向H.264编码器的扩展包括将RRU技术应用于MxN大小的块，其中M和N为16的倍数。

因此，在此技术中，图像的所有块具有相同大小的MxN，这不一定很好地适合于图像的内容。

发明内容

本发明提出一种不具有所有这些现有技术缺点的新颖的解决方案，其呈用于对图像序列进行编码的方法的形式，包括用于将当前图像细分为称为宏块的标准大小块的步骤。

根据本发明，此方法针对当前图像的至少一个当前宏块包括以下步骤：

考虑所述当前图像的特性而建置具有比所述当前宏块大的大小的至少一个块，称为较大块，其包括所述当前宏块和所述当前图像中的至少一个相邻宏块；

对所述较大块进行编码，从而递送实现所述当前图像的基本层的重建的基本编码信息，以及

针对至少一个较大块，确定与所述较大块中存在的至少一个宏块相关联的增强信息，从而实现所述当前图像的增强层的重建。

本发明因此提出一种新颖的图像编码技术，用于通过考虑待编码图像的特性而调适待编码块的大小。

较大大小的块的大小可在编码期间预定义为随着待编码图像的大小而变(例如，根据由标准界定的推荐或另外在经编码数据的标头中指定)。

对于当前图像的当前宏块，随后考虑编码器特定的条件来建置具有比当前宏块大的大小的一个或一个以上较大块。随后，选择使得能够获得当前宏块的最佳基本表示的块。举例来说，此选择是通过选择使得有可能优化位速率/失真准则的较大大小的块来进行。

更具体来说，较大块的编码使得能够在解码时通过基本编码信息来计算此较大块的所有像素且因此较大块中存在的当前宏块的像素的重建(预测)值。术语“基本表示”此处应理解为表示针对当前宏块重建的所有这些值。

举例来说，最佳基本表示是使R+λD最小的表示，其中R是与预测残余和所考虑的预测模式所需的若干条信令信息的编码相关联的位速率，D是在重建之后较大块的失真(添加了在预测时解码的残余)，且λ是预定的拉格朗日值(Lagrange value)。

此处下文中，在基本表示中待编码的块(即，当前宏块或者较大大小的块)的大小的选择也是基于例如位速率-失真准则。对于所考虑块的大小，我们界定每像素的平均位速率的值Rp＝R/size_block和每像素的平均失真Dp，且拉格朗日值Rp+λDp与所考虑块相关联。所选择的块大小则是对应于具有最低拉格朗日值的所测试块的块大小。

随后对较大块进行编码以便获得此较大块的基本编码信息。随后将较大块的若干条基本编码信息插入到表示图像的信号中且/或存储。通过使用AVC术语，这些基本编码信息元素使得能够重建图像的基本层，即，当前图像的具有第一质量等级的型式(基本表示)。

对于至少一个较大块，随后有可能确定与较大块中存在的至少一个宏块相关联的增强信息。在使用SVC术语时，这些条增强信息使得能够重建图像的增强层，即，当前图像的较高质量型式。

举例来说，增强信息包含关于纹理和/或运动的信息。

例如建置具有比宏块大的大小的块，以便覆盖相对于当前宏块水平和/或垂直地相邻的若干宏块，其对应于具有类似特性(例如相同的运动值或均质纹理)的图像的区。

因此，在预定扫描方向上逐个宏块地扫描当前图像(或图像的一部分)，且对于每一新宏块，建置具有比此宏块大的大小的新的块，且设法确定是通过直接对宏块进行编码还是通过对较大大小的块中的一者进行编码来获得当前宏块的最佳基本表示。扫描方向例如是逐行扫描(一般称为光栅扫描)，或建议从块群组的中心朝向边缘在螺旋形状路径上扫描块群组的螺旋扫描。

特定来说，本发明的方法包括预备步骤，其用于检查当前宏块是否先前已经在含有当前宏块的较大块中编码，且在肯定的检查的情况下以预定扫描次序进行到随后的宏块。

换句话说，在逐个宏块地对图像的扫描期间，有可能在已针对宏块确定基本编码信息的情况下跳过此宏块。还有可能确定此当前宏块的增强信息。因此，如果当前宏块属于已存在可用的基本编码信息的较大块，那么不必对此当前宏块的基本信息进行编码(增强信息的编码是可能的)，且有可能进行到下一宏块。

本发明因此使得有可能在存储和/或发射与展示精细细节的区的宏块相关联的基本编码信息或与展示较粗略细节的区的较大块相关联的基本编码信息时使块的大小适于图像且适于所需的分辨率等级。

根据本发明的一个特定方面，所述方法包括将至少一个旗标插入到表示图像序列的信号中的步骤，所述旗标属于包括以下各项的群组：

-信令至少一个较大块的存在的旗标；

-信令与所述较大块中存在的至少一个宏块相关联的增强信息的存在的旗标。

以此方式有可能在仅具有一层的信号中发射基本编码信息和增强信息。

所提出的语法并不使用如根据SVC技术提出的具有分层数据层结构的流。

特定来说，编码方法包括用于以图像中的宏块的预定扫描次序将以下若干条信息插入到所述信号中的步骤：

-与至少一个宏块相关联的基本编码信息；

-与至少一个较大块相关联的基本编码信息；

-与较大块中存在的至少一个宏块相关联的增强信息。

因此，对于图像的某些宏块，最佳基本表示是通过对宏块个别地进行编码来获得，而对于其它宏块，最佳基本表示是通过对包括宏块的较大块进行编码来获得。

根据此示范性实施例，由编码器产生且既定用于接收器的信号包括与一个或一个以上经个别编码宏块相关联的基本编码信息以及与一个或一个以上较大块相关联的若干条基本编码信息。

所述信号还包括与较大块中存在的一个或一个以上宏块以及可能个别对待的一个或一个以上宏块相关联的增强信息。

在另一实施例中，本发明涉及一种用于对图像序列进行编码的装置，其包括用于将当前图像细分为称为宏块的标准大小块的构件。

根据本发明，此装置针对当前图像的至少一个当前宏块包括：

-用于考虑所述当前图像的特性而建置具有比所述当前宏块大的大小的至少一个块的构件，所述至少一个块称为较大块，其包括所述当前宏块和所述当前图像中的至少一个相邻宏块；

-用于对所述较大块进行编码从而递送实现所述当前图像的基本层的重建的基本编码信息的构件，以及

针对至少一个较大块，用于确定与所述较大块中存在的至少一个宏块相关联的增强信息从而实现所述当前图像的增强层的重建的构件。

此编码装置尤其适合于实施上文描述的编码方法。其例如为MPEG或H.264型编码器或根据视频压缩的未来标准的编码器。

本发明的另一方面涉及一种表示根据上文描述的编码方法编码的图像序列的信号。

此信号包括：

-与至少一个较大块相关联的基本编码信息，从而实现所述当前图像的基本层的重建；以及

-与所述较大块中的一者中存在的至少一个宏块相关联的增强信息，从而实现所述当前图像的增强层的重建。

此信号可在数据载体上发射和/或存储。

此信号当然可包含与本发明的编码方法有关的各种特性。

特定来说，此信号包括至少一个属于包括以下各项的群组的旗标：

-信令至少一个较大块的存在的旗标；

-信令与所述较大块中存在的至少一个宏块相关联的增强信息的存在的旗标。

本发明的又一方面涉及一种数据载体，其包括至少一个表示根据上文描述的编码方法编码的图像序列的信号。

此载体包括：

-与至少一个较大块相关联的基本编码信息，从而实现所述当前图像的基本层的重建；以及

-与所述较大块中的一者中存在的至少一个宏块相关联的增强信息，从而实现所述当前图像的增强层的重建。

其尤其适于载运如上文描述的信号。

在另一实施例中，本发明涉及一种用于对表示图像序列的信号进行解码的方法，图像经细分为称为宏块的标准大小块，

所述信号包括：

-与至少一个较大块相关联的基本编码信息，从而实现所述当前图像的基本层的重建，较大块对应于考虑所述当前图像的特征而建置的宏块的群组；以及

-与所述较大块中的一者中存在的至少一个宏块相关联的增强信息，从而实现所述当前图像的增强层的重建。

根据本发明，此方法实施以下步骤：

-读取与较大块相关联的基本编码信息；

-对所述基本编码信息进行解码且重建所述较大块；

-对与所述较大块中存在的至少一个宏块相关联的增强信息进行解码(如果这些条信息存在)，且细化(refining)所述至少一个宏块。

以此方式，本发明的解码技术使得能够在接收和读取基本编码信息后即刻重建图像的对应于较大块的区，即，组合若干宏块。

特定来说，所述信号也可载运与至少一个宏块相关联的基本编码信息。

在此情况下，解码方法实施用于读取与至少一个宏块相关联的基本编码信息、对与宏块相关联的基本编码信息进行解码以及重建对应宏块的步骤。

以此方式，本发明的解码技术使得能够重建图像的对应于宏块的区或图像的对应于较大块的区，即，将若干宏块分组在一起。

根据一个特定方面，解码方法包括用于从先前重建的较大块中存在的至少一个宏块重建宏块的步骤。

因此有可能通过考虑位于当前宏块的因果或反因果区域中的先前重建的宏块来重建当前宏块。

宏块的因果区域是图像的包括位于当前宏块之前(以图像中的块的扫描次序)的宏块的区域。宏块的反因果区域是图像的包括位于当前宏块之后(以图像中的块的扫描次序)的宏块的区域。

根据一个特定特性，所述细化是根据宏块的预定扫描次序进行。

因此，一旦较大块经解码，便不必针对此较大块中存在的所有宏块实施宏块的细化。此细化可以扫描宏块的预定次序来实施，例如上文描述的光栅扫描或螺旋扫描方向。

在另一实施例中，本发明涉及一种用于对表示图像序列的信号进行解码的装置，其包括：

-用于读取与较大块相关联的基本编码信息的构件；

-用于对所述基本编码信息进行解码且重建所述较大块的构件；

-用于在与所述较大块中存在的至少一个宏块相关联的增强信息存在的情况下对此信息进行解码且细化所述至少一个宏块的构件。

此解码装置尤其适合于实施上文描述的编码方法。其例如为MPEG或H.264型解码器或根据视频压缩的未来标准的解码器。

本发明还涉及一种计算机程序，其包括用于当此程序由处理器执行时实施上文描述的编码方法和/或解码方法的指令；或涉及一种计算机程序产品，其可从通信网络下载和/或存储在计算机可读载体上和/或可由处理器执行，其包括用于当此程序由处理器执行时实施上文描述的编码方法和/或解码方法的程序代码指令。

附图说明

本发明的其它特征和优点将从以下借助于指示性且非详尽实例和从附图给出的对特定实施例的描述中显现，附图中

图1说明根据本发明一个实施例的编码方法的主要步骤；

图2A和图2B说明图像中的宏块的扫描方向和较大块的建置；

图3A到图3C呈现同一块的不同可能分区；

图4说明根据本发明一个实施例的宏块或较大块的编码；

图5和图6表示根据本发明一个实施例的流的语法；

图7说明根据本发明一个实施例的解码方法的主要步骤；

图8和图9分别呈现根据本发明一个特定实施例的实施编码技术和解码技术的编码装置和解码装置的结构。

具体实施方式

一般原理

本发明的一般原理依赖于使用具有可根据待编码图像的区的特性来调适的大小的块。因此有可能界定对较大大小的块进行编码的区和对较小大小的块进行编码的其它区。

事实上，本专利申请案的发明人已注意到在视频的均质区中，较大大小的块(例如32x32像素或更大)使得能够通过使与区的编码相关联的语法成本最小化来俘获此区的主要特性。类似地，对较大载体的变换步骤提供较好的能量压缩。然而，使用较小大小的块或中等大小的块在非均质区域中仍是必要的。

术语“均质区”应理解为表示例如具有相同纹理或相同运动的区。因此，如在运动或纹理方面所理解的均质区域是像素具有接近特性的区域。

本发明因此提出一种用于使块的大小适于其对应的图像的区的新颖的方法。此外，当将若干宏块分组在一起以形成较大块时，此较大块是以两个等级编码：

-第一等级，使得能够确定与较大块相关联的基本编码信息；

-第二等级，使得能够确定与较大块的至少一个宏块相关联的增强信息。

图1提供根据本发明的编码步骤的较精确说明。

更具体来说，在第一步骤11期间将当前图像I_c细分为称为宏块的标准大小的块。

举例来说，根据H.264/AVC标准，宏块是大小为16x16的正方形块。在未来标准中，宏块可具有例如等于32x32、64x64或16x32的大小。

情况似乎是，如图2A中的箭头RS说明在光栅扫描方向上逐个宏块地对当前图像I_c进行扫描。

对于当前图像I_c的至少一个宏块(表示为MB_i)，所述方法实施建置步骤12，用于建置具有比当前宏块MB_i的大小大的大小的至少一个块B_i，其包括当前宏块MB_i和图像I_c中的至少一个相邻宏块。此些块因此具有比根据H.264/AVC标准的16x16宏块的大小大的大小。举例来说，我们建置大小为16x32的第一块B₁、大小为32x16的第二块B₂、大小为32x32的第三块B₃。

可沿着图像中的宏块的扫描方向RS在当前宏块MB_i的反因果区域中，即，在图像的包括位于宏块MB_i之后的宏块的区域中选择相邻宏块。因此确保每一宏块仅被编码一次。

这些较大块的可能大小经预定义为随着待编码图像的大小而变(根据由标准界定的推荐或另外指定为编码数据的标头)。

如果针对宏块建置若干较大块，那么如下文阐释选择其中一者。

举例来说，认为是以下情况：大小为32x32的块B₃给出了对于所考虑的区域的重建的最佳值，即，最佳基本表示。在图2B中说明此块，下文称为较大块GB。

在编码步骤13期间对此较大块进行编码，以便获得与较大块相关联的基本编码信息i_B。此基本编码信息包含来自以下各项中的至少一条信息：

-关于所使用的编码模式(帧内模式、帧间模式)的信息；

-关于较大块的可能细分(分割)的信息；

-预测信息(帧间编码的运动、帧内模式中的帧内预测模式)，和预测残余。

随后，在后续步骤14期间，针对较大块中存在的至少一个宏块确定增强信息。举例来说，针对较大块GB中存在的宏块MB_i+1确定增强信息。

如上文指示，从块集合中选择较大块提供了所考虑区的较好基本表示。

举例来说，大小为32x32的区可由以下各者表示：

-两个大小为16x32的较大块，或

-两个大小为32x16的较大块，或

-一个大小为32x32的较大块，或

-四个大小为16x16的块，这些块传统上被预测为宏块MBi。

针对块中的每一者确定基本表示，且将大小为32x32的区的不同基本表示彼此进行比较：

-两个大小为16x32的较大块；

-两个大小为32x16的较大块；

-大小为32x32的较大块；以及

-四个大小为16x16的块。

事实上，有必要比较(位速率/失真准则)同一区域(具有相同数目的重建像素)上的基本表示，因为与由较大块编码的宏块MBi的预测模式相关联的编码的成本在单独针对宏块MBi的像素比较位速率/失真准则而较大区已经编码的情况下可能有时难以计算。

如果32x32区的最佳基本表示是由四个大小为16x16的块给出，那么仅对当前宏块MBi进行编码。如果32x32区的最佳表示是由两个较大水平或垂直块给出，那么对含有当前宏块MBi的较大块进行编码。如果32x32区的最佳表示由大小为32x32的较大块给出，那么对大小为32x32的较大块进行编码。

可以各种方式，尤其以有线形式或软件形式来实施根据本发明的编码方法。

编码方法的详细描述。

下文中，我们呈现根据本发明的编码方法的特定实施例。较大块的大小视为已经固定。

A)利用对较大块的分割的编码

为了确定当前宏块的最佳基本表示，我们确定具有比当前宏块大的大小的所建置块的若干基本表示(或第一等级编码型式)。这些不同的表示经确定为随着较大大小的块的不同分区而变。

因此，对于较大块的编码，可使用不同种类的分割，例如如图3A到3C中说明的水平矩形、垂直矩形或正方形分割。

分割因此使得有可能获得不一定具有宏块的大小的子块的集合。这些子块可为正方形、矩形或具有其它形状。

为了限制与宏块或较大大小的块相关联的分区数目，例如考虑借助于二重细分技术来进行分割，所述技术实施水平地(图3C)或垂直地(图3B)将块规则地细分为二；或借助于四叉树型技术来进行分割，所述技术实施将块规则地细分为四个具有相同大小的块(图3A)。

可递归地实施此细分，直到在其垂直或水平维度中的一者(最小维度)上获得具有4个像素的大小的子块为止。

举例来说，如果较大大小的块包含白像素区和黑像素区，那么需要将块分割为两个子块，一个对应于白像素区且另一个对应于黑像素区，且需要独立地对两个子块进行编码而不是对不表达对比的平均值进行编码。

B)用于较大块的编码的预测模式

根据H.264/AVC标准界定的用以对块进行编码的预测模式可扩展到这些不同分区。

因此，在帧间模式中，在AVC标准下界定的机制可用于运动估计和补偿。这些机制可应用于具有比标准宏块(根据AVC技术为16x16)的大小大的大小的子块。

依据所使用的分割，可使用向量来完全补偿较大块，或可对每一子块使用若干向量，类似于AVC技术。

在帧内模式中，新预测是可能的，且通过在因果方向和反因果方向上添加另外定向而添加到AVC技术的经典预测。

事实上，当相邻宏块已借助于较大块编码时反因果预测在此处是可能的。举例来说，返回到图2B，可通过考虑在扫描次序上的下一宏块(MB_j+1)来预测宏块MB_j，因为此宏块在对较大块进行编码的步骤期间已经编码。

如果若干基本表示提供类似的性能等级，那么对从最大大小的块获得的表示给出偏好。事实上，对较大大小的块的编码限制了插入到流中的基本编码信息的量(因为较大块中存在的宏块在基本型式中未经个别编码)，且因此加速了解码侧的处理。

C)用于较大块的编码的预测残余的变换

一旦已确定最佳基本表示，则对对应的较大块进行编码。

传统上，当计算块的预测时，对预测残余进行变换以便在较少数目的系数上压缩信号的能量。

通过使用较大块，AVC使用的变换可扩展到较大载体。这可通过添加依据标准宏块的大小的16x16或32x32整数DCT变换以及小波变换来进行。

称为RRU的技术也可应用于较大块。随后对预测残余进行子取样且随后通过例如8x8或4x4变换进行变换。在解码时，可在添加预测之前对经重构系数进行过取样。

根据本发明，经典的4x4或8x8型变换也可用于较大块。

对于每一较大块，对指定所执行的变换类型的一条信息进行编码。

如果个别地对某些宏块进行编码，那么还针对这些宏块对指定所执行的变换类型的一条信息进行编码。

D)关于对宏块的增强的信息

此外，对于较大块的至少一个宏块，可以通过相对于针对较大块编码的基本运动进行预测而计算的残余的形式来对运动细化进行编码。

在帧内或帧间模式中，对于较大块的至少一个宏块，也可通过相对于针对较大块编码的基本纹理进行预测而以纹理残余的形式来对纹理细化进行编码。

E)编码器

考虑例如在经典的H.264编码器中实施本发明。

将当前图像细分为具有标准大小的块(称为宏块)，如果在H.264编码器的情境中进行描述，那么所述宏块的大小为16x16。将最大编码单位界定为随着例如待编码序列的分辨率而变。

此最大编码单位大小是MxN，其中M和N是16个像素的倍数。事实上，其对应于从当前图像的至少两个宏块建置的块。

对图像中的宏块的扫描是逐行进行(光栅扫描)。对宏块的编码是通过宏块群组确定，一个群组形成一较大块。

对于光栅扫描次序中的图像的第一宏块(其中左上角位于位置(x0，y0))，设法确定是通过直接对此宏块进行编码还是通过对包括此宏块的较大大小的块进行编码来获得在位速率/失真方面的最佳性能。

为此，测试不同大小的块。举例来说，测试大小为16x32的块、大小为32x16的块、大小为32x32的块等，且对于具有比宏块大的大小的每一块，针对此较大块的编码而测试不同分区和不同预测模式。针对分区的预测模式是类似于AVC中所进行那样，即在帧内模式、帧间模式或在通过简单预测(即，如果没有额外信息待发射)以及不同大小的变换来重建块的情况下的“跳跃”模式中来进行测试。

随后，选择为所考虑的区提供最佳基本表示的较大块。

认为例如大小为M^*xN^*的较大块具有最佳性能。存储关于此较大块的选择(特定来说，其大小、其分割和/或所使用的变换类型)，且随后确定与较大块相关联的基本编码信息。

还可存储较大块的每一宏块的基本编码信息以在稍后必要的情况下插入到流中。特定来说，有可能确定且存储与较大块中存在的宏块相关联的增强信息。编码器随后进行到位于位置(x0+M^*，y0)处的下一宏块。

如果个别地(隔离地)从第一宏块获得第一宏块的最佳基本表示，那么存储此块的大小且随后确定与宏块相关联的基本编码信息。编码器随后进行到位于位置(x0+16，y0)处的下一宏块。

编码器因此在每次搜索用于编码的宏块的最佳可能组合时执行整个图像的编码。

随后通过针对预定扫描方向上的图像的每一宏块对最佳基本表示的所保存数据的编码来建置表示图像序列(也称为流)的信号。当从较大块获得宏块的最佳基本表示时，以与较大块相关联的基本编码信息的形式将此较大块的若干条数据插入到流中。当从隔离地进行的宏块编码获得宏块的最佳基本表示时，以与宏块相关联的基本编码信息的形式将此宏块的若干条数据插入到流中。

举例来说，如图4中说明，我们考虑经细分为在光栅扫描次序上编号为1到9的大小为16x16的九个宏块的图像(或图像部分)。所述图像被逐宏块地进行扫描。

在当前宏块为宏块1时，认为最佳基本表示是从个别地进行的宏块1的编码获得。存储此值且操作进行到在宏块扫描次序上单独的或在较大宏块中的先前未经编码的下一宏块。这是宏块2。

在当前宏块为宏块2时，最佳基本表示是从包括宏块2、3、5和6的大小为32x32的较大块的编码获得。存储此值且操作进行到先前未经编码的下一宏块。这是宏块4。

在当前宏块是宏块4时，最佳基本表示是从宏块4获得。存储此值且操作进行到先前未经编码的下一宏块。这是宏块7。且依此类推。

因此，在此实例中，宏块1、4、7、8和9的最佳基本表示分别是从宏块1、4、7、8和9获得，且宏块2的最佳基本表示是从包括宏块2、3、5和6的大小为32x32的较大块获得。

所述信号因此包括呈以下次序的以下数据：

-与宏块1(MB 16x16(1))相关联的基本编码信息；

-与包括宏块2、3、5和6的较大块(MB 32x32(2))相关联的基本编码信息；

-与宏块4(MB 16x16(4))相关联的基本编码信息；

-与宏块7(MB 16x16(7))相关联的基本编码信息；

-与宏块8(MB 16x16(8))相关联的基本编码信息；

-与宏块9(MB 16x16(9))相关联的基本编码信息。

图5提供此流的语法的较精确说明。

因此可见，宏块3、5和6未以其基本型式经个别编码(即，其并不揭示任何特定的基本编码信息)。换句话说，由于当前宏块2的最佳基本表示是从包括宏块2、3、5和6的大小为32x32的较大块获得，因此在图像的宏块的扫描期间跳过宏块3、4和5，且不针对位于通过当前宏块(宏块2)重建的区域中的相邻宏块(宏块3、5和6)对额外基本编码信息进行编码。

这通过限制经编码数据的条数而简化了图像的较大区域的编码。

此外，对于通过较大块重建的区域的一个或一个以上宏块，可对关于纹理和/或运动的增强的信息进行编码以便改进这些宏块的质量。随后以残余的形式且以用于扫描宏块的扫描次序在较大块的基本编码信息之后对增强信息进行编码。

图6提供与包括图4的实例的32x32较大块的宏块的增强信息的流相关联的语法的较精确说明，其考虑待针对每一宏块2、3、5和6编码的增强信息。

如图6中说明，所述信号因而包括呈以下次序的以下若干条数据：

-与宏块1(16x16MB(1))相关联的基本编码信息；

-与包括宏块2、3、5和6的较大块(32x32MB(2))相关联的基本编码信息；

-与宏块2(MB 16x16_E(2))相关联的增强信息；

-与宏块3(MB 16x16_E(3))相关联的增强信息；

-与宏块4(MB 16x16(4))相关联的基本编码信息；

-与宏块5(MB 16x16_E(5))相关联的增强信息；

-与宏块6(MB 16x16_E(6))相关联的增强信息；

-与宏块7(MB 16x16(7))相关联的基本编码信息；

-与宏块8(MB 16x16(8))相关联的基本编码信息；

-与宏块9(MB 16x16(9))相关联的基本编码信息。

可注意到，与较大块的宏块相关联的若干条增强信息是以图像的宏块的扫描次序而被插入。其因此是以图像的宏块的扫描次序与同较大块相关联的基本编码信息且与同其它宏块相关联的基本编码信息混合而被检索。

语法的修改

下文中，我们呈现针对基于AVC的压缩方案的语法修改的实例。

认为将序列的图像细分为切片，所述切片随后经细分为宏块。

A)切片标头语法

修改切片的标头以便信令增强信息的存在或不存在。

换句话说，提供旗标以信令与较大块中存在的至少一个宏块相关联的若干条增强信息的存在。举例来说，将称为“extra_macroblock_flag”的旗标插入于标头中以信令已以基本型式通过较大块而编码的一个或一个以上宏块(即，基本编码信息已经确定的宏块)的增强信息的存在。

作为本描述的一体部分的附录A提出对应于切片的标头语法的实例，其中以斜体展示根据本发明的插入于流中的“extra_macroblock_flag”。在H.264/AVC标准中更具体描述与此语法相关联的语义。

B)“切片数据语法”有效负载部分的语法

同样作为本描述的一体部分的附录B提出包括关于切片的若干条信息(基本编码信息和可能的增强信息)的有效负载部分的语法的实例，其中以斜体展示根据本发明的插入到流中的元素。斜线元素对应于根据H.264标准的一行现存语法，其已根据本发明而修改。

在H.264/ACV标准且尤其在ITU-T H.264推荐(部分7，更具体来说对于语法的7.3和对于语义的7.4)中更具体描述与此语法相关联的语义。

更具体来说，在实施方案的此实例中，以宏块编码扫描次序逐个宏块地实施以下步骤：

-首先使用例如称为“macroblock_coded”功能的功能进行测试以查看当前宏块是否已经编码(即，是否已针对此宏块获得基本编码信息)；

-如果当前宏块尚未经编码，那么：

○针对此当前宏块，插入旗标以信令具有比宏块的大小大的大小的块的存在或不存在(super_block_flag)；

■如果建置较大块，那么对较大块进行编码且获得与较大块相关联的基本编码信息(使用例如称为“super_block_layer”的功能)；

■否则，传统上对当前宏块进行编码，且获得与宏块相关联的基本编码信息(通过使用例如“macroblock_layer”功能)；

-另外，如果当前宏块已经解码(即，通过与其重叠的较大块)，那么检查是否可能对此宏块的额外增强信息进行编码(考虑例如在切片标头处编码的“extra_macroblock_flag”指示符的值)。如果情况如此(例如如果“extra_macroblock_flag＝＝1”)，那么对与当前宏块相关联的增强信息进行编码(利用“macroblock_enhancement_layer”功能)。

称为“super_block_layer”、“macroblock_enhancement_layer”和“macroblock_coded”的功能如下起作用：

-super_block_layer功能在其原理上类似于H.264标准的macroblock_layer功能：其使用预测残余的变换和量化，在可能的细分的情况下借助于帧内或帧间预测而界定与块的预测码相关的表示参数；

-macroblock_enhancement功能界定将提供到基本表示信息元素的增强参数(例如运动残余、纹理残余)，类似于AVC的SVC扩展的做法；

-macroblock_coded功能控制关于针对宏块初步界定的基本表示的存在的信息的状态。此操作是通过界定具有可用的基本表示的宏块的信息图的值的状态来进行。此信息图在与super_block_layer功能相关联的解码处理操作中的较大块的编码期间经更新。

可注意到，根据此语法，有可能通过“super_block_layer”功能而插入指定将不针对较大块的至少一个宏块对增强进行编码的旗标。在此情况下，“macroblock_enhancement_layer”功能对所考虑的宏块没有影响。

解码方法的详细描述。

现在参见图7，我们呈现根据本发明一个实施例的解码方法的主要步骤。

在接收到表示根据本发明编码的图像序列的信号(包括与一个或一个以上较大块相关联的基本编码信息和与较大块中的一者中存在的至少一个宏块相关联的增强信息)时，解码器实施以下步骤：

-读取(71)与较大块相关联的基本编码信息；

-对基本编码信息进行解码(72)，以及较大块的重建；

-对与较大块的宏块(如果其存在)相关联的增强信息进行解码(73)，以及较大块中存在的至少一个宏块的相关联细化。

如果接收到的信号载运与一个或一个以上宏块相关联的基本编码信息，那么还可计划用于对与宏块相关联的基本编码信息进行解码和宏块的重建的额外步骤74。

可以许多方式，尤其以有线形式或以软件形式来实施根据本发明的解码方法。

根据实施方案的一个实例，解码器读取将逐个宏块地解码的图像的流的信息，且存储每一宏块的信息。

在流中的信息的读取期间，如果通过较大块对当前宏块进行编码，那么解码器读取与较大块相关联的基本编码信息。相比之下，其不读取与较大块中存在的其它宏块(即，与当前宏块相邻的水平和/或垂直宏块)相关联的任何基本编码信息。如果较大块的一个或一个以上宏块存在增强信息，那么读取且存储此信息。

更具体来说，在读取与宏块相关联的信息时，通过较大块的大小、其分割和所使用的变换类型来确定将针对此宏块读取的基本编码系数的数目。这三条信息是在流中读取或从先前读取的基本编码信息推断。

随后传统上借助于对系数的熵解码、逆量化和逆变换来重建宏块或较大块。随后针对宏块或较大块计算预测且将其添加到重建的残余。随后重建对应于宏块或较大块的图像的区域。

编码和解码装置的结构。

最终，参见图8和图9，呈现编码器和解码器的简化结构，其分别实施根据上文描述的特定实施例的用于对图像序列进行编码的技术和解码技术。

此编码装置包括：存储器81，其包括缓冲存储器；处理单元82，其配备有例如微处理器μP且由计算机程序83驱动，计算机程序83实施根据本发明的编码方法。

在初始化时，计算机程序83的代码指令例如加载到RAM中且随后由处理单元82的处理器执行。处理单元82输入待编码序列的一个或一个以上图像。处理单元82的微处理器根据计算机程序指令83实施上文描述的编码方法的步骤以对信号中的图像进行编码。为此，编码器除了缓冲存储器81外还包括用于将图像细分为标准大小块(称为宏块)的构件、用于建置具有比当前宏块的大小大的大小的至少一个块的构件、用于对较大块进行编码的构件，以及用于确定与较大块中存在的至少一个宏块相关联的增强信息的构件。这些构件由处理单元82的微处理器驱动。

图9中说明的解码器包括：存储器91，其包括缓冲存储器；处理单元92，其配备有例如微处理器μP且由计算机程序93驱动，计算机程序93实施根据本发明一个实施例的解码方法。

在初始化时，计算机程序93的代码指令例如加载到RAM中且随后由处理单元92的处理器执行。处理单元92输入表示图像序列的信号。处理单元92的微处理器根据计算机程序93的指令实施上文描述的解码方法的步骤以对信号进行解码且重建序列的图像。为此，解码器除了缓冲存储器91外还包括用于读取基本编码信息的构件、用于对基本编码信息进行解码且重建所述较大块的构件，以及用于对与较大块相关联的增强信息进行解码且细化较大块中存在的至少一个宏块的构件。这些构件由处理单元92的微处理器驱动。

附录A

附录B