动态图像预测编码装置、动态图像预测编码方法、动态图像预测编码程序、动态图像预测解码装置、动态图像预测解码方法、动态图像预测解码程序

摘要

本发明的目的在于，通过按照再现图像的帧尺寸决定在图像缓冲存储器中能够存储的再现图像的最大张数，能够有效利用图像缓冲存储器，进一步提高编码效率。动态图像预测编码装置具有：图像存储单元，其存储将压缩图像数据复原为再现图像后的一个以上的该再现图像，作为在对后续的图像进行编码时使用的参照图像；以及存储器控制单元，其在图像存储单元中控制帧缓冲存储器，在输入图像的帧尺寸是图像的最大帧尺寸的1/(2^L)(L为1以上的整数)以下的情况下，存储器控制单元将帧存储器中能够存储的再现图像的最大张数决定为(2^L)倍。

说明书

技术领域

本发明涉及动态图像预测编码及解码装置、方法和程序，尤其涉及管理在解码图 像缓冲器中能够存储的再现图像的最大张数的装置、方法及程序。

背景技术

为了高效地进行动态图像数据的传输和蓄积采用了压缩编码技术。在动态图像的 情况下广泛应用MPEG 1～4和H.261～H.264的方式。

在这些编码方式中，在将作为编码的对象的图像分割为多个块后进行编码处理或 解码处理。为了提高编码效率而采用如下所述的预测编码方法。在画面内的预测编码 中，在使用位于与对象块相同的画面内的相邻的已再现的图像信号(将过去压缩的图 像数据复原后的图像信号)生成预测信号之后，对从对象块的信号中减去该预测信号 得到的差分信号进行编码。在画面间的预测编码中，参照位于与对象块不同的画面内 的已再现的图像信号，检索信号的位移，对该移动的量进行补偿来生成预测信号，对 从对象块的信号中减去该预测信号得到的差分信号进行编码。将为了进行运动的检索 及补偿而参照的已再现的图像称为参照图像。

另外，在双向画面间预测中，存在不仅以显示时间顺序参照过去的图像，而且也 参照在对象图像之后被显示的未来的图像(该未来图像需要在对象图像之前进行编码 并预先再现)的情况。通过对从过去的图像和未来的图像取得的预测信号进行平均， 具有以下效果：对被隐藏并重新显现的物体的信号的预测有效，同时减轻了在两个预 测信号中包含的杂音。

另外，在H.264的画面间预测编码中，针对对象块的预测信号参照在过去进行编 码的基础上被再现的多个参照图像，进行运动检索并选择误差最少的图像信号作为最 佳的预测信号。求出对象块的像素信号与该最佳的预测信号的差分，并在实施离散余 弦变换及量化的基础上进行熵编码。同时，也对有关从哪个参照图像的哪个区域取得 针对对象块的最佳的预测信号的信息(分别称为参照索引和运动矢量)一并进行编码。

另外，在H.264中能够参照多个再现图像。这些再现图像作为在预测中使用的参 照图像被保存在图像缓冲存储器即解码图像缓冲器(DPB：Decoded picture buffer) 中。解码图像缓冲器(DPB)的尺寸是根据配置文件(profile)和等级(level)定义 的，不是定义参照图像的张数，而是定义为比特量。即，即使是相同的配置文件、等 级，张数也根据图像的帧尺寸而变化。例如，在主(Main)配置文件、等级3.2的情 况下，用于存储在预测中使用的参照图像的图像缓冲器的最大尺寸(MaxDPBSize： Maximum Decoded Picture Buffer size)被定义为7680.0×1024[bytes]，在1280×7204:2:0 的情况下，在解码图像缓冲器(DPB)中能够保存的再现图像的最大张数是5张，在 1280×10244:2:0的情况下，在解码图像缓冲器(DPB)中能够保存的再现图像的最大 张数是4张。在图1中示出了根据图像的帧尺寸而能够存储的再现图像的最大张数是 4张(图1(a))、5张(图1(b))和6张(图1(c))时的解码图像缓冲器的图像 配置。这样，预先准备的图像缓冲存储器按照再现图像的帧尺寸可变配置存储器指针， 由此研究利用存储器配置。

【现有技术文献】

【非专利文献】

【非专利文献1】“H.264:Advanced video coding for generic audiovisual  services,”Joint Video Team of ITU-T VCEG and ISO/IEC MPEG,ITU-T Rec.H.264 and  ISO/IEC 14496-10(MPEG4-Part10),November 2007

发明内容

发明要解决的问题

在此，在这样的定义中，H.264的解码装置需要能够对按照该解码装置支持的范 围内的配置文件及等级而定义的所有帧尺寸的图像进行解码，因而在图像缓冲存储器 中怎样配置在存储再现图像时使用的存储器并进行存储是无法固定的。因此，需要使 表示存储各再现图像的存储器位置的存储器指针按照待解码的图像的帧尺寸而变动， 因而存储器控制及安装变复杂。

作为针对这种情况的解决方案，可以考虑无论实际的解码图像的帧尺寸如何，都 将在图像缓冲存储器中能够存储的再现图像的最大张数(max_dec_pic_buffering)设 为固定的方法。采用该解决方案，能够如图2(a)那样根据最大帧尺寸唯一决定解 码图像缓冲器(DPB)的存储器配置，因而也能够固定存储器指针。即，与变动的存 储器指针的控制相比，存储器控制变容易。但是，在该解决方案中，在解码图像的帧 尺寸小于最大帧尺寸的情况下、以及如交织图像的字段图像那样图像的纵宽是帧图像 的一半的情况下，如图2(b)所示产生未使用的存储器区域，存在不能有效利用存 储器的问题。另外，通过存储更多的再现图像来增加参照图像张数，提高编码效率的 可能性将不复存在。

为了解决上述问题，本发明的目的在于提供编码/解码方法/装置及程序，通过按 照再现图像的帧尺寸决定在图像缓冲存储器中能够存储的再现图像的最大张数，能够 有效利用图像缓冲存储器，进一步提高编码效率。

用于解决问题的手段

为了达到上述目的，本发明的一个方面的动态图像预测编码装置具有：输入单元， 其输入构成动态图像的多个图像；编码单元，其利用画面内预测或者画面间预测中的 任意一个方法对图像进行编码而生成包括对象图像帧尺寸、能够存储再现图像的最大 张数、以及作为编码设定的有关最大帧尺寸的信息在内的压缩图像数据，并将该压缩 图像数据与编码数据一起进行编码，所述编码数据和所述对象图像帧尺寸、能够存储 再现图像的最大张数、以及有关最大帧尺寸的信息相关；解码单元，其对压缩图像数 据进行解码，复原成为再现图像；图像存储单元，其存储一个以上的再现图像，并作 为在对后续的图像进行编码时使用的参照图像；以及存储器控制单元，其在图像存储 单元中控制图像缓冲存储器，在输入图像的帧尺寸是图像的最大帧尺寸的1/(2^L) (L为1以上的整数)倍以下的情况下，存储器控制单元将在帧存储器中能够存储的 再现图像的最大张数决定为(2^L)倍。

在该动态图像预测编码装置中，根据在构成动态图像的各图像或者被压缩编码后 的图像数据中附带的帧尺寸、和按照编码设定而定义的最大帧尺寸关系，决定在图像 缓冲存储器中能够存储的再现图像的最大张数。更具体地讲，例如在输入图像的帧尺 寸大于按照编码设定而定义的最大帧尺寸的1/(2^L)(L为1以上的整数)倍的情况 下，最多能够存储N张(N为1以上的整数)再现图像，在输入图像的帧尺寸为最 大帧尺寸的1/(2^L)倍以下的情况下，控制在再现图像的存储中能够利用的存储器 缓冲量，使最多能够存储(2^L)×N张再现图像。由此，在被解码后的再现图像的 帧尺寸为按照编码设定而定义的最大帧尺寸的1/(2^L)倍以下的情况下，能够增加 可以存储的再现图像的最大张数，通过增加参照图像能够提高编码效率。

另外，本发明的一个方面的动态图像预测编码装置中的存储器控制单元在决定帧 存储器中能够存储的再现图像的最大张数时，将表示再现图像在存储器中的存储位置 的存储器指针固定。

在该动态图像预测编码装置中，表示各再现图像的存储位置的存储器指针例如能 够固定在最大帧尺寸及其1/(2^L)倍的位置，因而不需要根据帧尺寸而可变的存储 器指针控制，有效的存储器控制的安装更容易进行。并且，在计算存储器指针的位置 时，例如由于限定为1/(2^L)倍的变化，因而能够在位移运算中执行，运算成本小。

本发明的一个方面的动态图像预测解码装置具有：输入单元，其输入表示压缩图 像数据的编码数据，该压缩图像数据通过利用画面内预测或者画面间预测中的任意一 个方法对构成动态图像的多个图像进行编码而得到，且包括对象图像帧尺寸、能够存 储再现图像的最大张数、以及作为编码设定的有关最大帧尺寸的信息；解码单元，其 对压缩图像数据和表示对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最 大帧尺寸的信息的压缩图像数据进行解码，并复原为再现图像、和对象图像帧尺寸、 能够存储再现图像的最大张数、以及有关最大帧尺寸的信息；图像存储单元，其存储 一个以上的再现图像，并作为在对后续的图像进行解码时使用的参照图像；以及存储 器控制单元，其控制图像存储单元，在输入图像的帧尺寸是图像的最大帧尺寸的1/ (2^L)(L为1以上的整数)倍以下的情况下，存储器控制单元将在帧存储器中能够 存储的再现图像的最大张数决定为(2^L)倍。

在该动态图像预测解码装置中，根据在构成动态图像的各图像或者被压缩编码后 的图像数据中附带的帧尺寸、和按照编码设定而定义的最大帧尺寸关系，决定在图像 缓冲存储器中能够存储的再现图像的最大张数。更具体地讲，例如在输入图像的帧尺 寸大于按照编码设定而定义的最大帧尺寸的1/(2^L)(L为1以上的整数)倍的情况 下，最多能够存储N张(N为1以上的整数)再现图像，在输入图像的帧尺寸为最 大帧尺寸的1/(2^L)倍以下的情况下，最多能够存储(2^L)N张再现图像。由此， 在被解码后的再现图像的帧尺寸为按照编码设定而定义的最大帧尺寸的1/(2^L)倍 以下的情况下，能够增加可以存储的再现图像的最大张数，通过增加参照图像能够提 高编码效率。

另外，本发明的一个方面的动态图像预测解码装置中的存储器控制单元在决定在 帧存储器中能够存储的再现图像的最大张数时，将表示再现图像在存储器中的存储位 置的存储器指针固定。

在该动态图像预测解码装置中，表示各再现图像的存储位置的存储器指针例如能 够固定在最大帧尺寸及其1/(2^L)倍的位置，因而不需要根据帧尺寸而可变的存储 器指针控制，有效的存储器控制的安装更容易进行。并且，在计算存储器指针的位置 时，例如由于限定为1/(2^L)倍的变化，因而能够在位移运算中执行，运算成本小。

另外，本发明的一个方面的动态图像预测编码方法由动态图像预测编码装置执 行，该动态图像预测编码方法包括：输入步骤，输入构成动态图像的多个图像；编码 步骤，利用画面内预测或者画面间预测中的任意一个方法对所述图像进行编码而生成 包括对象图像帧尺寸、能够存储再现图像的最大张数、以及作为编码设定的有关最大 帧尺寸的信息在内的压缩图像数据，并将该压缩图像数据与编码数据一起进行编码， 所述编码数据和所述对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大 帧尺寸的信息相关；解码步骤，对压缩图像数据进行解码，复原成为再现图像；图像 存储步骤，由图像存储单元存储一个以上的再现图像，作为在对后续的图像进行编码 时使用的参照图像；以及存储器控制步骤，在图像存储步骤中控制图像缓冲存储器， 在存储器控制步骤中，在输入图像的帧尺寸是图像的最大帧尺寸的1/(2^L)(L为1 以上的整数)以下的情况下，将在帧存储器中能够存储的再现图像的最大张数决定为 (2^L)倍。

另外，本发明的一个方面的动态图像预测编码程序具有：输入模块，其输入构成 动态图像的多个图像；编码模块，其利用画面内预测或者画面间预测中的任意一个方 法对所述图像进行编码而生成包括对象图像帧尺寸、能够存储再现图像的最大张数、 以及作为编码设定的有关最大帧尺寸的信息在内的压缩图像数据，并将该压缩图像数 据与编码数据一起进行编码，所述编码数据和所述对象图像帧尺寸、能够存储再现图 像的最大张数、以及所述有关最大帧尺寸的信息相关；解码模块，其对压缩图像数据 进行解码，复原成为再现图像；图像存储模块，其存储一个以上的再现图像，作为在 对后续的图像进行编码时使用的参照图像；以及存储器控制模块，其在图像存储模块 中控制图像缓冲存储器，在输入图像的帧尺寸是图像的最大帧尺寸的1/(2^L)(L为 1以上的整数)以下的情况下，存储器控制模块将在帧存储器中能够存储的再现图像 的最大张数决定为(2^L)倍。

该动态图像预测编码方法及动态图像预测编码程序能够发挥与上述的动态图像 预测编码装置相同的效果。

另外，本发明的一个方面的动态图像预测解码方法由动态图像预测解码装置执 行，该动态图像预测解码方法包括：输入步骤，输入表示压缩图像数据的编码数据， 该压缩图像数据通过利用画面内预测或者画面间预测中的任意一个方法对构成动态 图像的多个图像进行编码而得到，且包括对象图像帧尺寸、能够存储再现图像的最大 张数、以及作为编码设定的有关最大帧尺寸的信息；解码步骤，对压缩图像数据和表 示对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大帧尺寸的信息的压 缩图像数据进行解码，并复原为再现图像、和对象图像帧尺寸、能够存储再现图像的 最大张数、以及有关最大帧尺寸的信息；图像存储步骤，由图像存储单元存储一个以 上的再现图像，作为在对后续的图像进行解码时使用的参照图像；以及存储器控制步 骤，控制图像存储单元，在存储器控制步骤中，在输入图像的帧尺寸是图像的最大帧 尺寸的1/(2^L)(L为1以上的整数)倍以下的情况下，将帧存储器中能够存储的再 现图像的最大张数决定为(2^L)倍。

另外，本发明的一个方面的动态图像预测解码程序具有：输入模块，其利用画面 内预测或者画面间预测中的任意一个方法对所述图像进行编码而生成包括对象图像 帧尺寸、能够存储再现图像的最大张数、以及作为编码设定的有关最大帧尺寸的信息 在内的压缩图像数据，并将该压缩图像数据与编码数据一起进行编码，所述编码数据 和所述对象图像帧尺寸、能够存储再现图像的最大张数、以及所述有关最大帧尺寸的 信息相关；解码模块，其对压缩图像数据和表示对象图像帧尺寸、能够存储再现图像 的最大张数、以及有关最大帧尺寸的信息的压缩图像数据进行解码，并复原为再现图 像、和对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大帧尺寸的信息； 图像存储模块，其存储一个以上的再现图像，作为在对后续的图像进行解码时使用的 参照图像；以及存储器控制模块，其控制图像存储模块，在输入图像的帧尺寸是图像 的最大帧尺寸的1/(2^L)(L为1以上的整数)倍以下的情况下，存储器控制模块将 帧存储器中能够存储的再现图像的最大张数决定为(2^L)倍。

该动态图像预测解码方法及动态图像预测解码程序能够发挥与上述的动态图像 预测解码装置相同的效果。

发明效果

根据本发明的动态图像预测编码/解码装置、方法及程序，通过按照再现图像的 帧尺寸决定在图像缓冲存储器中能够存储的再现图像的最大张数，能够有效利用图像 缓冲存储器，进一步提高编码效率。

附图说明

图1是示出图像缓冲存储器和存储图像张数、可变存储器指针位置的图。

图2是示出在图像缓冲存储器中固定存储器指针的问题的图。

图3是示出本发明的实施方式的动态图像预测编码装置的框图。

图4是示出本发明的实施方式的动态图像预测解码装置的框图。

图5是示出本发明的实施方式的第一动态图像预测编码/解码方法的流程图。

图6是用于说明本发明的实施方式的第一动态图像预测编码/解码方法的处理的 示意图。

图7是示出用于执行在记录介质中记录的程序的计算机的硬件结构的图。

图8是用于执行在记录介质中存储的程序的计算机的立体图。

具体实施方式

下面，使用图3～图8说明本发明的实施方式。

图3是示出本发明的实施方式的动态图像预测编码装置的框图。

301表示输入端子，302表示块分割器，303表示预测信号生成器，304表示帧存 储器，305表示减法器，306表示变换器，307表示量化器，308表示逆量化器，309 表示逆变换器，310表示加法器，311表示熵编码器，312表示输出端子，314表示帧 存储器管理器(或者也称为缓冲器管理器)。输入端子301对应于输入单元。预测信 号生成器303、减法器305、变换器306、量化器307以及熵编码器311对应于编码 单元。逆量化器308、逆变换器309以及加法器310对应于解码单元。帧存储器304 对应于图像存储单元。帧存储器管理器314对应于存储器控制单元。

下面，说明如上所述构成的动态图像预测编码装置的动作。由多张图像构成的动 态图像的信号被输入到输入端子301。作为编码对象的图像在块分割器302中被分割 成多个区域。在本发明的实施方式中是分割成由8×8的像素构成的块，但也可以分割 成除此以外的块的尺寸或者形状。然后，对于作为编码处理对象的区域(以下称为对 象块)生成预测信号。在本发明的实施方式中采用两种预测方法。即，画面间预测和 画面内预测。

在画面间预测中，将过去被编码后又被复原的再现图像作为参照图像，根据该参 照图像求出给出相对于对象块的误差最小的预测信号的运动信息。该处理被称为运动 检测。此处，也可以根据情况对对象块进行再分割，对再分割后的各小区域决定画面 间预测方法。在这种情况下，从各种分割方法之中决定对对象块整体效率最高的分割 方法以及各自的运动信息。在本发明的实施方式中是在预测信号生成器303中进行， 经由线路L302输入对象块，经由线路L304输入参照图像。关于参照图像，将过去 被编码并复原的多个图像用作参照图像。详细情况与作为现有技术的MPEG-2、4或 H.264中的任意一个方法相同。这样决定的运动信息和小区域的分割方法经由线路 L312发送给熵编码器311，在进行编码后从输出端子312发送。并且，在多个参照图 像中，有关预测信号是从哪个参照图像取得的信息(参考索引)也经由线路L312发 送给熵编码器311。另外，在本发明的实施方式中，在帧存储器304中存储M张(M 为1以上的整数)的再现图像，并用作参照图像。在预测信号生成器303中，根据小 区域的分割方法及与各小区域对应的参照图像和运动信息，从帧存储器304取得参照 图像信号并生成预测信号。这样生成的画面间预测信号经由线路L303发送给减法器 305。

在画面内预测中，使用空间上与对象块相邻的已再现的像素值来生成画面内预测 信号。具体地讲，在预测信号生成器303中，从帧存储器304取得位于相同画面内的 已再现的像素信号，通过对这些信号进行外插来生成画面内预测信号。有关外插的方 法的信息经由线路L312发送给熵编码器311，在进行编码后从输出端子312发送。 这样生成的画面内预测信号被发送给减法器305。在预测信号生成器303中的画面内 的预测信号生成方法与作为现有技术的H.264的方法相同。选择相对于如上所述求出 的画面间预测信号和画面内预测信号误差最小的信号，并发送给减法器305。

对于第一张图像，由于不存在位于其前面的图像，因而全部的对象块按照画面内 预测进行处理。

减法器105从对象块的信号(经由线路L302)中减去预测信号(经由线路L303) 生成残差信号。变换器306对该残差信号进行离散余弦变换，量化器307对其各系数 进行量化。最后，熵编码器311对量化后的变换系数进行编码，并与有关预测方法的 信息一起从输出端子312发送。

为了对后续的对象块进行画面内预测或者画面间预测，对被压缩的对象块的信号 进行逆处理使其复原。即，量化后的变换系数在由逆量化器308进行逆量化后，由逆 变换器309进行逆离散余弦变换，将残差信号复原。加法器310将复原后的残差信号 和从线路L303发送的预测信号相加，将对象块的信号再现并存储在帧存储器304中。 在本实施方式中采用了变换器306和逆变换器309，但也可以采用取代这些变换器的 其它变换处理。根据情况也可以没有变换器306和逆变换器309。

帧存储器304是有限的，不能存储所有的再现图像。只有在后续的图像的编码处 理中使用的再现图像被存储在帧存储器304中。控制该帧存储器304的是帧存储器管 理器314。帧存储器管理器314进行如下控制：从位于帧存储器304中的M张(此 处M为整数)再现图像中删除最早的图像，使能够存储被用作参照图像的最近的再 现图像。从输入端子313输入各图像的帧尺寸和按照编码设定(配置文件、级别)而 定义的最大帧尺寸，根据该信息决定在帧存储器中能够存储的再现图像的最大张数， 帧存储器管理器314进行动作使得以不超过最大张数的方式进行存储。同时，各图像 的帧尺寸和按照编码设定而定义的最大帧尺寸、在帧存储器中能够存储的再现图像的 最大张数的信息，经由线路L314发送给熵编码器311，在进行编码的基础上与被压 缩的图像数据一起进行输出。帧尺寸和按照编码设定而定义的最大帧尺寸、在帧存储 器中能够存储的再现图像的最大张数是附随于各图像，因而可以是表示图像的帧尺寸 自身的信息、或者是以指数或者乘幂的形式表述帧尺寸的信息。另外，如果对于配置 文件和级别信息预先设定了最大帧尺寸，也可以利用这些信息输入最大帧尺寸。在本 实施方式中，假设帧尺寸的值被直接变换为二值编码，最大帧尺寸被定义为级别信息。 关于帧存储器管理器314的控制方法在后面进行说明。

下面，说明动态图像预测解码方法。图4示出本发明的实施方式的图像预测解码 装置的框图。401表示输入端子，402表示数据分析器，403表示逆量化器，404表示 逆变换器，405表示加法器，408表示预测信号生成器，407表示帧存储器，406表示 输出端子，409表示帧存储器管理器。输入端子401对应于输入单元。逆量化器403 和逆变换器404对应于解码单元。也可以采用除此以外的单元作为解码单元。帧存储 器407对应于图像存储单元。帧存储器管理器409对应于存储器控制单元。另外，也 可以没有逆变换器404。

下面，说明如上所述构成的动态图像预测解码装置的动作。从输入端子401输入 按照上述的方法被压缩编码后的压缩数据。在该压缩数据中包含对将图像分割成多个 块的对象块进行编码得到的残差信号、和与预测信号的生成等有关的信息。作为有关 预测信号的生成的信息，对于画面间预测而言，包含有关块分割的信息(块的尺寸)、 运动信息和上述的参考索引，对于画面内预测而言，包含有关从周边的已再现的像素 进行外插的方法的信息。

数据分析器402从压缩数据提取出对象块的残差信号、有关预测信号的生成的信 息、量化参数、图像的帧尺寸、按照编码设定而定义的最大帧尺寸、在帧存储器中能 够存储的再现图像的最大张数。逆量化器403根据量化参数(经由线路L402)对对 象块的残差信号进行逆量化。逆变换器404对逆量化结果进行逆离散余弦变换。

然后，经由线路L406b将有关预测信号的生成的信息发送给预测信号生成器408。 预测信号生成器408根据有关预测信号的生成的信息访问帧存储器407，从多个参照 图像中取得参照信号来生成预测信号。该预测信号经由线路L408发送给加法器405， 与复原后的残差信号相加来再现对象块信号，并经由线路L405进行输出，同时被存 储在帧存储器407中。

在帧存储器407中存储有在后续的图像的解码/再现时使用的再现图像。帧存储 器管理器409控制帧存储器407。帧存储器管理器407进行如下控制：从所存储的M 张(此处M为整数)再现图像中删除最早的图像，使帧存储器407能够存储被用作 参照图像的最近的再现图像。帧存储器管理器409根据经由线路L406a发送的对象图 像的帧尺寸和按照编码设定而定义的最大帧尺寸、在帧存储器中能够存储的再现图像 的最大张数的信息进行动作。关于帧存储器管理器409的控制方法在后面进行说明。

下面，使用图5和图6说明动态图像预测编码方法和动态图像预测解码方法。图 5是示出本发明的实施方式的图像预测编码/解码方法的流程图。说明在该图中使用的 变量的意思。pic_width是表示再现图像的横宽的亮度像素数的变量，pic_height是表 示再现图像的纵宽的亮度像素数的变量，MaxLumaFS是表示根据级别信息定义的最 大图像尺寸的变量，MFSBuffer是表示被定义为级别信息的利用在解码图像缓冲器 (DPB)中能够存储的再现图像的最大张数表述的存储器缓冲器量的变量， maxDPBsize是表示利用在解码图像缓冲器(DPB)中能够存储的再现图像的最大张 数表述的存储器缓冲器量的变量，max_dec_pic_buffering是表示在解码时使用的再现 图像的最大存储张数(储器缓冲器量)的变量，DPBpointer是表示示出在解码图像缓 冲器中存储再现图像的位置的指针的变量。

在图5中，输入了再现图像的横宽的亮度像素数pic_width、再现图像的纵宽的 亮度像素数pic_height、按照编码设定而定义的最大帧尺寸MaxLumaFS、以及利用在 解码图像缓冲器(DPB)中能够存储的再现图像的最大张数表述的存储器缓冲器量 MFSBuffer。然后，把将所输入的再现图像的横宽的亮度像素数pic_width和再现图像 的纵宽的亮度像素数pic_height之乘积的值、与按照编码设定而定义的最大帧尺寸 MaxLumaFS的一半的值(MaxLumaFS/2)进行比较(步骤S502)。此处，在不满足 条件的情况下(pic_width与pic_height之乘积的值大于MaxLumaFS/2的情况下)，设 定为maxDPBsize＝MFSBuffer(步骤S503)。另外，在满足条件的情况下(pic_width 与pic_height之乘积的值为MaxLumaFS/2以下的情况下)，设定为 maxDPBsize＝2*MFSBuffer(步骤S504)。

(数式)

maxDPBsize＝2*MFSBuffer(pic_width*pic_height≦(MaxLumaFS>>1)时)

maxDPBsize＝MFSBuffer(上述以外)

另外，上述数式中的“>>”表示右移位运算，是与MFSBuffer/2相同的意思。

另外，设定成使利用在解码时使用的再现图像的最大存储张数表述的存储器缓冲 器量max_dec_pic_buffering达到maxDPBsize以下。

(数式)

max_dec_pic_buffering≦maxDPBsize

另外，在maxDPBsize＝MFSBuffer的情况下，如图6(a)所示，在图像存储器缓 冲器的开头设定DPBpointer＝1，将DPBpointer＝2、3、4为从DPBpointer＝1的位置起 最大帧尺寸的2倍、3倍、4倍量的存储器指针器的位置设定在前进的位置。

另外，在maxDPBsize＝2*MFSBuffer的情况下，如图6(b)所示在已经设定的 DPBpointer1～4的基础上，将从DPBpointer＝1的位置起最大帧尺寸量的1/2倍、3/2 倍、2/5倍、2/7倍量的存储器指针器的位置设定在前进的位置。(步骤S505)。

所设定的max_dec_pic_buffering和DPBpointer在后述的步骤S508的帧存储器的 控制时使用。即，控制成使在解码时在帧存储器中最多存储max_dec_pic_buffering 张的再现图像，并根据在存储时设定的DPBpointer进行存储。在编码方法中，与再 现图像的横宽的亮度像素数pic_width及再现图像的纵宽的亮度像素数pic_height有 关的信息、最大帧尺寸MaxLumaFS、包括利用在解码图像缓冲器(DPB)中能够存 储的再现图像的最大张数表述的存储器缓冲器量MFSBuffer的级别信息，是从外部给 出的。在图3中，经由输入端子313从未图示的控制装置进行给出。

另一方面，在步骤S506，在按照图3说明的方法将作为处理对象的图像进行编 码后再解码。被编码后的图像的数据被发送到外部或者被存储在外部。在步骤S507， 判定对象图像是否在后续的处理中被用作参照图像。该判定是根据图像的编码类型 (画面内预测编码、画面间预测编码、双向预测编码)而决定的。在不用作参照图像 的情况下进入步骤S510。在用作参照图像的情况下进入步骤S508，DPBpointer被控 制在图6记述的位置，在步骤S509将被解码及再现的图像存储在帧存储器中，然后 进入步骤S511。在步骤S511，如果有下一个图像，进入步骤S506，如果没有下一个 图像就结束处理。这样执行编码处理一直到最后的图像为止。

上述的处理对应于图3的动态图像编码方法整体的处理，尤其步骤S502、S503、 S504、S505和S508是在帧存储器管理器314中进行的。

另外，图5用于说明动态图像的编码方法，但也能够应用于动态图像解码方法的 处理。在进行解码处理的情况下，在步骤S501输入被压缩编码后的图像的数据(比 特流)。从该数据中提取出再现图像的横宽的亮度像素数pic_width、再现图像的纵宽 的亮度像素数pic_height、按照编码设定而定义的最大帧尺寸MaxLumaFS、利用在解 码图像缓冲器(DPB)中能够存储的再现图像的最大张数表述的存储器缓冲器量 MFSBuffer、以及在解码时使用的再现图像的最大存储张数(存储器缓冲器量) max_dec_pic_buffering，按照与上述相同的方法进行步骤S502～S505、S508的控制。 另外，在解码侧，在步骤S505确认复原后的max_dec_pic_buffering是否为maxDPBsize 以下。在步骤S506执行对对象图像的压缩后的数据进行解码将图像复原的处理。从 步骤S507起的处理如上所述。该处理对应于图4的动态图像解码装置的处理，尤其 步骤S502、S503、S504、S505和S508是在动态图像解码装置的帧存储器管理器409 中进行的。

图6是用于说明本发明的实施方式的动态图像预测编码/解码方法中的帧存储器 的存储器指针的位置的示意图。比较图6(a)和(b)可知，存储器指针号码1～4 的位置固定。另外，当在步骤S503满足条件的情况下，重新控制为存储器指针5～8。 即，无论步骤S503的判定如何，存储器指针的位置都固定。

(存储器指针的位置)

另外，在本实施方式中将存储器指针号码交替设定为1～4和5～8，但也可以按 照1～8的顺序分配存储器指针号码。

(存储器分割数)

另外，在本实施方式中，将再现图像的横宽的亮度像素数pic_width及再现图像 的纵宽的亮度像素数pic_height、与按照编码设定而定义的最大帧尺寸MaxLumaFS 的一半的值(MaxLumaFS/2)进行比较，但也可以将再现图像的横宽的亮度像素数 pic_width及再现图像的纵宽的亮度像素数pic_height、与按照编码设定而定义的最大 帧尺寸MaxLumaFS(2^L)(L为2以上的整数)进行比较。此时，表示再现图像的 存储位置的存储器指针的位置如图6所示，只要在将已经配置的指针固定的状态下的 MaxLumaFS的1/(2^L)的位置配置存储器指针即可。

(帧尺寸的定义)

另外，在本实施方式中，利用再现图像的横宽的亮度像素数pic_width及再现图 像的纵宽的亮度像素数pic_height表述帧尺寸，但也可以利用表示预先相乘得到的帧 尺寸的值。并且，也可以利用除此以外的方法计算帧尺寸。

另外，在本实施方式中，将最大图像尺寸MaxLumaFS、利用在解码图像缓冲器 (DPB)中能够存储的MaxLumaFS的大小的再现图像的最大张数表述的存储器缓冲 器量MFSBuffer定义为级别信息，但不限于作为级别信息进行发送。也可以附加作为 级别信息以外的信息。

另外，在本实施方式中，FSBuffer及maxDPBsize利用能够存储的再现图像的最 大张数表述，但也可以表述为实际的存储器量。在这种情况下，可以将存储器量除以 帧尺寸来计算再现图像的张数。

尤其具有如下效果，通过根据图像的帧尺寸和按照编码条件而定义的最大帧尺寸 的关系，决定在图像缓冲存储器中能够存储的再现图像的最大张数，在实际的帧尺寸 小于最大帧尺寸的情况下，能够减少帧存储器的浪费，确保能够进一步提高编码效率 的参照图像用的存储器区域。

将用于使计算机作为上述的动态图像预测编码装置及动态图像预测解码装置发 挥作用的动态图像预测编码程序及动态图像预测解码程序，作为程序存储在记录介质 中进行提供。关于记录介质可以示例软盘(注册商标)、CD-ROM、DVD、或者ROM 等记录介质、或者半导体存储器等。

具体地讲，动态图像预测编码程序具有：输入模块，其输入构成动态图像的多个 图像；编码模块，其利用画面内预测或者画面间预测中的任意一个方法对图像进行编 码而生成包括对象图像帧尺寸、能够存储再现图像的最大张数、以及作为编码设定的 有关最大帧尺寸的信息在内的压缩图像数据，并将该压缩图像数据与编码数据一起进 行编码，所述编码数据和对象图像帧尺寸、能够存储再现图像的最大张数、以及有关 最大帧尺寸的信息相关；解码模块，其对压缩图像数据进行解码使复原成为再现图像； 图像存储模块，其存储一个以上的再现图像，作为在对后续的图像进行编码时使用的 参照图像；以及存储器控制模块，其在图像存储模块中控制图像缓冲存储器，在输入 图像的帧尺寸是图像的最大帧尺寸的1/(2^L)(L为1以上的整数)倍以下的情况下， 存储器控制模块将帧存储器中能够存储的再现图像的最大张数决定为(2^L)倍。

同样，动态图像预测解码程序具有：输入模块，其输入表示压缩图像数据的编码 数据，该压缩图像数据通过利用画面内预测或者画面间预测中的任意一个方法对构成 动态图像的多个图像进行编码而得到，且包括对象图像帧尺寸、能够存储再现图像的 最大张数、以及作为编码设定的有关最大帧尺寸的信息；解码模块，其对压缩图像数 据和表示对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大帧尺寸的信 息的压缩图像数据进行解码，并复原为再现图像、和对象图像帧尺寸、能够存储再现 图像的最大张数、以及有关最大帧尺寸的信息；图像存储模块，其存储一个以上的再 现图像，作为在对后续的图像进行解码时使用的参照图像；以及存储器控制模块，其 控制图像存储模块，在输入图像的帧尺寸是图像的最大帧尺寸的1/(2^L)(L为1以 上的整数)倍以下的情况下，存储器控制单元将在帧存储器中能够存储的再现图像的 最大张数决定为(2^L)倍。

图7是示出用于执行记录在记录介质中的程序的计算机的硬件结构的图，图8 是用于执行记录在记录介质中的程序的计算机的立体图。作为计算机，包括具备CPU 并进行基于软件的处理和控制的DVD播放器、机顶盒、便携电话等。

如图7所示，计算机30具有：软盘(注册商标)驱动器装置、CD-ROM驱动器 装置、DVD驱动器装置等读取装置12；使操作系统常驻的工作用存储器(RAM)14； 将存储在记录介质10中的程序进行存储的存储器16；称为显示器的显示装置18；作 为输入装置的鼠标20及键盘22；用于进行数据等的收发的通信装置24；以及控制程 序的执行的CPU26。当记录介质10插入到读取装置12中时，计算机30能够从读取 装置12访问存储在记录介质10中的动态图像预测编码/解码程序，能够根据该动态 图像预测编码/解码程序作为动态图像预测编码/解码装置来动作。

如图8所示，动态图像预测编码程序或者动态图像预测解码程序也可以是作为重 叠在载波上的数据信号40通过网络提供的程序。在这种情况下，计算机30能够将通 过通信装置24接收的动态图像预测编码程序或者动态图像预测解码程序存储在存储 器16中，并执行该动态图像预测编码程序或者动态图像预测解码程序。

标号说明

301输入端子；302块分割器；303预测信号生成器；304帧存储器；305减法器； 306变换器；307量化器；308逆量化器；309逆变换器；310加法器；311熵编码器； 312输出端子；313输入端子；314帧存储器管理器；401输入端子；402数据分析器； 403逆量化器；404逆变换器；405加法器；406输出端子；407帧存储器；408预测 信号生成器；409帧存储器管理器。