图像编码装置、图像解码装置、图像编码方法、图像解码方法、图像编码程序、图像解码程序、记录图像编码程序的记录媒体、记录图像解码程序的记录媒体

摘要

为了在未解码编码数据的特定帧的情况下也能得到正确的解码图像，并且使编码效率提高，预测图像制作部(103)对由图像分类部(102)分类到第j类目的当前帧，从第i(1≤i≤j)类目的、过去编码的参照图像存储器(107)的多个帧的图像信息中，选择图像信息，制作预测图像。差分编码部(104)编码当前帧的图像信息与预测图像的差分。另外，当前类目编码部(106)编码当前帧的类目序号，参照图像指定信息编码部(105)编码指定从参照图像存储器(107)中选择出的图像信息的参照图像指定信息。

说明书

技术领域

本发明涉及一种使用帧间预测编码方式的、多个帧的图像编码/解码技术。

背景技术

在所谓MPEG-1、MPEG-2或H.261、H.263的国际标准动态图像编码中，编码各帧的输出时刻。将这些时刻信息称为TR(Temporal Reference)，对每个帧进行固定长度编码。在系统中预先设定成为基准的时间间隔，用该时间间隔与TR的积来表示从序列开头开始的时刻。编码器将输入图像的时刻信息设定成TR，编码各帧，解码器在由TR指定的时刻，输出各帧的解码图像。

另一方面，一般在动态图像编码中，为了使用时间方向的相关来实现高的编码效率，采用帧间预测编码。在帧的编码模式中，有不使用帧间相关来进行编码的I帧、根据过去编码的1个帧来预测的P帧、和可根据过去编码的两个帧来预测的B帧。

在B帧中，必需在参照图像存储器中存储2帧大小的解码图像。尤其是在映像编码方式H.263与H.264中，在参照图像存储器中存储2帧或2帧以上的多个帧大小的解码图像，从该存储器中选择参照图像来进行预测。

参照图像可在每个块中选择，编码指定参照图像的参照图像指定信息。在参照图像存储器中有短时间用(STRM)与长时间用(LTRM)，在STRM中存储当前帧的解码图像，选择存储在STRM中的图像来存储于LTRM中。另外，就LTRM与STRM的控制方法而言，例如非专利文献1中记载的那样。

非专利文献1：Thomas Wiegand，Xiaozheng Zhang，and Berned Girod，“Long-Term Memory Motion-Compensated Prediction”，IEEE Transactions onCircuits and Systems for Video Technology，vol.9，no.1，pp.70-84，Feb.，1999在MPEG-1、MPEG-2的B帧中，将根据过去的帧来预测的方法称为前方向帧间预测，将根据以后的帧来预测的方法称为后方向帧间预测。后方向帧间预测中的参照帧的显示时刻比当前帧更靠后(更靠未来)。此时，在显示当前帧之后，输出后方向帧间预测的参照帧。在B帧中根据两个帧来预测的情况下(两方向帧间预测)，内插来自两个帧的图像信息，制作一个帧大小的图像信息，将其设为预测图像。

图16(A)中示出后方向帧间预测中的参照帧的显示时刻为之后的情况下的、动态图像的预测关系实例。图16所示的(1)-(7)表示帧序号。在按IBBPBBP的顺序编码从第1帧至第7帧的编码模式的情况下，由于存在图16(A)所示的预测关系，所以在实际编码的情况下，如图16(B)所示，按1423756的顺序来编码帧。此时被编码的TR顺序与编码帧一样，为对应于1423756的值。

在H.264的B帧中，从MPEG-1、MPEG-2进一步扩展后方向帧间预测的概念，后方向帧间预测中的参照帧的显示时刻也可以在当前帧之前。此时，向目的地输出后方向帧间预测的参照帧。

如上所述，在H.264中，可在参照图像存储器中存储多个解码图像。因此，定义前方向帧间预测用的参照图像指定信息L0与后方向帧间预测用的参照图像指定信息L1，分别独立指定前方向帧间预测用的参照图像与后方向帧间预测用的参照图像。

为了对每个块指定参照图像，首先编码块的预测模式(前方向帧间预测或后方向帧间预测或两方向帧间预测)，在预测模式为前方向帧间预测的情况下，编码参照图像指定信息L0，在为后方向帧间预测的情况下，编码参照图像指定信息L1，在为两方向帧间预测的情况下，编码参照图像指定信息L0和参照图像指定信息L1。

若如此定义，则后方向帧间预测中的参照帧的显示时刻不必在当前帧之后。在H.264的B帧中，可将如此在后方向帧间预测之前的帧指定为参照图像，并且指定可变更成块单位，所以除两方向帧间预测的情况下，可制作与P帧一样的预测图像。

图17(A)中示出后方向帧间预测中的参照帧的显示时刻为过去的情况下的、动态图像的预测关系实例。与图16的情况不同，即便在按IBBPBBP的顺序编码从第1帧至第7帧的编码模式的情况下，也由于存在图17(A)所示的预测关系，所以如图17(B)所示，按1423567的顺序来编码帧。

在参照图像存储器中存储多个解码图像、选择参照图像后进行帧间预测编码的方法中，不必存储全部帧的解码图像。应用这些，可实现时间可升级(scalable)功能。

例如，在MPEG-1、MPEG-2存在于图16(A)等预测关系的情况下，B帧(帧序号(2)、(3)、(5)、(6))在之后的帧中不作为参照图像来作用。因此，解码侧可不解码B帧而仅解码I帧与P帧。若与原来一样以每秒30帧编码，则如果不解码/输出B帧，就能输出每秒10帧的映像。

也可将这种技术应用于多个阶层中。图1是表示3层构成的预测关系的实例图。图1中，(1)-(9)表示帧序号，帧中记载的1-9的数字表示各帧的编码顺序。

例如图1(C)所示，第5帧(第1层)将第1帧设为参照帧，第3帧(第2层)将第1帧或第5帧设为参照帧，第2帧(第3层)将第1帧或第3帧设为参照帧，第4帧(第3层)将第3帧与第5帧设为参照帧时，在全部5个帧均为每秒30帧的映像的情况下，通过不解码第2帧与第4帧(第3层)，可输出每秒15帧的映像。

通过不解码第2帧、第3帧与第4帧(第2层与第3层)，可输出每秒7.5帧的映像。另外，除图1(C)之外，帧的编码顺序也可设定多个模式，例如图1(A)所示，与输入顺序相同，或如图1(B)所示，在第1层编码之后，立即编码第2层，接着编码第3层。

当在存在不构成这种参照帧的帧时，变更时间分辩率的方式既可在解码侧执行，也可在编码侧与解码侧之间的中继地点执行。当如播放那样单方向分配编码数据的情况下，最好解码侧执行。

另外，这种时间可升级功能通过将第1层视为视点，也可适用于多视点映像的编码。

另外，即便是一般的在帧间没有时间关系的多个帧，也可通过按预先设定的维(dimension)排列多个帧，将该维视为时间，从而作为动态图像进行处理。也可进一步将这种多个帧分类成少数的集合，将其视为图1中的层，适用时间可升级功能。

另外，作为实现时间可升级编码的方法，例如MCTF编码。该MCTF编码方法是如下方法，即对映像数据，沿时间方向过滤(子频带分割)，利用映像数据的时间方向的相关，使映像数据的能量致密化。图18示出在时间方向上倍频程(octave)分割低频段的原理图。设定GOP，在GOP内，沿时间方向过滤。在时间方向的滤波器中，一般提议Haar基底(参照非专利文献2)。

非专利文献2：Jens-Rainer Ohm，“Three-Dimensiona；Subband Coding withMotion Compensation”，IEEE Trans，Image Proc.，vol.3，no.5，pp.559-571，1994.另外，在Haar基底中，一般可适用图19所示的Lifting Scheme。利用该方法，可减少运算量地进行过滤。就该Lifting Scheme而言，predict是与通常的预测编码一样的处理，是求出预测图像与原图像的残差的处理。

另外，在非专利文献3或非专利文献4中，记载了根据多个图像来得到高分辩率的图像的方法。

非专利文献3：Sung Cheol Park，Min Kyu Park，and Moon Gi Kang，“Super-Resolution Image Reconstruction：A Technical Overview”，IEEE SignalProcessing Magazine，pp.21-36，May，2003

非专利文献4：C.Andrew Segall，Rafael Molina，and Aggelos K.Katsaggelos，“High-Resolution Image from Low-Resolution Compress Video”，IEEE Signal Processing Magazine，pp.37-48，May，2003.

在具备多个帧的参照图像存储器的情况下，越增大存储的最大帧数，编码效率越高。这里，在实现时间可升级功能的情况下，即便解码的层数少时，也必需利用编码数据中的参照图像指定信息来指定同一解码图像。

但是，在以前的H.264中，虽然具备STRM与LTRM，但由于LTRM是存储在STRM中存储的图像的存储器，将解码图像存储在STRM中，所以与时间可升级中的层无关，对解码图像编码参照图像指定信息。

因此，在解码侧未解码编码数据的特定帧的情况下，会参照参照图像指定信息不同的帧。若如此根据不同的参照图像来制作预测图像，则解码侧得不到正确的解码图像。

不使用参照图像指定信息从多个帧中选择参照图像，而如MPEG-1、MPEG-2的B帧所示，不使解码图像存储在参照图像存储器中，另外，在将参照图像限定为前后的I帧或P帧的情况下，当不解码B帧时，参照图像不会不同。由此，可实现时间可升级编码。但是，若设未将B帧的解码图像存储在参照图像存储器中，则B帧将参照图像限定为前后的I帧或P帧，不具备多个帧的参照图像存储器，所以可提高编码效率。

如上所述，就现有的实现时间可升级编码的方法而言，为了提高编码效率，不能具备多个帧的参照图像存储器，相反，现有的参照图像存储器中存储多个帧的方法不能实现时间可升级编码。

发明内容

本发明的目的在于提供一种图像编码装置、图像解码装置、图像编码方法、图像解码方法、图像编码程序、图像解码程序、和其记录媒体，在解码侧未解码编码数据的特定帧的情况下，也可指定与解码该帧时相同的参照图像，得到正确的解码图像，并且，可使编码效率提高。

本发明的第1方面是一种图像编码方法，从过去编码的多个帧的图像信息中，选择图像信息，并编码制作预测图像的多个图像信息，其特征在于，执行如下步骤：图像分类步骤，将各帧分类成N个类目(category)；预测图像制作步骤，就分类成第i类目的当前帧而言，从第i(1≤i≤j)类目的、过去编码的多个帧的图像信息中，选择图像信息，并制作预测图像；差分编码步骤，编码当前帧的图像信息与预测图像的差分；参照图像指定信息编码步骤，编码指定由预测图像制作步骤选择到的图像信息的、第j类目用的参照图像指定信息；和当前类目编码步骤，编码当前帧的类目序号。

本发明的第2方面根据本发明第1方面的图像编码方法，其特征在于，对每个解码类目，分配指定属于类目的帧的帧序号，参照图像指定信息由预测图像制作步骤选择到的图像信息所属的类目序号、和由该序号指定的类目的帧序号构成。

本发明的第3方面是一种图像解码方法，从过去解码了的多个帧的图像信息中，选择图像信息，并解码制作预测图像的多个图像信息，其特征在于，执行如下步骤：当前类目解码步骤，解码当前帧的类目序号；参照图像指定信息解码步骤，解码由当前类目解码步骤得到的类目序号用的、指定图像信息的参照图像指定信息；预测图像制作步骤，根据由参照图像指定信息指定的图像信息，制作预测图像；差分解码步骤，解码当前帧的解码图像与预测图像的差分；解码图像制作步骤，根据差分信息与预测图像，制作解码图像；和解码图像存储步骤，将当前帧的解码图像存储在由当前类目解码步骤得到的类目序号用存储器中。

本发明的第4方面根据本发明第3方面的图像解码方法，其特征在于，对每个类目，分配指定属于类目的帧的帧序号，参照图像指定信息由预测图像制作步骤选择到的图像信息所属的类目序号、和由该序号指定的类目的帧序号构成。

根据本发明第1方面的图像编码方法或本发明第3方面的图像解码方法，将参照图像存储器分类成多个类目，对每个类目管理参照图像。由此，在确定是否对每个类目解码，存在未解码的类目的情况下，可根据包含于其它类目中的参照图像来制作预测图像。由于参照图像指定信息对每个类目分别设定，所以在解码类目的情况与未解码类目的情况下，均可利用参照图像指定信息来指定同一图像，得到正确的解码图像。另外，可对每个类目增多参照图像数量，提高编码效率。

类目例如可按图1中所示的层来设定。第1类目(第1层)的图像仅参照第1类目(第1层)的图像，第2类目(第2层)的图像参照第1类目(第1层)与第2类目(第2层)的图像，第3类目(第3层)的图像参照第1类目(第1层)、第2类目(第2层)与第3类目(第3层)的图像。此时，若对每个类目配备可存储多个帧大小的参照图像的参照图像存储器，则可提高各类目的编码效率。

作为参照图像指定信息，例如有如下信息

(方法1)对包含于设为参照图像的类目中的帧，从编码或解码顺序接近当前帧的帧开始附加通用序号，

(方法2)对包含于设为参照图像的类目中的帧，从输入或输出顺序接近当前帧的帧开始附加通用序号，等。

不限于此，只要是如下指定方法即可，即编码侧与解码侧可唯一指定参照图像，在未解码不设为参照图像的类目的帧的情况下，参照的图像一致。

就图1(C)中的编码顺序的帧构成而言，图2中示出由方法1指定时的参照图像指定信息的实例，图3中示出由方法2指定时的参照图像指定信息的实例。其中，图3中，在对当前帧的输入或输出顺序的差分相同的情况下，向最近编码的帧赋予小的序号。另外，作为参照图像指定信息，例如为0、1、2、...等通用序号的信息。

图2中，例如在当前帧为第2帧的情况下，附加参照图像指定信息的顺序为第3帧、第5帧、第1帧的顺序，在当前帧为第3帧的情况下，附加参照图像指定信息的顺序为第5帧、第1帧的顺序。

图3中，例如在当前帧为第2帧的情况下，附加参照图像指定信息的顺序为第3帧、第1帧、第5帧的顺序，在当前帧为第3帧的情况下，附加参照图像指定信息的顺序为第5帧、第1帧的顺序。

另外，本发明也可用于可逆编码和不可逆编码中任意一个。也可在图像编码装置的参照图像存储器中，在可逆编码的情况下，存储原图像与解码图像之一。在不可逆编码的情况下，存储解码图像。

根据本发明第2方面的图像编码方法或本发明第4方面的图像解码方法，就参照图像指定信息而言，除上述例举的实例(方法1与方法2)之外，还可由

(方法3)类目序号与在类目内设定的类目内的帧序号构成。

这里，类目序号可以是从第1类目起顺序附加的绝对序号，也可以是与当前帧的类目序号的差分。帧序号同样可以是从类目的第1帧起顺序附加的绝对序号，也可以是与当前帧的差分。

根据方法3，由于向每个类目分配不同的帧序号，所以帧序号的管理简易，另外，可减轻由于传输错误而不能解码特定类目的帧时的、参照图像的不一致。

例如，在图1(C)中，在由于传输错误而不能解码第2帧(第3类目内的第1个帧)的情况下，得不到第2帧的解码图像，向参照第2帧的帧传播错误。

在将类目内的帧序号设为与第1帧的绝对序号的情况下，当图1(C)所示的第3类目内的第2个帧未参照第3类目内的第1个帧的情况下，可根据第3类目内的第2个帧来正确解码。因此，若在第3类目内的第2个帧之后参照第3类目内的第1个帧以外的帧，则可正确解码该帧。

另外，在将类目内的帧序号设为与当前帧的相对序号的情况下，第2类目的帧的全部帧序号会错位。但是，若在第2帧之后的帧不参照第2类目的帧，则可正确解码其它类目的帧。

另外，通过向属于当前类目序号以下的帧分配暂定帧序号，则可仅向可在预测图像步骤中选择的帧分配固有的序号。另外，不向不能在预测图像步骤中选择的帧分配序号。因此，即便在图像解码侧未解码类目序号比当前帧大的帧的情况下，也由于可正确指定参照图像，所以可得到正确的解码图像。

另外，通过使用过去编码的帧的编码顺序，可设定暂定帧序号，使得越是最近编码的帧，则参照图像指定信息的编码量越少。由此，可降低参照图像指定信息的编码量，提高编码效率。

根据本发明第5方面的图像编码方法或本发明第6方面的图像解码方法，可将参照图像与参照图像指定信息的对应变更为帧或切片(slice)单位。通过变更参照图像指定信息以削减编码量，可提高整体的编码效率。

根据本发明第7方面的图像编码方法或本发明第8方面的图像解码方法，就MCTF编码方式而言，由于在编码当前帧时，增加参照图像信息的替补，所以提高编码效率。

另外，在本发明中，各类目的参照图像存储器可由物理上不同的存储器构成，也可逻辑上相区别地构成。另外，也可对帧或多个帧的每个，变更各类目的参照图像存储器量的分配。

另外，也可设定成每个类目下帧内象素数不同。例如，可将图1中的第2层或第3层的象素数设为第1层的纵向横向一半，或2倍。此时，当由预测图像制作部制作预测图像时，必需进行基于仿射变换等的放大、缩小、或高分辩率变换。

就高分辩率变换而言，报告根据多个图像来得到高分辩率的图像的方法，最好利用这些方法(例如参照非专利文献3或非专利文献4)。另外，也可设定成对每个类目、使象素的灰度(比特数)不同。例如，可将图1中的第1层的灰度设为8比特，将第2层或第3层的灰度设为4比特。此时，当由预测图像制作部制作预测图像时，必需增加或减少灰度。

本发明以由多个帧构成的图像为目的地。多个帧例如可构成动态图像，或构成改变视点来拍摄得到的多视点图像。

根据本发明，当编码或解码多个帧的图像时，将参照图像存储器分割成多个类目，通过对每个类目管理参照图像，在解码类目的情况下与不解码类目的情况下，指定相同的参照图像，可得到正确的解码图像。另外，对每个类目可增多参照图像数量，提高编码效率。

附图说明

图1是表示层构成的预测关系实例的图。

图2是表示参照图像指定信息的实例的图。

图3是表示参照图像指定信息的实例的图。

图4是表示图像编码装置的第1构成例的图。

图5是表示图像编码处理流的一例的图。

图6是表示图像解码装置的第1构成例的图。

图7是表示图像解码处理流的一例的图。

图8是表示图像编码装置的第2构成例的图。

图9是表示图像解码装置的第2构成例的图。

图10是说明基于与现有技术的比较的本发明效果的图。

图11是表示层构成的预测关系实例的图。

图12是表示图像编码装置的第3构成例的图。

图13是表示图像解码装置的第3构成例的图。

图14是表示MCTF图像编码实例的图。

图15是表示MCTF图像解码实例的图。

图16是表示动态图像的预测关系实例的图。

图17是表示动态图像的预测关系实例的图。

图18是表示MCTF编码中的时间方向的滤波器实例的图。

图19是表示Haar基底下的Lifting Scheme实例的图。

图20是表示参照图像指定信息编码部的一构成例的图。

图21是表示暂定帧序号设定部的一构成例的图。

图22是表示暂定帧序号设定部的其它构成例的图。

图23是表示暂定帧序号确定部的一构成例的图。

图24是表示参照图像指定信息解码部的一构成例的图。

具体实施方式

参照附图来说明本发明的实施方式。在本实施方式中，设将图像分类成3个类目，不可逆编码图像。第1类目的输入图像将第1类目的解码图像设为参照图像的替补，第2类目的输入图像将第1类目与第2类目的解码图像设为参照图像的替补，第3类目的输入图像将第1类目、第2类目与第3类目的解码图像设为参照图像的替补。

作为本发明的实施方式，示出编码图1所示图像时的实例。另外还示出如下实例，将1帧分割成纵向横向16个象素的微块，并对每个微块选择并编码参照图像，以使差分编码数据的编码量为最小。

图4是表示本发明实施方式的图像编码装置的构成图。图像编码装置1具备：取入图像信息的图像输入部101；将输入图像分割成3个类目的图像分类部102；制作预测图像的预测图像制作部103；编码输入图像信息与预测图像的差分的差分编码部104；编码参照图像指定信息的参照图像指定信息编码部105；编码当前帧的类目序号的当前类目编码部106；存储解码图像的参照图像存储器107；解码部108，解码由差分编码部104制作的差分编码数据，并制作解码图像；编码量计测部109，计测差分编码部104制作的差分编码数据的编码量；参照图像切换部110，控制预测图像制作部103中使用的参照图像的切换；利用参照图像切换部110的控制来切换参照图像的开关部111；和切换差分编码数据的输出与编码量的计测的开关部112。

设参照图像指定信息编码部105编码如图2所示的、按照所述方法1附加的参照图像指定信息。

在参照图像存储器107中，具备可存储7帧大小图像的存储器，向第1类目分配2帧大小的存储器(C1)，向第2类目分配2帧大小的存储器(C2)，向第3类目分配3帧大小的存储器(C3)。

在各类目中，当在重新存储解码图像时、在全部存储器中存储图像的情况下，废弃最早存储的图像，存储解码图像。图像输入部101按图1(C)的各帧内记载的数字所示顺序，取入输入图像，将输入图像分割成微块。

图像分类部102将各帧分类成图1所示的类目(第1层、第2层、第3层)。当前类目编码部106固定长度编码当前帧的类目序号。预测图像制作部103在输入图像与参照图像之间进行动作探索，将差分为最小的位置的图像设为预测图像。

差分编码部104将动作矢量信息作为差分编码数据的一部分编码。另外，设已编码第1帧，将解码图像存储在参照图像存储器107中。

在这种前提下如下编码输入图像。首先，图像输入部101取入图1(C)的第5帧，分割成微块。图像分类部102将输入图像分类成第1类目。当前类目编码部106对是第1类目的情况进行编码。

参照图像切换部110将参照图像设定成第1类目的第1帧。预测图像制作部103根据参照图像来制作预测图像。差分编码部104对每个微块制作差分编码数据。由于该帧中参照图像的替补为1帧，所以编码量计测部109不计测编码量，从开关部112输出差分编码数据。另外，解码部108解码差分编码数据。

参照图像指定信息编码部105编码参照图像指定信息。在编码全部微块之后，将解码图像存储在参照图像存储器107的第1类目用存储器(C1)中。在编码第5帧后的参照图像存储器107中，将第1帧与第5帧的解码图像存储在第1类目用存储器(C1)中。

接着，图像输入部101取入图1(C)的第3帧，分割成微块。图像分类部102将输入图像分类成第2类目。当前类目编码部106对是第2类目的情况进行编码。

之后，对每个微块如下编码。首先，参照图像切换部110将参照图像设定成第1类目的第1帧。预测图像制作部103根据参照图像来制作预测图像。差分编码部104制作差分编码数据。编码量计测部109计测差分编码数据的编码量。

接着，参照图像切换部110将参照图像设定成第1类目的第2帧。差分编码部104制作差分编码数据。编码量计测部109计测差分编码数据的编码量。

另外，参照图像切换部110将编码量计测部109得到的编码量中值最小时的帧设定成参照图像。预测图像制作部103根据参照图像来制作预测图像。差分编码数据制作并输出差分编码数据。解码部108解码差分编码数据。参照图像指定信息编码部105编码参照图像指定信息。

对全部微块执行这种处理。在编码全部微块之后，将解码图像存储在参照图像存储器107的第2类目用存储器(C2)中。在编码第3帧后的参照图像存储器107中，将第1帧与第5帧的解码图像存储在第1类目用存储器(C1)中，将第3帧的解码图像存储在第2类目用存储器(C2)中。

接着，图像输入部101取入图1(C)的第2帧，分割成微块。图像分类部102将输入图像分类成第3类目。当前类目编码部106对是第3类目的情况进行编码。

之后，对每个微块如下编码。首先，参照图像切换部110将参照图像设定成第1类目的第1帧。预测图像制作部103根据参照图像来制作预测图像。差分编码部104制作差分编码数据。编码量计测部109计测差分编码数据的编码量。

对全部参照图像的替补执行这种处理。参照图像的替补是存储在参照图像存储器107的第1类目用存储器(C1)或第2类目用存储器(C2)中的图像(第1帧、第5帧、第3帧)。

另外，参照图像切换部110将编码量计测部109得到的编码量中值最小时的帧设定成参照图像。预测图像制作部103根据参照图像来制作预测图像。差分编码部104制作并输出差分编码数据。解码部108解码差分编码数据。参照图像指定信息编码部105编码参照图像指定信息。

对全部微块执行这种处理。在编码全部微块之后，将解码图像存储在参照图像存储器107的第3类目用存储器(C3)中。在编码第2帧后的参照图像存储器107中，将第1帧与第5帧的解码图像存储在第1类目用存储器(C1)中，将第3帧的解码图像存储在第2类目用存储器(C2)中，将第2帧的解码图像存储在第3类目用存储器(C3)中。

下面，第4帧与第2帧一样，分类成第3类目，对每个微块，边切换参照图像边求出差分编码数据，确定参照图像，以使编码量最小，制作解码图像。

参照图像的替补是存储在参照图像存储器107的第1类目或第2类目或第3类目用存储器(C1或C2或C3)中的图像(第1帧、第5帧、第3帧、第2帧)。

在编码全部微块之后，将解码图像存储在参照图像存储器107的第3类目用存储器(C3)中。在编码第4帧后的参照图像存储器107中，将第1帧与第5帧的解码图像存储在第1类目用存储器(C1)中，将第3帧的解码图像存储在第2类目用存储器(C2)中，将第2帧与第4帧的解码图像存储在第3类目用存储器(C3)中。

下面，第9帧与第5帧一样，分类成第1类目，对每个微块，边切换参照图像边求出差分编码数据，确定参照图像，以使编码量最小，制作解码图像。参照图像的替补是存储在参照图像存储器107的第1类目用存储器中的图像(第1帧、第5帧)。

在编码全部微块之后，将解码图像存储在参照图像存储器107的第1类目用存储器(C1)中。此时，由于第1类目用存储器(C1)仅能存储2帧大小，所以在废弃最早存储的第1帧的图像之后，存储第9帧的解码图像。

在编码第9帧后的参照图像存储器107中，将第5帧与第9帧的解码图像存储在第1类目用存储器(C1)中，将第3帧的解码图像存储在第2类目用存储器(C2)中，将第2帧与第4帧的解码图像存储在第3类目用存储器(C3)中。

下面，第7帧与第3帧一样，分类成第2类目，对每个微块，边切换参照图像边求出差分编码数据，确定参照图像，以使编码量最小，制作解码图像。参照图像的替补是存储在参照图像存储器107的第1类目或第2类目用存储器(C1或C2)中的图像(第5帧、第9帧、第3帧)。

在编码全部微块之后，将解码图像存储在参照图像存储器107的第2类目用存储器(C2)中。在编码第7帧后的参照图像存储器107中，将第5帧与第9帧的解码图像存储在第1类目用存储器(C1)中，将第3帧与第7帧的解码图像存储在第2类目用存储器(C2)中，将第2帧与第4帧的解码图像存储在第3类目用存储器(C3)中。

下面，第6帧与第2帧一样，分类成第3类目，对每个微块，边切换参照图像边求出差分编码数据，确定参照图像，以使编码量最小，制作解码图像。

参照图像的替补是存储在参照图像存储器107的第1类目或第2类目用存储器(C1或C2)或第3类目用存储器(C3)中的图像(第5帧、第9帧、第3帧、第7帧、第2帧、第4帧)。

在编码全部微块之后，将解码图像存储在参照图像存储器107的第3类目用存储器(C3)中。在编码第6帧后的参照图像存储器107中，将第5帧与第9帧的解码图像存储在第1类目用存储器(C1)中，将第3帧与第7帧的解码图像存储在第2类目用存储器(C2)中，将第2帧、第4帧与第6帧的解码图像存储在第3类目用存储器(C3)中。

下面，第8帧与第2帧一样，分类成第3类目，对每个微块，边切换参照图像边求出差分编码数据，确定参照图像，以使编码量最小，制作解码图像。

参照图像的替补是存储在参照图像存储器107的第1类目或第2类目或第3类目用存储器(C1或C2或C3)中的图像(第5帧、第9帧、第3帧、第7帧、第2帧、第4帧、第6帧)。

在编码全部微块之后，将解码图像存储在参照图像存储器107的第3类目用存储器(C3)中。此时，由于第3类目用存储器(C3)仅能存储3帧大小，所以在废弃最早存储的第2帧的图像之后，存储第8帧的解码图像。

在编码第8帧后的参照图像存储器107中，将第5帧与第9帧的解码图像存储在第1类目用存储器(C1)中，将第3帧与第7帧的解码图像存储在第2类目用存储器(C2)中，将第4帧、第6帧与第8帧的解码图像存储在第3类目用存储器(C3)中。通过上述操作，进行从第1帧至第9帧的编码。

图5是表示本发明实施方式的图像编码处理流的一例的图。首先，输入图像信息(帧)，并分割成微块(步骤S1)。向分割后的微块附加例如块序号k(k＝1、2、3...)。

之后，将输入图像分类成类目(步骤S2)。编码当前帧的类目序号(步骤S3)。取出最初的微块(块序号k＝1)(步骤S4)，选择当前帧的参照图像替补(步骤S5)，根据选择到的参照图像替补来制作预测图像(步骤S6)。

对当前帧的图像信息与根据选择的参照图像替补来制作的预测图像的差分进行编码(步骤S7)。之后，计测差分编码数据的编码量(步骤S8)。

判定是否有未选择的参照图像替补(步骤S9)，若有未选择的参照图像替补，则返回步骤S5，若没有未选择的参照图像替补，则将差分编码数据的编码量最小的参照图像替补设定成当前帧的参照图像(步骤S10)。

根据设定的参照图像来制作预测图像(步骤S11)，编码当前帧的图像信息与根据设定的参照图像来制作的预测图像的差分，输出差分编码数据(步骤S12)。解码并存储差分编码数据(步骤S13)。另外，编码参照图像指定信息(步骤S14)。

之后，将块序号k加1(步骤S15)，判定是否对全部微块制作差分编码数据(k＞kMAX)(步骤S16)。在存在未制作差分编码数据的微块的情况下，返回步骤S5。在对全部微块制作差分编码数据的情况下，将解码图像存储在参照图像存储器107中(步骤S17)，结束处理。

图6是表示本发明实施方式的图像解码装置的构成图。图像解码装置2具备解码差分编码数据的差分解码部201；制作预测图像的预测图像制作部202；解码参照图像指定信息的参照图像指定信息解码部203；解码当前帧的类目序号的当前类目解码部204；存储参照图像的参照图像存储器205；根据差分图像与预测图像来制作解码图像的解码图像制作部206；将解码图像存储在参照图像存储器205中的解码图像存储部207；参照图像切换部208，控制预测图像制作部202使用的参照图像的切换；和利用参照图像切换部208的控制来切换参照图像的开关部209。

参照图像指定信息解码部203如图2所示，按照方法1来解码参照图像指定信息。在参照图像存储器205中具备可存储7帧大小图像的存储器，向第1类目分配2帧大小的存储器(C1)，向第2类目分配2帧大小的存储器(C2)，向第3类目分配3帧大小的存储器(C3)。

在各类目中，当在重新存储解码图像时、在全部存储器中存储图像的情况下，废弃最早存储的图像，存储解码图像。当前类目解码部204固定长度解码当前帧的类目序号。另外，第1帧已被解码，在参照图像存储器205中存储解码图像。

下面，具体说明由所述图像编码装置1编码的编码数据的解码处理。当前类目解码部204对图1(C)的第5帧解码当前帧的类目序号。之后，对每个微块，如下制作解码图像。

差分解码部201解码差分编码数据，制作差分图像。另外，还解码动作矢量信息。参照图像指定信息解码部203解码参照图像指定信息。参照图像切换部208将参照图像设定成由参照图像指定信息指定的图像。参照图像的替补是存储在参照图像存储器25的第1类目用存储器(C1)中的图像(第1帧)。预测图像制作部202根据参照图像，制作对应于动作矢量的预测图像。解码图像制作部206根据差分图像和预测图像来制作解码图像。

对全部微块执行这种处理。在解码全部微块之后，解码图像存储部207将解码图像存储、输出到参照图像存储器205中的指定的类目序号用存储器中。在解码第5帧后的参照图像存储器205中，将第1帧与第5帧的解码图像存储在第1类目用存储器(C1)中。

第3帧与第5帧一样，解码编码数据，得到解码图像，存储输出到参照图像存储器205中。参照图像的替补是存储在参照图像存储器205的第1类目用存储器(C1)中的图像(第1帧、第5帧)。

在解码第3帧后的参照图像存储器205中，将第1帧与第5帧的解码图像存储在第1类目用存储器(C1)中，将第3帧的解码图像存储在第2类目用存储器(C2)中。

第2帧与第5帧一样，解码编码数据，得到解码图像，存储输出到参照图像存储器205中。参照图像的替补是存储在参照图像存储器205的第1类目用存储器(C1)或第2类目用存储器(C2)中的图像(第1帧、第5帧、第3帧)。

在解码第2帧后的参照图像存储器205中，将第1帧与第5帧的解码图像存储在第1类目用存储器(C1)中，将第3帧的解码图像存储在第2类目用存储器(C2)中，将第2帧的解码图像存储在第3类目用存储器(C3)中。

第4帧与第5帧一样，解码编码数据，得到解码图像，存储输出到参照图像存储器205中。参照图像的替补是存储在参照图像存储器205的第1类目或第2类目或第3类目用存储器(C1或C2或C3)中的图像(第1帧、第5帧、第3帧、第2帧)。

在解码第4帧后的参照图像存储器205中，将第1帧与第5帧的解码图像存储在第1类目用存储器(C1)中，将第3帧的解码图像存储在第2类目用存储器(C2)中，将第2帧与第4帧的解码图像存储在第3类目用存储器(C3)中。

第9帧与第5帧一样，解码编码数据，得到解码图像，存储输出到参照图像存储器205中。参照图像的替补是存储在参照图像存储器205的第1类目用存储器(C1)中的图像(第1帧、第5帧)。此时，由于第1类目用存储器(C1)仅能存储2帧大小，所以在废弃最早存储的第1帧的图像之后，存储第9帧的解码图像。

在解码第9帧后的参照图像存储器205中，将第5帧与第9帧的解码图像存储在第1类目用存储器(C1)中，将第3帧的解码图像存储在第2类目用存储器(C2)中，将第2帧与第4帧的解码图像存储在第3类目用存储器(C3)中。

第7帧与第5帧一样，解码编码数据，得到解码图像，存储输出到参照图像存储器205中。参照图像的替补是存储在参照图像存储器205的第1类目或第2类目用存储器(C1或C2)中的图像(第5帧、第9帧、第3帧)。

在解码第7帧后的参照图像存储器205中，将第5帧与第9帧的解码图像存储在第1类目用存储器(C1)中，将第3帧与第7帧的解码图像存储在第2类目用存储器(C2)中，将第2帧与第4帧的解码图像存储在第3类目用存储器(C3)中。

第6帧与第5帧一样，解码编码数据，得到解码图像，存储输出到参照图像存储器205中。参照图像的替补是存储在参照图像存储器205的第1类目或第2类目或第3类目用存储器(C1或C2或C3)中的图像(第5帧、第9帧、第3帧、第7帧、第2帧、第4帧)。

在解码第6帧后的参照图像存储器205中，将第5帧与第9帧的解码图像存储在第1类目用存储器(C1)中，将第3帧与第7帧的解码图像存储在第2类目用存储器(C2)中，将第2帧与第4帧的解码图像存储在第3类目用存储器(C3)中。

第8帧与第5帧一样，解码编码数据，得到解码图像，存储输出到参照图像存储器205中。参照图像的替补是存储在参照图像存储器205的第1类目或第2类目或第3类目用存储器(C1或C2或C3)中的图像(第5帧、第9帧、第3帧、第7帧、第2帧、第4帧、第6帧)。

此时，由于第3类目用存储器(C3)仅能存储3帧大小，所以在废弃最早存储的第2帧的图像之后，存储第8帧的解码图像。在解码第8帧后的参照图像存储器205中，将第5帧与第9帧的解码图像存储在第1类目用存储器(C1)中，将第3帧与第7帧的解码图像存储在第2类目用存储器(C2)中，将第4帧、第6帧与第8帧的解码图像存储在第3类目用存储器(C3)中。通过上述操作，进行从第1帧至第9帧的解码。

图7是表示本发明实施方式的图像解码处理流的一例的图。说明已解码第1帧、将解码图像存储在参照图像存储器205中之后的处理流。首先，解码当前帧的类目序号(步骤S21)。设块序号k＝1(步骤S22)。

解码差分编码数据，制作差分图像，另外，解码动作矢量信息(步骤S23)。解码参照图像指定信息(步骤S24)，将参照图像设定成由参照图像指定信息指定的图像(步骤S25)。根据参照图像来制作对应于动作矢量的预测图像(步骤S26)。

之后，根据差分图像与预测图像来制作解码图像(步骤S27)，将块序号k加1(步骤S28)，判定是否对全部微块制作解码图像(k＞kMAX)(步骤S29)。

在存在未制作解码图像的微块的情况下，返回步骤S23，在对全部微块制作解码图像的情况下，将解码图像存储在由类目序号指定的参照图像存储器中(步骤S30)，输出解码图像(步骤S31)，结束处理。

下面，说明本发明的实施方式中、变更时间分辩率后解码时的实例。已解码第1帧，将解码图像存储在参照图像存储器205中。在本例中，仅从编码数据中解码第1类目(图1(C)的第5帧与第9帧)与第2类目(图1(C)的第3帧与第7帧)的图像。

第5帧与上述实例一样，解码编码数据，得到解码图像，存储输出到参照图像存储器205中。参照图像的替补是存储在参照图像存储器205的第1类目用存储器(C1)中的图像(第1帧)。在解码第5帧后的参照图像存储器205中，将第1帧与第5帧的解码图像存储在第1类目用存储器(C1)中。

第3帧与第5帧一样，解码编码数据，得到解码图像，存储输出到参照图像存储器205中。参照图像的替补是存储在参照图像存储器205的第1类目用存储器(C1)中的图像(第1帧、第5帧)。在解码第3帧后的参照图像存储器205中，将第1帧与第5帧的解码图像存储在第1类目用存储器(C1)中，将第3帧的解码图像存储在第2类目用存储器(C1)中。

第9帧与第5帧一样，解码编码数据，得到解码图像，存储输出到参照图像存储器205中。参照图像的替补是存储在第1类目用存储器(C1)的图像(第1帧、第5帧)。此时，由于第1类目用存储器(C1)仅能存储2帧大小，所以在废弃最早存储的第1帧的图像之后，存储第9帧的解码图像。在解码第9帧后的参照图像存储器205中，将第5帧与第9帧的解码图像存储在第1类目用存储器(C1)中，将第3帧的解码图像存储在第2类目用存储器(C2)中。

第7帧与第5帧一样，解码编码数据，得到解码图像，存储输出到参照图像存储器205中。参照图像的替补是存储在参照图像存储器205的第1类目或第2类目用存储器(C1或C2)中的图像(第5帧、第9帧、第3帧)。

在解码第7帧后的参照图像存储器205中，将第5帧与第9帧的解码图像存储在第1类目用存储器(C1)中，将第3帧与第7帧的解码图像存储在第2类目用存储器(C2)中。

通过上述操作，尽管不解码第3类目的图像，也可正确解码第1类目与第2类目的图像。同样，也可仅解码第1类目的图像。

本实施例中的参照图像指定信息编码部根据方法1编码参照图像指定信息，参照图像指定信息解码部根据方法1来解码参照图像指定信息，但也可根据暂定帧序号来确定并编码参照图像指定信息。图20示出使用该方法时的图像编码装置的参照图像指定信息编码部105的构成。

参照图像指定信息编码部105由暂定帧序号设定部1051与暂定帧序号编码部1052构成。这里，暂定帧序号设定部1051对存储在参照图像存储器107中的多个图像信息中、属于当前帧的类目以下的帧的图像信息，设定暂定帧序号。暂定帧序号编码部1052编码指定由预测图像制作部103选择的帧的暂定帧序号，作为参照图像指定信息。

作为由暂定帧序号设定部1051设定暂定帧序号的方法，也可用实施例中记载的方法1、方法2或方法3。另外，作为利用各帧的编码顺序的方法，例如以下实例。暂定帧序号设定部1051如图21所示，由编码顺序记录部10511与暂定帧序号确定部10512构成。编码顺序记录部10511记录过去编码的帧的编码顺序，作为每个类目的编码顺序序号。暂定帧序号确定部10512根据过去编码的帧的编码顺序序号与当前帧的类目序号，确定过去编码的帧的暂定帧序号。

或者，也可如图22所示构成暂定帧序号设定部1051。此时，暂定帧序号设定部1051由编码顺序记录部10511、类目序号记录部10513与暂定帧序号确定部10512构成。这里的编码顺序记录部10511记录过去编码的帧的编码顺序，作为编码顺序序号，类目序号记录部10513记录过去编码的帧的类目序号。即，编码顺序记录部10511不存储每个类目的编码顺序，与类目无关地记录各帧的编码顺序。另外，暂定帧序号确定部10512根据过去编码的帧的编码顺序序号与当前帧的类目序号，确定过去编码的帧的暂定帧序号。

这里，暂定帧序号确定部10512也可如下根据编码顺序来确定暂定帧序号。如图23所示，由差分帧序号分配部105121与暂定帧序号算出部105122构成暂定帧序号确定部10512。差分帧序号分配部105121按照预先设定的规则，根据编码顺序序号来分配差分帧序号。之后，暂定帧序号算出部105122根据差分帧序号与当前帧的类目序号的组合，算出暂定帧序号。此时，对差分帧序号与当前帧的类目序号的组合预先配备分配暂定帧序号的表，根据差分帧序号与当前帧的类目序号，参照表，求出暂定帧序号即可。或者，对差分帧序号与当前帧的类目序号的组合预先设定算出暂定帧序号的计算式，根据差分帧序号与当前帧的类目序号，通过计算，算出暂定帧序号即可。

另外，此时，参照图像指定信息解码部203如图24所示，可由暂定帧序号设定部2031与暂定帧序号解码部2032构成。这里，暂定帧序号设定部2031对存储在参照图像存储器205中的多个图像信息中、属于当前帧的类目以下的帧的图像信息，设定暂定帧序号。暂定帧序号解码部2032解码指定由预测图像制作部203选择的帧的暂定帧序号，作为参照图像指定信息。

在本实施例中，参照图像指定信息编码部105根据方法1来编码参照图像指定信息，参照图像指定信息解码部203根据方法1来解码参照图像指定信息。即，参照图像指定信息编码部或参照图像指定信息解码部使用预先设定的、对应于各类目的参照图像指定信息的对应关系，编码或解码参照图像指定信息。下面，示出对每个帧或每个切片变更该对应关系的构成。

图8中示出此时的图像编码装置3的构成，图9中示出图像解码装置4的构成。分别为追加参照类目设定部311、403与参照图像指定信息设定部312、410的构成。在图像编码装置3中，参照图像指定信息编码部308对参照图像切换部307设定的参照图像，根据参照图像指定信息设定部312设定的对应关系，编码参照图像指定信息。另外，图像解码装置4中，参照图像指定信息解码部404解码参照图像指定信息，参照图像切换部403根据参照图像指定信息设定部410设定的对应关系，切换参照图像。

图像编码装置3与图像解码装置4中的参照类目设定部311、403对每个帧，根据当前帧的类目序号，设定可参照的类目序号。在本实施例中，若当前帧为第1类目，则设定第1，作为可参照的类目，若当前帧为第2类目，则设定第1与第2，作为可参照的类目，若当前帧为第3类目，则设定第1、第2与第3，作为可参照的类目。

另外，也可不是本实施例中所示的设定，例如，除第1类目之外，当前帧所属的类目不包含于可参照的类目中。

图像编码装置3中的参照图像指定信息设定部312对于每个帧，对应地选择方法1或方法2之一。此时，编码指定使用哪个方法的信息。图像解码装置4中的参照图像指定信息设定部410解码表示对于每个帧、对应地选择方法1或方法2哪个的信息，选择某一个。

也可不是对每个帧、而是对每个切片执行该对应的设定。另外，不限于方法1或方法2，也可预先设定多个可选择的方法，选择其中之一。另外，也可不预先设定可选择的方法，而编码对应关系本身。在编码对应关系的情况下，编码表示对属于各类目的帧的参照图像指定信息的对应关系的信息。此时，作为指定帧的信息，也可固有分配帧序号，利用该帧序号。例如，在将属于第1类目的帧序号1与帧序号5的图像信息存储在参照图像存储器中的情况下，将参照图像指定信息1与帧序号5对应，将参照图像指定信息2与帧序号1对应。

为了确认本发明的效果，进行基于现有方法与本发明方法的图像编码/解码的实验。在使用本发明的方法中，如上述实施方式说明的那样，具备由3个层构成的参照图像存储器，由第1层为2帧大小、第2层为2帧大小、第3层为3帧大小的图像存储器来构成参照图像存储器。下面，将使用本发明的方法的图像编码/解码方法称为LayerMul。

作为现有方法，使用如下方法，即对每个层不管理参照图像存储器，仅剩余1帧大小按每规定间隔存储在参照图像存储器中的图像，废弃其它图像。将该现有方法称为LayerOff。

例如，在方法LayerOff中，图1中，帧序号(5)的帧参照帧序号(1)的图像，帧序号(3)的帧参照帧序号(1)与帧序号(5)的图像，帧序号(2)的帧参照帧序号(1)、帧序号(5)与帧序号(3)的图像，帧序号(4)的帧参照帧序号(1)、帧序号(5)、帧序号(3)与帧序号(2)的图像。

这样，在从帧序号(2)的帧编码到帧序号(5)的帧之后，废弃存储在参照图像存储器中的从帧序号(2)到帧序号(4)的图像，仅存储帧序号(5)的图像。

之后，帧序号(9)的帧参照帧序号(5)的图像，帧序号(7)的帧参照帧序号(5)与帧序号(9)的图像，帧序号(6)的帧参照帧序号(5)、帧序号(9)与帧序号(7)的图像，帧序号(8)的帧参照帧序号(5)、帧序号(9)、帧序号(7)与帧序号(6)的图像。

这样，在编码从帧序号(6)的帧到帧序号(9)的帧之后，废弃存储在参照图像存储器中的从帧序号(6)到帧序号(8)的图像，仅存储帧序号(9)的图像。

如上所述，对于每4个帧，仅剩余1帧大小参照图像存储器的图像，废弃其余的图像。将指定剩余的帧的参照图像指定信息复位为1。利用该方法，除解码全部层的方法外，还可仅解码第1层，或仅解码第1层与第2层。

图10中示出使用方法LayerMul与方法Layeroff，将图像尺寸为横向352、纵向288象素、由17帧构成的图像A分类成3层后编码时的、每帧的编码量(比特数)。在预测图像的制作方法与预测残差的编码中，使用H.264映像编码方式中采用的方式。

量化刻度固定，进行实验，就各帧而言，方法LayerMul与方法LayerOff中，为大致相同值。这样，在帧序号(6)之前，两者为大致相同的编码量，但就帧序号(6)之后的第奇数个帧而言，方法LayerMul的编码量比方法LayerOff的少

这是因为第奇数个帧属于第1层与第2层，方法LayerMul中可用作参照图像的帧数多。即，根据本发明，示出通过对每层管理参照图像存储器，提高各层的编码效率。

在以上说明的本发明的实施方式中，根据1帧的参照图像来制作预测图像，但也可根据多个参照图像来制作预测图像。此时，图像编码装置1中，参照图像切换部110选择多个参照图像，预测图像制作部103根据多个参照图像来制作预测图像。另外，参照图像指定信息编码部105编码多个参照图像指定信息。

图像解码装置2中，参照图像切换部208选择多个参照图像，预测图像制作部202根据多个参照图像来制作预测图像。另外，参照图像指定信息解码部203解码多个参照图像指定信息。

为了根据多个参照图像来制作预测图像，也可平均参照图像间对应的象素位置的图像信息。另外，当平均时，也可进行加权。也可根据与当前帧的时间间隔算出加权，使得例如越是早的图像则加权越小。另外，也可明示地编码。

另外，作为本实施方式，说明了对各类目的参照图像存储器的分配固定的情况，但本发明不限于参照存储器的分配固定的情况，也可在中途的帧中改变存储器的分配。例如，在编码/解码第4帧之后，将第1类目用存储器(C1)变为3帧大小，将第3类目用存储器(C3)变为2帧大小。通过增多类目的存储器量，可提高该类目的编码效率。

另外，作为本实施方式，说明周期地将帧分配给类目的实例，但本发明不限于周期地将帧分配给类目的情况。例如图11所示，在编码第4帧之前，设定到第3类目，当编码此后的帧时，编码到第2类目，第3类目不编码。此时，最好变更参照图像存储器向类目的分配。

另外，作为本实施方式，说明对每个帧编码当前帧的类目序号的实例，但本发明不限于对每个帧编码当前帧的类目序号的情况，也可对多个帧的每个编码当前帧的类目序号。例如，编码侧不每个帧地输出编码数据，而是存储属于相同类目的帧的编码数据，当编码某种程度的帧数之后，对每个类目编码类目序号，汇总输出属于由该序号指定的类目的帧的编码数据。该方法由于按每个类目来汇总编码数据，所以在解码侧解码特定类目的编码数据时，容易从编码侧输出的编码数据中取出期望的编码数据。

在如此由每个类目各自的编码数据构成的情况下，不仅解码侧容易取出期望类目的编码数据，在编码侧与解码侧之间存在中继装置的情况下，也可由中继装置取出特定类目的编码数据。据此，在多个帧构成动态图像的情况下，解码侧通常以低的帧频解码输出，当位于必需的时间带时，通过解码侧向中继装置请求接收多个类目的编码数据，解码侧可仅在该时间带以高的帧频来解码输出。

另外，作为本实施方式，说明以上述方法1来编码参照图像指定信息的实例，但本发明不限于以上述方法1来编码参照图像指定信息的情况，只要是如下指定方法即可，即编码侧与解码侧可唯一指定参照图像，在未解码不作为参照图像的类目的帧的情况下，参照的图像一致。

下面，示出本发明的图像编码装置与图像解码装置的其它实施例。图12示出此时的图像编码装置5的构成，图13中示出图像解码装置6的构成。

图像编码装置5的参照图像指定信息设定部512固有分配帧序号，作为指定帧的信息，编码使相对该帧序号的参照图像指定信息的对应关系。设对应就构成参照图像的替补的帧而言，按类目序号大小的顺序，或帧序号大小的顺序，分配指定参照图像的序号。图像解码装置6的参照图像指定信息设定部610解码该对应关系。图像编码装置5的预测图像制作部505将当前帧分割成微块，探索每个微块的动作矢量，制作对应于动作矢量位置的预测图像。无损编码部513无损编码图像信息。

这里，示出编码图14所示的4帧输入图像时的处理。设参照图像存储器有1帧大小的第3类目用存储器、2帧大小的第2类目用存储器、4帧大小的第1类目用存储器。另外，将输入的原图像存储在参照图像存储器中的第1类目用存储器中。

首先，进行位于第1类目用存储器中的帧1与帧2的编码。当前类目编码部503编码类目序号1。参照图像指定信息设定部512设定将当前帧设为帧1时的参照图像指定信息与参照图像的对应。此刻，仅将第1类目的帧2设定为参照图像。预测图像制作部505根据帧2来制作预测图像。差分编码部504编码作为预测图像与当前帧图像的差分的高频段图像信息，并编码当制作预测图像时使用的动作矢量。解码部510根据高频段图像信息与预测图像信息，制作低频段图像信息，将低频段图像信息存储在第2类目用参照图像存储器506的帧1中。参照图像指定信息编码部508编码参照图像指定信息。

接着，进行位于第1类目用存储器中的帧3与帧4的编码。当前类目编码部503编码类目序号1。参照图像指定信息设定部512设定将当前帧设为帧3时的参照图像指定信息与参照图像的对应。此刻，将第1类目的帧1、帧2、帧4与第2类目的帧1设定为参照图像。之后，对每个微块，从设定的参照图像中选择一个，进行如下所示的处理。预测图像制作部505根据选择到的参照图像来制作预测图像，差分编码部504编码作为预测图像与当前帧图像的差分的高频段图像信息，并编码当制作预测图像时使用的动作矢量。编码量计测部509计测此时的编码量。

对全部参照图像执行该处理，编码量计测部509指示参照图像切换部507，以选择编码量少的作为参照图像。参照图像切换部507选择指示的参照图像，预测图像制作部505制作预测图像，差分编码部504编码作为预测图像与当前帧图像的差分的高频段图像信息，还编码制作预测图像时使用的动作矢量。参照图像指定信息编码部508编码参照图像指定信息。在对全部微块执行上述处理之后，解码部510根据高频段图像信息与预测图像信息，制作低频段图像信息，将低频段图像信息存储在第2类目用参照图像存储器506的帧2中。但是，在选择到的参照图像为第1类目的帧4之外的情况下，不使用该微块的高频段图像信息。

接着，进行位于第2类目用存储器中的帧1与帧2的编码。当前类目编码部503编码类目序号2。参照图像指定信息设定部512设定将当前帧设为帧1时的参照图像指定信息与参照图像的对应。此刻，将第2类目的帧2设定为参照图像。

之后，对每个微块，从设定的参照图像中选择一个，进行如下所示的处理。预测图像制作部505根据选择到的参照图像来制作预测图像，差分编码部504编码作为预测图像与当前帧图像的差分的高频段图像信息，并编码当制作预测图像时使用的动作矢量，编码量计测部509计测此时的编码量。

对全部参照图像执行该处理，编码量计测部509指示参照图像切换部507，以选择编码量少的作为参照图像。参照图像切换部507选择指示的参照图像，预测图像制作部505制作预测图像，差分编码部504编码作为预测图像与当前帧图像的差分的高频段图像信息，还编码制作预测图像时使用的动作矢量。参照图像指定信息编码部508编码参照图像指定信息。

在对全部微块执行上述处理之后，解码部510根据高频段图像信息与预测图像信息，制作低频段图像信息，将低频段图像信息存储在第3类目用参照图像存储器506的帧1中。最后，无损编码部513无损编码存储在第3类目用参照图像存储器的帧1中的图像信息。

下面，表示将如此制作的编码数据解码成图15所示的4帧输出图像时的步骤。按第3类目、第2类目、第1类目的顺序解码。

首先，当前类目解码部605解码类目序号3。无损解码部61解码编码数据，将解码图像存储在第3类目的帧1中。

之后，进行第2类目的解码。当前类目解码部605解码类目序号2。参照图像指定信息设定部604设定将当前帧设为帧1时的参照图像指定信息与参照图像的对应。图像编码装置5使指定构成参照图像的第2类目的帧2的参照图像指定信息对应，以指定第3类目的帧1。此刻，将第3类目的帧1设定成参照图像。

之后，对每个微块执行如下所示的处理。差分解码部601解码高频段图像信息与动作矢量。参照图像指定信息解码部604解码参照图像指定信息。参照图像切换部603选择由参照图像指定信息指示的参照图像，预测图像制作部602使用动作矢量来制作预测图像。解码图像制作部607根据高频段图像信息与预测图像，制作解码图像2帧。解码图像存储部608将解码图像存储在第2类目的帧1与帧2中。

之后，执行第1类目的解码。首先，示出解码帧1与帧2的步骤。当前类目解码部605解码类目序号1。参照图像指定信息设定部610设定将当前帧设为帧1时的参照图像指定信息与参照图像的对应。图像编码装置5使指定构成参照图像的第1类目的帧2的参照图像指定信息对应，以指定第2类目的帧1。此刻，将第2类目的帧1设定成参照图像。

之后，对每个微块执行如下所示的处理。差分解码部601解码高频段图像信息与动作矢量。参照图像指定信息解码部604解码参照图像指定信息。参照图像切换部603选择由参照图像指定信息指示的参照图像，预测图像制作部602使用动作矢量来制作预测图像。解码图像制作部607根据高频段图像信息与预测图像，制作解码图像2帧。解码图像存储部608将解码图像存储在第1类目的帧1与帧2中。

下面，示出解码帧3与帧4的步骤。当前类目解码部605解码类目序号1。参照图像指定信息设定部610设定将当前帧设为帧3时的参照图像指定信息与参照图像的对应。图像编码装置5使指定构成参照图像的第1类目的帧4的参照图像指定信息对应，以指定第2类目的帧2。此刻，将第2类目的帧1与帧2、第1类目的帧1与帧2设定成参照图像。

之后，对每个微块执行如下所示的处理。差分解码部601解码高频段图像信息与动作矢量。参照图像指定信息解码部604解码参照图像指定信息。参照图像切换部603选择由参照图像指定信息指示的参照图像，预测图像制作部602使用动作矢量来制作预测图像。解码图像制作部607根据高频段图像信息与预测图像，制作解码图像2帧。但是，在选择的参照图像为第2类目的帧2之外的情况下，不使用该微块的高频段图像信息。

解码图像存储部608将解码图像存储在第1类目的帧3与帧4中。由此，解码作为编码目的地图像的第1类目4帧。

这里，预测图像制作部602进行动作探索，但也可不执行该探索，而根据画面内相同位置的图像信息来制作预测图像。

根据本实施例，因为当编码第2类目的帧3与帧4时可从多个参照图像中选择参照图像，所以可提高编码效率。

另外，作为本实施方式，说明向帧分配多个图像后视为动态图像来编码的实例，但本发明不限于向帧分配多个图像后视为动态图像来编码的情况，也可没有多个图像的时间相关。即，就改变视点或视线后拍摄的多个图像而言，可将各图像视为帧来编码。

另外，作为本实施方式，说明不可逆编码预测残差的实例，但本发明不限于不可逆编码预测残差的情况，也可可逆编码。此时，图像编码装置1中不配备解码部108，不在参照图像存储器107中存储解码图像，还可以存储原图像。

另外，本发明不限于编码二维图像的情况，图像的维也可以是二维之外。例如，可编码三维的多个图像，或存储一维的多个图像。

产业上的可利用性

根据本发明，当编码或解码多个帧的图像时，将参照图像存储器分类成多个类目，通过对每个类目管理参照图像，可在解码类目与不解码类目的情况下，指定同一参照图像，得到正确的解码图像。另外，对每个类目可增多参照图像数量，提高编码效率