动画图像编码装置、动画图像解码装置、动画图像编码方法、动画图像解码方法以及程序

摘要

能够有效压缩图案相同而视频格式不同的多个视频。能够对输入视频a进行可扩展编码的动画图像编码装置AA，通过视频格式转换单元，将输入视频a转换成与输入视频a的视频格式不同的视频格式的视频，并生成转换后视频。并且，通过编码端预测单元来预测视频格式转换单元生成转换后视频时失去的信息。并且，通过第一编码单元利用编码端预测单元的预测结果，对输入视频进行编码。并且，通过第二编码单元对视频格式转换单元转换的视频进行编码。并且，通过多路复用单元，将第一编码单元的编码结果与第二编码单元的编码结果多路复用后，生成具有视频格式的可扩展性的压缩流b。

说明书

技术领域

本发明涉及一种动画图像编码装置、动画图像解码装置、动画图像编码方法、动画图像解码方法以及程序。

背景技术

以往，对于视频信号中的像素值表示方法定义了YUV或RGB等的格式。并且，在各格式中，定义了颜色成分的取样方法的同时，也定义了多个颜色成分的表示位数。

下面将格式或取样方法或位数的组合统称为视频格式。在该视频格式之间，能够通过像素值的抽取和插值处理等来相互转换视频。

其中，格式是指例如YUV或RGB或Lab或CMYK等。并且，取样方法是指例如，若为YUV，则为4:4:4或4:2:2或4:2:0的取样方法。并且，位数是指每一个像素的位数。

一方面，在H.264(例如，参见非专利文献1)所代表的视频压缩编码技术当中，输入输出视频对应指定的视频格式，可根据其用途来区分使用。并且，在H.264中，设有能够生成具有可扩展性的视频流的文件(SVC profile)，在该文件中，例如定义了分辨率可扩展性。

现有技术文献

非专利文献

非专利文献1：Joint Video Team(JVT)of ISO/IEC MPEG andITU-T VCEG,“Text of ISO/IEC 14496-10Advanced VideoCoding,”

在H.264代表的视频压缩编码技术中，没有定义视频格式之间的可扩展性。为此，对于视频格式不同的视频，即使图案相同，每个视频格式也都需要生成视频流。因此难以有效地压缩图案相同而视频格式不同的视频。

发明内容

因此，鉴于上述的问题，本发明的目的在于提供一种有效地压缩图案相同而视频格式不同的多个视频。

为了解决上述的问题，本发明提出了以下各项。

(1)本发明提出了一种运动图像编码装置，其为能够对输入视频进行可扩展编码的动画图像编码装置，所述动画图像编码装置的特征在于包括：视频格式转换单元，其将所述输入视频转换成与所述输入视频的视频格式不同的视频格式的视频，并生成转换后视频；编码端预测单元，其预测所述视频格式转换单元生成所述转换后视频时失去的信息；第一编码单元，利用所述编码端预测单元的预测结果，对所述输入视频进行编码；第二编码单元，对所述视频格式转换单元生成的所述转换后视频进行编码；多路复用单元将对所述第一编码单元的编码结果与所述第二编码单元的编码结果多路复用后，生成具有视频格式的可扩展性的压缩数据。

根据该发明，在能够对输入视频进行可扩展编码的动画图像编码装置设置了视频格式转换单元，编码端预测单元，第一编码单元，第二编码单元以及多路复用单元。并且，视频格式转换单元将输入视频转换成与输入视频的视频格式不同的视频格式的视频，并生成转换后视频。并且，编码端预测单元预测视频格式转换单元生成转换后视频时失去的信息。并且，第一编码单元利用编码端预测单元的预测结果，对输入视频进行编码。并且，第二编码单元对视频格式转换单元生成的转换后视频进行编码。并且，多路复用单元将第一编码单元的编码结果与第二编码单元的编码结果多路复用后，生成具有视频格式的可扩展性的压缩数据。

在视频中，在成分之间，对于像素值的变化有时具有相关性，有时具有对等关系。为此，利用该相关性或对等关系，进行了基于颜色成分间预测的层间预测，从而能够采用下层的视频来高精度地预测上层的颜色信息。从而，通过上层的视频与下层的视频，即使图案相同而视频格式不同，也能够将这些视频作为一个压缩数据来有效进行压缩。

(2)本发明关于(1)的运动图像编码装置，提出了具有以下特征的运动图像编码装置，所述视频格式转换单元(例如，相当于图4的颜色信息采样部37)，作为所述转换后视频生成与所述输入视频(例如，相当于图4的输入视频a)的格式相同的格式，且颜色信息少于所述输入视频的视频格式的视频(例如，相当于图4的下层的视频x)。

根据该发明，在(1)的动画图像编码装置中，视频格式转换单元，作为转换后视频生成与输入视频的格式相同的格式，且颜色信息少于输入视频的视频格式的视频。为此，利用上述的成分间的相关性，进行基于颜色成分间预测的层间预测，从而能够达到与上述效果相同的效果。

(3)本发明关于(2)的运动图像编码装置，提出了具有以下特征的运动图像编码装置，所述第一编码单元(例如，相当于图2的熵编码部15与图3的熵编码部25)，根据原有的标准格式进行基础层的编码，所述编码端预测单元(例如，相当于图2的预测值生成部12)，利用所述基础层的解码图像的亮度成分的像素值来预测所述失去的颜色信息。

根据该发明，在(2)的动画图像编码装置中，第一编码单元，根据原有的标准格式进行基础层的编码，编码端预测单元，利用基础层的解码图像的亮度成分的像素值来预测失去的颜色信息。为此，利用亮度与颜色信息之间的相关性，进行基于颜色成分间预测的层间预测，从而能够达到与上述效果相同的效果。

(4)本发明关于(3)的运动图像编码装置，提出了具有以下特征的运动图像编码装置，所述编码端预测单元，采用所述输入视频的解码图像的亮度成分的像素值与所述转换后视频的解码图像的亮度成分的像素值，基于多项式近似，生成所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的色差成分的预测值。

根据该发明，在(3)的动画图像编码装置中，编码端预测单元，采用输入视频的解码图像的亮度成分的像素值与转换后视频的解码图像的亮度成分的像素值，基于多项式近似，生成视频格式转换单元从输入视频中生成转换后视频时失去的色差成分的预测值。为此，利用亮度与颜色信息之间的相关性，进行基于颜色成分间预测的层间预测，从而能够达到与上述效果相同的效果。

(5)本发明关于(3)的运动图像编码装置，提出了具有以下特征的运动图像编码装置，所述编码端预测单元，采用所述输入视频的解码图像的亮度成分的像素值与所述转换后视频的解码图像的亮度成分的像素值，基于处理像素值的误差最小的插值滤波器，生成所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的色差成分的预测值。

根据该发明，在(3)的动画图像编码装置中，编码端预测单元，采用输入视频的解码图像的亮度成分的像素值与转换后视频的解码图像的亮度成分的像素值，基于处理像素值的误差最小的插值滤波器，生成视频格式转换单元从输入视频中生成转换后视频时失去的色差成分的预测值。为此，利用亮度与颜色信息之间的相关性，进行基于颜色成分间预测的层间预测，从而能够达到与上述效果相同的效果。

(6)本发明关于(3)的运动图像编码装置，提出了具有以下特征的运动图像编码装置，所述编码端预测单元，采用所述输入视频的解码图像的亮度成分的像素值与所述转换后视频的解码图像的亮度成分的像素值，基于非线性插值处理，生成所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的色差成分的预测值。

根据该发明，在(3)的动画图像编码装置中，编码端预测单元，采用输入视频的解码图像的亮度成分的像素值与转换后视频的解码图像的亮度成分的像素值，基于非线性插值处理，生成视频格式转换单元从输入视频中生成转换后视频时失去的色差成分的预测值。为此，利用亮度与颜色信息之间的相关性，进行基于颜色成分间预测的层间预测，从而能够达到与上述效果相同的效果。

(7)本发明关于(1)的运动图像编码装置，提出了具有以下特征的运动图像编码装置，所述视频格式转换单元(例如，相当于图11的颜色格式转换部226)，作为所述转换后视频生成与所述输入视频(例如，相当于图11的输入视频α)的格式不同的格式，且每一个像素的数据量少于所述输入视频的视频格式的视频(例如，相当于图11的转换后视频θ)。

根据该发明，在(1)的动画图像编码装置中，视频格式转换单元，作为转换后视频生成与输入视频的格式不同的格式，且每一个像素的数据量少于输入视频的视频格式的视频。为此，利用上述的成分之间的对等关系，进行基于颜色成分间预测的层间预测，从而能够达到与上述效果相同的效果。

(8)本发明关于(7)的运动图像编码装置，提出了具有以下特征的运动图像编码装置，所述第一编码单元(例如，相当于图10的熵编码部216)，根据原有的标准格式进行基础层的编码，所述编码端预测单元(例如，相当于图10的预测值生成部213)，利用构成所述基础层的解码图像的多个成分中的一个像素值来预测所述失去的信息。

根据该发明，(7)的动画图像编码装置中，第一编码单元，根据原有的标准格式进行基础层的编码，编码端预测单元，利用构成基础层的解码图像的多个成分中的一个像素值来预测失去的信息。为此，例如，如YUV格式中的Y成分与RGB格式中的G成分，利用预定的成分之间的对等关系，进行基于颜色成分间预测的层间预测，从而能够达到与上述效果相同的效果。

(9)本发明关于(8)的运动图像编码装置，提出了具有以下特征的运动图像编码装置，构成所述输入视频的解码图像的多个成分中的其中一个为特定成分(例如，相当于后述的RGB格式中的G成分)，构成所述转换后视频的解码图像的多个成分中的其中一个为指定成分(例如，相当于后述的YUV格式中的Y成分)，所述特定成分与所述指定成分为对等关系，所述编码端预测单元，采用所述输入视频的解码图像的所述特定成分的像素值与所述转换后视频的解码图像的所述指定成分的像素值，基于多项式近似，生成所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的成分的预测值。

根据该发明，(8)的动画图像编码装置中，构成输入视频的解码图像的多个成分中的其中一个为特定成分，构成转换后视频的解码图像的多个成分中的其中一个为指定成分，所述特定成分与所述指定成分为对等关系。并且，编码端预测单元采用输入视频的解码图像的特定成分的像素值与转换后视频的解码图像的指定成分的像素值，基于多项式近似，生成视频格式转换单元从输入视频中生成转换后视频时失去的成分的预测值。为此，例如，如YUV格式中的Y成分与RGB格式中的G成分，利用预定的成分之间的对等关系，进行基于颜色成分间预测的层间预测，从而能够达到与上述效果相同的效果。

(10)本发明关于(8)的运动图像编码装置，提出了具有以下特征的运动图像编码装置，构成所述输入视频的解码图像的多个成分中的其中一个为特定成分(例如，相当于后述的RGB格式中的G成分)，构成所述转换后视频的解码图像的多个成分中的其中一个为指定成分(例如，相当于后述的YUV格式中的Y成分)，所述特定成分与所述指定成分为对等关系，所述编码端预测单元，采用所述输入视频的解码图像的所述特定成分的像素值与所述转换后视频的解码图像的所述指定成分的像素值，基于处理像素值的误差最小的插值滤波器，生成所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的成分的预测值。

根据该发明，(8)的动画图像编码装置中，构成输入视频的解码图像的多个成分中的其中一个为特定成分，构成转换后视频的解码图像的多个成分中的其中一个为指定成分，所述特定成分与所述指定成分为对等关系。并且，编码端预测单元采用输入视频的解码图像的特定成分的像素值与转换后视频的解码图像的指定成分的像素值，基于处理像素值的误差最小的插值滤波器，生成视频格式转换单元从输入视频中生成转换后视频时失去的成分的预测值。为此，例如，如YUV格式中的Y成分与RGB格式中的G成分，利用预定的成分之间的对等关系，进行基于颜色成分间预测的层间预测，从而能够达到与上述效果相同的效果。

(11)本发明关于(8)的运动图像编码装置，提出了具有以下特征的运动图像编码装置，构成所述输入视频的解码图像的多个成分中的其中一个为特定成分(例如，相当于后述的RGB格式中的G成分)，构成所述转换后视频的解码图像的多个成分中的其中一个为指定成分(例如，相当于后述的YUV格式中的Y成分)，所述特定成分与所述指定成分为对等关系，所述编码端预测单元，采用所述输入视频的解码图像的所述特定成分的像素值与所述转换后视频的解码图像的所述指定成分的像素值，基于非线性插值处理，生成所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的成分的预测值。

根据该发明，(8)的动画图像编码装置中，构成输入视频的解码图像的多个成分中的其中一个为特定成分，构成转换后视频的解码图像的多个成分中的其中一个为指定成分，所述特定成分与所述指定成分为对等关系。并且，编码端预测单元采用输入视频的解码图像的特定成分的像素值与转换后视频的解码图像的指定成分的像素值，基于非线性插值处理，生成视频格式转换单元从输入视频中生成转换后视频时失去的成分的预测值。为此，例如，如YUV格式中的Y成分与RGB格式中的G成分，利用预定的成分之间的对等关系，进行基于颜色成分间预测的层间预测，从而能够达到与上述效果相同的效果。

(12)本发明提出了一种运动图像解码装置，其为能够对(1)至(6)中的任意的动画图像编码装置中生成的压缩数据(例如，相当于图5的压缩流b)进行可扩展解码的动画图像解码装置，所述动画图像解码装置的特征在于包括：解多路复用单元，从所述压缩数据中提取每个视频格式的视频的编码结果；解码单元，对所述解多路复用单元提取的每个视频格式的编码结果进行解码；解码端预测单元，其预测所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的信息；第一视频输出单元，利用所述解码单元解码的视频与所述解码端预测单元的预测结果，确定所述输入视频；第二视频输出单元，基于所述解码单元解码的视频，确定所述转换后视频。

根据该发明，在能够对(1)至(6)中的任意的动画图像编码装置中生成的压缩数据进行可扩展解码的动画图像解码装置上设置了解多路复用单元，解码单元，解码端预测单元，第一视频输出单元以及第二视频输出单元。并且，解多路复用单元，从压缩数据中提取每个视频格式的视频的编码结果。并且，解码单元，对解多路复用单元提取的每个视频格式的编码结果进行解码。并且，解码端预测单元，预测视频格式转换单元从输入视频中生成转换后视频时失去的信息。并且，第一视频输出单元，利用解码单元解码的视频与解码端预测单元的预测结果，确定输入视频。并且，第二视频输出单元，基于解码单元解码的视频，确定转换后视频。

在视频中，在成分之间，对于像素值的变化有时具有相关性。为此，利用该相关性，进行基于颜色成分间预测的层间预测，从而能够采用下层的视频来高精度地预测上层的颜色信息。从而，从一个压缩数据中能够对图案相同而视频格式相互不同的视频进行解码。

(13)本发明关于(12)的运动图像解码装置，提出了具有以下特征的运动图像解码装置，所述解码单元(例如，相当于图6的熵解码部111，或图7的熵解码部121，或图8的熵解码部131)，对通过原有的标准格式编码的基础层的编码结果进行解码，并且，对所述解多路复用单元(例如，相当于图5的流DEMUX部140)提取的编码结果当中的与所述基础层不同的增强层的编码结果进行解码，所述解码端预测单元(例如，相当于图6的预测值生成部114)，采用所述基础层的解码图像的亮度成分的像素值，预测所述失去的颜色信息。

根据该发明，(12)的动画图像解码装置中，解码单元，对通过原有的标准格式编码的基础层的编码结果进行解码，并且，对解多路复用单元提取的编码结果当中的与基础层不同的增强层的编码结果进行解码。解码端预测单元，采用基础层的解码图像的亮度成分的像素值，预测失去的颜色信息。为此，利用亮度与颜色信息之间的相关性，进行基于颜色成分间预测的层间预测，从而能够达到与上述的效果相同的效果。

(14)本发明关于(13)的运动图像解码装置，提出了具有以下特征的运动图像解码装置，所述解码端预测单元，采用所述基础层的解码图像的亮度成分的像素值与所述增强层的解码图像的亮度成分的像素值，基于多项式近似，生成所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的色差成分的预测值。

根据该发明，(13)的动画图像解码装置中，解码端预测单元，采用基础层的解码图像的亮度成分的像素值与增强层的解码图像的亮度成分的像素值，基于多项式近似，生成视频格式转换单元从输入视频中生成转换后视频时失去的色差成分的预测值。为此，利用亮度与颜色信息之间的相关性，进行基于颜色成分间预测的层间预测，从而能够达到与上述的效果相同的效果。

(15)本发明关于(13)的运动图像解码装置，提出了具有以下特征的运动图像解码装置，所述解码端预测单元，采用所述基础层的解码图像的亮度成分的像素值与所述增强层的解码图像的亮度成分的像素值，基于处理像素值的误差最小的插值滤波器，生成所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的色差成分的预测值。

根据该发明，(13)的动画图像解码装置中，解码端预测单元，采用基础层的解码图像的亮度成分的像素值与增强层的解码图像的亮度成分的像素值，基于处理像素值的误差最小的插值滤波器，生成视频格式转换单元从输入视频中生成转换后视频时失去的色差成分的预测值。为此，利用亮度与颜色信息之间的相关性，进行基于颜色成分间预测的层间预测，从而能够达到与上述的效果相同的效果。

(16)本发明关于(13)的运动图像解码装置，提出了具有以下特征的运动图像解码装置，所述解码端预测单元，采用所述基础层的解码图像的亮度成分的像素值与所述增强层的解码图像的亮度成分的像素值，基于非线性插值处理，生成所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的色差成分的预测值。

根据该发明，(13)的动画图像解码装置中，解码端预测单元，采用基础层的解码图像的亮度成分的像素值与增强层的解码图像的亮度成分的像素值，基于非线性插值处理，生成视频格式转换单元从输入视频中生成转换后视频时失去的色差成分的预测值。为此，利用亮度与颜色信息之间的相关性，进行基于颜色成分间预测的层间预测，从而能够达到与上述的效果相同的效果。

(17)本发明提出了一种运动图像解码装置，其为能够对(1)，(7)至(11)中任意的动画图像编码装置中生成的压缩数据(例如，相当于图12的压缩流β)进行可扩展解码的动画图像解码装置，所述动画图像解码装置的特征在于包括：解多路复用单元，从所述压缩数据中提取每个视频格式的视频的编码结果；解码单元，对所述解多路复用单元提取的每个视频格式的编码结果进行解码；解码端预测单元，其预测所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的信息；第一视频输出单元，利用所述解码单元解码的视频与所述解码端预测单元的预测结果，确定所述输入视频；第二视频输出单元，基于所述解码单元解码的视频，确定所述转换后视频。

根据本发明，在能够对(1)，(7)至(11)中的任意的动画图像编码装置中生成的压缩数据进行可扩展解码的动画图像解码装置设置了解多路复用单元，解码单元，解码端预测单元，第一视频输出单元以及第二视频输出单元。并且，解多路复用单元，从压缩数据中提取每个视频格式的视频的编码结果。并且，解码单元，对解多路复用单元提取的每个视频格式的编码结果进行解码。并且，解码端预测单元，预测视频格式转换单元从输入视频中生成转换后视频时失去的信息。并且，第一视频输出单元，利用解码单元解码的视频与解码端预测单元的预测结果，确定输入视频。并且，第二视频输出单元，基于解码单元解码的视频，确定转换后视频。

在视频中，在成分之间，有时具有对等关系。为此，利用该对等关系，进行基于颜色成分间预测的层间预测，从而能够采用下层的视频来高精度地预测上层的颜色信息。从而，从一个压缩数据中能够对图案相同而视频格式相互不同的视频进行解码。

(18)本发明关于(17)的运动图像解码装置，提出了具有以下特征的运动图像解码装置，所述解码单元(例如，相当于图13的熵解码部311，或图14的熵解码部321)，对通过原有的标准格式编码的基础层的编码结果进行解码，并且，对所述解多路复用单元(例如，相当于图12的流DEMUX部330)提取的编码结果当中的与所述基础层不同的增强层的编码结果进行解码，所述解码端预测单元(例如，相当于图13的预测值生成部315)，采用所述基础层的解码图像的所述特定成分的像素值，预测所述失去的信息。

根据该发明，(17)的动画图像解码装置中，解码单元，对通过原有的标准格式编码的基础层的编码结果进行解码，并且，对解多路复用单元提取的编码结果当中的与基础层不同的增强层的编码结果进行解码。并且，解码端预测单元，采用基础层的解码图像的特定成分的像素值，预测失去的信息。为此，例如，如YUV格式中的Y成分与RGB格式中的G成分，利用预定的成分之间的对等关系，进行基于颜色成分间预测的层间预测，从而能够达到与上述效果相同的效果。

(19)本发明关于(18)的运动图像解码装置，提出了具有以下特征的运动图像解码装置，所述解码端预测单元，采用所述基础层的解码图像的所述特定成分的像素值与所述增强层的解码图像的所述指定成分的像素值，基于多项式近似，生成所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的成分的预测值。

根据该发明，(18)的动画图像解码装置中，解码端预测单元，采用基础层的解码图像的特定成分的像素值与增强层的解码图像的指定成分的像素值，基于多项式近似，生成视频格式转换单元从输入视频中生成转换后视频时失去的成分的预测值。为此，例如，如YUV格式中的Y成分与RGB格式中的G成分，利用预定的成分之间的对等关系，进行基于颜色成分间预测的层间预测，从而能够达到与上述效果相同的效果。

(20)本发明关于(18)的运动图像解码装置，提出了具有以下特征的运动图像解码装置，所述解码端预测单元，采用所述基础层的解码图像的所述特定成分的像素值与所述增强层的解码图像的所述指定成分的像素值，基于处理像素值的误差最小的插值滤波器，生成所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的成分的预测值。

根据该发明，(18)的动画图像解码装置中，解码端预测单元，采用基础层的解码图像的特定成分的像素值与增强层的解码图像的指定成分的像素值，基于处理像素值的误差最小的插值滤波器，生成视频格式转换单元从输入视频中生成转换后视频时失去的成分的预测值。为此，例如，如YUV格式中的Y成分与RGB格式中的G成分，利用预定的成分之间的对等关系，进行基于颜色成分间预测的层间预测，从而能够达到与上述效果相同的效果。

(21)本发明关于(18)的运动图像解码装置，提出了具有以下特征的运动图像解码装置，所述解码端预测单元，采用所述基础层的解码图像的所述特定成分的像素值与所述增强层的解码图像的所述指定成分的像素值，基于非线性插值处理，生成所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的成分的预测值。

根据该发明，(18)的动画图像解码装置中，解码端预测单元，采用基础层的解码图像的特定成分的像素值与增强层的解码图像的指定成分的像素值，基于非线性插值处理，生成视频格式转换单元从输入视频中生成转换后视频时失去的成分的预测值。为此，例如，如YUV格式中的Y成分与RGB格式中的G成分，利用预定的成分之间的对等关系，进行基于颜色成分间预测的层间预测，从而能够达到与上述效果相同的效果。

(22)本发明提出了一种图像编码方法，其为包括视频格式转换单元，编码端预测单元，第一编码单元，第二编码单元以及多路复用单元，且能够对输入视频进行可扩展编码的动画编码装置中的动画图像编码方法，所述动画图像编码方法的特征在于包括：第一步骤，所述视频格式转换单元将所述输入视频转换成与所述输入视频的视频格式不同的视频格式的视频，并生成转换后视频；第二步骤，所述编码端预测单元预测所述视频格式转换单元生成所述转换后视频时失去的信息；第三步骤，所述第一编码单元利用所述编码端预测单元的预测结果，对所述输入视频进行编码；第四步骤，所述第二编码单元对所述视频格式转换单元转换的视频进行编码；第五步骤，所述多路复用单元将所述第一编码单元的编码结果与所述第二编码单元的编码结果多路复用后，生成具有视频格式的可扩展性的压缩数据。

根据该发明，视频格式转换单元将输入视频转换成与输入视频的视频格式不同的视频格式的视频，并生成转换后视频。并且，编码端预测单元预测视频格式转换单元生成转换后视频时失去的信息。并且，第一编码单元利用编码端预测单元的预测结果，对输入视频进行编码。并且，第二编码单元对视频格式转换单元转换的视频进行编码。并且，多路复用单元将第一编码单元的编码结果与第二编码单元的编码结果多路复用后，生成具有视频格式的可扩展性的压缩数据。

在视频中，在成分之间，对于像素值的变化有时具有相关性，有时具有对等关系。为此，利用该相关性或对等关系，进行基于颜色成分间预测的层间预测，从而能够采用下层的视频来高精度地预测上层的颜色信息。从而，通过上层的视频与下层的视频，即使图案相同而视频格式不同，也能够将这些视频作为一个压缩数据来有效进行压缩。

(23)本发明提出了动画图像解码方法，其为包括解多路复用单元，解码单元，解码端预测单元，第一视频输出单元以及第二视频输出单元，且能够对(22)的动画图像编码装置中生成的压缩数据进行可扩展解码的动画图像解码装置中的动画图像解码方法，所述动画图像解码方法的特征在于包括：第六步骤，所述解多路复用单元从所述压缩数据中提取每个视频格式的视频的编码结果；第七步骤，所述解码单元对所述解多路复用单元提取的每个视频格式的编码结果进行解码；第八步骤，所述解码端预测单元预测所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的信息；第九步骤，所述第一视频输出单元利用所述解码单元解码的视频与所述解码端预测单元的预测结果，确定所述输入视频；第十步骤，所述第二视频输出单元基于所述解码单元解码的视频，确定所述转换后视频。

根据该发明，解多路复用单元从压缩数据中提取每个视频格式的视频的编码结果。并且，解码单元对解多路复用单元提取的每个视频格式的编码结果进行解码。并且，解码端预测单元预测视频格式转换单元从输入视频中生成转换后视频时失去的信息。并且，第一视频输出单元利用解码单元解码的视频与解码端预测单元的预测结果，确定输入视频。并且，第二视频输出单元基于解码单元解码的视频，确定转换后视频。

在视频中，在成分之间，对于像素值的变化有时具有相关性，有时具有对等关系。为此，利用该相关性或对等关系，进行基于颜色成分间预测的层间预测，从而能够采用下层的视频来高精度地预测上层的颜色信息。从而，从一个压缩数据中，能够对图案相同而视频格式相互不同的视频进行解码。

(24)本发明提出了一种程序，用于使计算机执行动画编码装置中的动画图像编码方法，其中，所述动画编码装置包括视频格式转换单元，编码端预测单元，第一编码单元，第二编码单元以及多路复用单元，且能够对输入视频进行可扩展编码，所述程序的特征在于，使计算机执行：第一步骤，所述视频格式转换单元将所述输入视频转换成与所述输入视频的视频格式不同的视频格式的视频，并生成转换后视频；第二步骤，所述编码端预测单元预测所述视频格式转换单元生成所述转换后视频时失去的信息；第三步骤，所述第一编码单元利用所述编码端预测单元的预测结果，对所述输入视频进行编码；第四步骤，所述第二编码单元对所述视频格式转换单元转换的视频进行编码；第五步骤，所述多路复用单元将所述第一编码单元的编码结果与所述第二编码单元的编码结果多路复用后，生成具有视频格式的可扩展性的压缩数据。

根据该发明，视频格式转换单元将输入视频转换成与输入视频的视频格式不同的视频格式的视频，并生成转换后视频。并且，编码端预测单元预测视频格式转换单元生成转换后视频时失去的信息。并且，第一编码单元利用编码端预测单元的预测结果，对输入视频进行编码。并且，第二编码单元对视频格式转换单元转换的视频进行编码。并且，多路复用单元将第一编码单元的编码结果与第二编码单元的编码结果多路复用后，生成具有视频格式的可扩展性的压缩数据。

在视频中，在成分之间，对于像素值的变化有时具有相关性，有时具有对等关系。为此，利用该相关性或对等关系，进行基于颜色成分间预测的层间预测，从而能够采用下层的视频来高精度地预测上层的颜色信息。从而，通过上层的视频与下层的视频，即使图案相同而视频格式不同，也能够将这些视频作为一个压缩数据来有效进行压缩。

(25)本发明提出了一种程序，用于使计算机执行动画图像解码装置中的动画图像解码方法，其中，所述动画图像解码装置包括解多路复用单元，解码单元，解码端预测单元，第一视频输出单元以及第二视频输出单元，且能够对(24)的动画图像编码装置中生成的压缩数据进行可扩展解码，所述程序的特征在于，使计算机执行：第六步骤，所述解多路复用单元从所述压缩数据中提取每个视频格式的视频的编码结果；第七步骤，所述解码单元对所述解多路复用单元提取的每个视频格式的编码结果进行解码；第八步骤，所述解码端预测单元预测所述视频格式转换单元从所述输入视频中生成所述转换后视频时失去的信息；第九步骤，所述第一视频输出单元利用所述解码单元解码的视频与所述解码端预测单元的预测结果，确定所述输入视频；第十步骤，所述第二视频输出单元基于所述解码单元解码的视频，确定所述转换后视频。

根据该发明，解多路复用单元从压缩数据中提取每个视频格式的视频的编码结果。并且，解码单元对解多路复用单元提取的每个视频格式的编码结果进行解码。并且，解码端预测单元预测视频格式转换单元从输入视频中生成转换后视频时失去的信息。并且，第一视频输出单元利用解码单元解码的视频与解码端预测单元的预测结果，确定输入视频。并且，第二视频输出单元基于解码单元解码的视频，确定转换后视频。

在视频中，在成分之间，对于像素值的变化有时具有相关性，有时具有对等关系。为此，利用该相关性或对等关系，进行基于颜色成分间预测的层间预测，从而能够采用下层的视频来高精度地预测上层的颜色信息。从而，从一个压缩数据中，能够对图案相同而视频格式相互不同的视频进行解码。

发明效果

根据本发明，能够有效压缩图案相同而视频格式不同的多个视频。

附图说明

图1是示出根据本发明的第一实施方式的动画图像编码装置的结构的框图。

图2是示出所述动画图像编码装置所具备的第一上层编码部的结构的框图。

图3是示出所述动画图像编码装置所具备的第二上层编码部的结构的框图。

图4是示出所述动画图像编码装置所具备的下层编码部的结构的框图。

图5是示出根据本发明的第一实施方式的动画图像解码装置的结构的框图。

图6是示出所述动画图像解码装置所具备的第一上层解码部的结构的框图。

图7是示出所述动画图像解码装置所具备的第二上层解码部的结构的框图。

图8是示出所述动画图像解码装置所具备的下层解码部的结构的框图。

图9是示出根据本发明的第二实施方式的动画图像编码装置的结构的框图。

图10是示出所述动画图像编码装置所具备的上层编码部的结构的框图。

图11是示出所述动画图像编码装置所具备的下层编码部的结构的框图。

图12是示出根据本发明的第二实施方式的动画图像解码装置的结构的框图。

图13是示出所述动画图像解码装置所具备的上层解码部的结构的框图。

图14是示出所述动画图像解码装置所具备的下层解码部的结构的框图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。其中，以下实施方式中的构成要素可适当地与现有的构成要素等进行替换，并且可进行包括与其他现有的构成要素的组合在内的各种改变。从而，并不是基于以下实施方式的记载来限定权利要求书中记载的发明内容。

〈第一实施方式〉

[动画图像编码装置AA的结构以及动作]

图1是示出根据本发明的第一实施方式的动画图像编码装置AA的结构的框图。动画图像编码装置AA从输入的输入视频a中生成两个视频格式的视频，并且多路复用为一个视频流，作为压缩流b输出。

其中，在本实施方式中，作为输入视频a输入有YUV4:4:4格式的视频。并且，在本实施方式中，作为两个视频格式的视频，动画图像编码装置AA生成YUV4:4:4格式的视频(上层)与YUV4:2:2格式的视频或YUV4:2:0格式的视频(下层)。为此，下层的图像为与输入图像a的格式相同的格式，且颜色信息少于输入视频a的视频格式的视频。

并且，本实施方式中，利用基础层的解码像素值来进行增强层的预测编码。作为基础层的信息，仅使用解码像素值，因此基础层的编码当中能够使用原有的标准格式(例如，H.264或MPEG-2等)。

动画图像编码装置AA包括：第一上层编码部10，第二上层编码部20，下层编码部30以及流MUX部40。

流MUX部40，输入从第一上层编码部10中输出的后述的上层的UV成分的编码信息c，从第二上层编码部20中输出的后述的上层的Y成分的编码信息d，以及从下层编码30中输出的后述的下层的编码信息e。该流MUX部40，将这些输入的信息，根据标准规格等预定的方法来多路复用且输出至一个压缩流b。

(第一上层编码部10的结构以及动作)

图2是示出了第一上层编码部10的结构的框图。第一上层编码部10包括：颜色信息可扩展预测部11，预测值生成部12，DCT/量化部13，反DCT/反量化部14，熵编码部15以及本地存储器16。

颜色信息可扩展预测部11输入从第二上层编码部20中输出的后述的上层的Y成分的本地解码视频f，以及从下层编码部30中输出的后述的下层的本地编码视频g。颜色信息可扩展预测部11采用上层的Y成分的解码像素值的信息，以及下层的Y成分的解码像素值的信息，通过线性处理，插值滤波处理，或非线性处理来生成并输出上层的UV成分的预测值h。

首先，对颜色信息可扩展预测部11进行线性处理的情况进行说明。这时，颜色信息可扩展预测部11，根据多项式线性近似表示以处理像素为中心的该处理像素附近的S×T像素(S为满足S≧1的整数，T为满足T≧1的整数)的Y成分的像素值。并且，将获取到的多项式应用至这些处理像素附近的S×T像素的UV成分的像素值中，获取处理像素的UV成分的预测值h。

其次，对颜色信息可扩展预测部11进行插值滤波处理的情况进行说明。这时，颜色信息可扩展预测部11对以处理像素为中心的该处理像素附近的S×T像素的Y成分的像素，计算处理像素的Y成分的像素值的误差最小的滤波系数。并且，将获取到的滤波系数应用至处理像素附近的S×T像素的UV成分的像素值中，获取处理像素的UV成分的预测值h。

其次，对颜色信息可扩展预测部11进行非线性处理的情况进行说明。这时，颜色信息可扩展预测部11，基于以处理像素为中心的该处理像素附近的S×T像素的Y成分的像素值，通过介质滤波器或等级滤波器等的非线性处理来生成处理像素的Y成分的预测值，从而确定处理像素中的Y成分的像素值与预测值之间的差分值。并且，基于以处理像素为中心的该处理像素附近的S×T像素的UV成分的像素值，通过介质滤波器或等级滤波器等的非线性处理来生成处理像素的UV成分的预测值。并且，对于Y成分的像素值与预测值之间的差分值，基于Y成分与UV成分之间的表示位深度来确定缩放后的值，并且UV成分的预测值与缩放后的值相加之后，将其作为处理像素的UV成分的预测值h。

预测值生成部12，输入输入视频a的UV成分，上层的UV成分的预测值h，以及从本地存储器16中输出的后述的上层的UV成分的本地解码视频i。该预测值生成部12利用这些输入的信息，通过预定的预测方法当中的编码效果最好的预测方法，生成预测值j。并且，输出预测值j的同时，将表示用于生成预测值j的预测方法的信息作为预测信息k来输出。

DCT/量化部13，输入输入视频a与预测值j之间的差分信息。该DCT/量化部13对于输入的差分信息执行DCT，将DCT系数量化后，作为量化的DCT系数m来输出。

反DCT/反量化部14，输入量化的DCT系数m。该反DCT/反量化部14将输入的被量化的DCT系数m反量化，并将反量化的系数反DCT后，作为反DCT以及反量化的差分信息n来输出。

熵编码部15，输入量化的DCT系数m与预测信息k。该熵编码部15对于输入的信息，通过可变长编码法或算术编码法来进行编码，并作为上层的UV成分的编码信息c来输出。

本地存储器16输入本地解码视频。输入至本地存储器16上的本地解码视频是指预测值j与反DCT以及反量化的差分信息n相加的信息。该本地存储器16存储已输入的本地解码视频，并作为上层的UV成分的本地解码图像i来适当输出。

(第二上层编码部20的结构以及动作)

图3是示出第二上层编码部20的结构的框图。第二上层编码部20包括：预测值生成部22，DCT/量化部23，反DCT/反量化部24，熵编码部25以及本地存储器26。

预测值生成部22，输入输入视频a的Y成分，从本地存储器26中输出的后述的上层Y成分的本地解码视频f，以及从下位编码部30中输出的后述的下层的本地解码视频g。该预测值生成部22利用这些输入的信息，通过预定的预测方法当中的编码效果最好的预测方法，生成预测值p。并且，输出预测值p的同时，将表示用于生成预测值p的预测方法的信息作为预测信息q来输出。

DCT/量化部23，输入输入视频a与预测值p之间的差分信息。该DCT/量化部23对于输入的差分信息执行DCT，将DCT系数量化后，作为量化的DCT系数r来输出。

反DCT/反量化部24，输入量化的DCT系数r。该反DCT/反量化部24将输入的被量化的DCT系数r反量化，并将反量化的系数反DCT后，作为反DCT以及反量化的差分信息s来输出。

熵编码部25，输入量化的DCT系数r与预测信息q。该熵编码部25对于输入的信息，通过可变长编码法或算术编码法来进行编码，并作为上层的Y成分的编码信息d来输出。

本地存储器26，输入本地解码视频。输入至本地存储器26上的本地解码视频是指预测值p与反DCT以及反量化的差分信息s相加的信息。该本地存储器26存储已输入的本地解码视频，并作为上层的Y成分的本地解码图像f来适当输出。

(下层编码部30的结构以及动作)

图4是示出下层编码部30的结构的框图。下层编码部30包括：预测值生成部32，DCT/量化部33，反DCT/反量化部34，熵编码部35，本地存储器36，以及颜色信息采样部37。

颜色信息采样部37，输入输入视频a。该颜色信息采样部37，相对于输入视频a，生成将颜色信息进行二次采样的视频，并作为下层的视频x输出。具体地，在本实施方式中，如上述，输入视频a为YUV4:4:4格式的视频，因此颜色信息采样部37，作为下层的视频x，输出YUV4:2:2格式的视频或YUV4:2:0格式的视频。

预测值生成部32，输入下层的视频x，以及从本地存储器36中输出的后述的下层的本地解码视频g。该预测值生成部32利用这些输入的信息，通过预定的预测方法当中的编码效果最好的预测方法，生成预测值t。并且，输出预测值t的同时，将表示用于生成预测值t的预测方法的信息作为预测信息u来输出。

DCT/量化部33输入下层的视频x与预测值t之间的差分信息。该DCT/量化部33对于输入的差分信息执行DCT，将DCT系数量化后，作为量化的DCT系数v来输出。

反DCT/反量化部34，输入量化的DCT系数v。该反DCT/反量化部34将输入的被量化的DCT系数v反量化，并将反量化的系数反DCT后，作为反DCT以及反量化的差分信息w来输出。

熵编码部35，输入量化的DCT系数v与预测信息u。该熵编码部35对于输入的信息，通过可变长编码法或算术编码法来进行编码，并作为下层的编码信息e来输出。

本地存储器36输入本地解码视频。输入至本地存储器36上的本地解码视频是指预测值t与反DCT以及反量化的差分信息w相加的信息。该本地存储器36存储已输入的本地解码视频，并作为下层的本地解码图像g来适当输出。

[动画图像解码装置BB的结构以及动作]

图5是示出根据本发明的第一实施方式的动画图像解码装置BB的结构的框图。动画图像解码装置BB，对动画图像编码装置AA中生成的压缩流b进行解码，并生成上层输出视频A以及下层输出视频B。该动画图像解码装置BB包括：第一上层解码部110，第二上层解码部120，下位解码部130以及流DEMUX部140。上层输出视频A由从第一上层解码部110中输出的后述的上层的UV成分的解码图像A1，以及从第二上层解码部120中输出的后述的上层的Y成分的解码图像A2构成。

流DEMUX部140，输入压缩流b。该流DEMUX部140从压缩流b中提取上层的编码信息与下层的编码信息。并且，将上层的UV成分的编码信息C输出至第一上层解码部110，将上层的Y成分的编码信息D输出至第二上层解码部120，将下层的解码信息E输出至下层解码部130。

(第一上层解码部110的结构以及动作)

图6是示出第一上层解码部110的结构的框图。第一上层解码部110包括：熵解码部111，颜色信息可扩展预测部112，反DCT/反量化部113，预测值生成部114以及本地存储器115。

熵解码部111，输入上层的UV成分的编码信息C。该熵解码部111基于可变长编码法或算术编码法来对编码信息C进行解码，提取并输出差分信息H以及预测信息J。

颜色信息可扩展预测部112，输入从第二上层解码部120中输出的后述的上层的Y成分的解码图像F，以及从下层解码部130中输出的后述的下层的解码图像G。该颜色信息可扩展预测部112，与图2所示的颜色信息可扩展预测部11相同地，采用上层的Y成分的解码像素值的信息，以及下层的Y成分的解码像素值的信息，通过线性处理，插值滤波处理，或非线性处理来生成并输出上层的UV成分的预测值K。

反DCT/反量化部113，输入差分信息H。该差分信息H为量化的DCT系数。该反DCT/反量化部113将差分信息H反量化，并对该结果执行反DCT后，作为反量化以及反DCT的差分信息L来输出。

预测值生成部114，输入预测信息J，上层的UV成分的预测值K，以及从本地存储器115中输出的后述的上层的UV成分的解码图像M。该预测值生成部114根据通过预测信息J的预测方法，采用预测值K以及解码图像M来生成并输出预测值N。

本地存储器115，输入上层的UV成分的解码图像A1。该上层的UV成分的解码图像A1是指差分信息L与预测值N的相加的信息。该本地存储器115存储上层的UV成分的解码图像A1，并作为上层的UV成分的解码图像M来适当输出。

(第二上层解码部120的结构以及动作)

图7是示出第二上层解码部120的结构的框图。第二上层解码部120包括：熵解码部121，反DCT/反量化部123，预测值生成部124以及本地存储器125。

熵解码部121，输入上层的Y成分的编码信息D。该熵解码部121基于可变长编码法或算术编码法来对编码信息D进行解码，提取并输出差分信息P以及预测信息Q。

反DCT/反量化部123，输入差分信息P。该差分信息P为量化的DCT系数。该反DCT/反量化部123将差分信息P反量化，并对该结果执行反DCT后，作为反量化以及反DCT的差分信息R来输出。

预测值生成部124输入预测信息Q，下层的解码图像G，以及从本地存储器125中输出的后述的上层的Y成分的解码图像F。该预测值生成部124根据通过预测信息Q的预测方法，采用解码图像F、G来生成并输出预测值S。

本地存储器125，输入上层的Y成分的解码图像A2。该上层的Y成分的解码图像A2是指差分信息R与预测值S的相加的信息。该本地存储器125存储上层的Y成分的解码图像A2，并作为上层的Y成分的解码图像F来适当输出。

(下层解码部130的结构以及动作)

图8是示出下层解码部130的结构的框图。下层解码部130包括：熵解码部131，反DCT/反量化部133，预测值生成部134以及本地存储器135。

熵解码部131，输入下层的编码信息E。该熵解码部131基于可变长编码法或算术编码法来对编码信息E进行解码，提取并输出差分信息T以及预测信息U。

反DCT/反量化部133，输入差分信息T。该差分信息T为量化的DCT系数。该反DCT/反量化部133将差分信息T反量化，并对该结果执行反DCT后，作为反量化以及反DCT的差分信息V来输出。

预测值生成部134输入预测信息U，以及从本地存储器135中输出的后述的下层的解码图像G。该预测值生成部134根据通过预测信息U的预测方法，采用解码图像G来生成并输出预测值W。

本地存储器135，输入下层的输出视频B。该下层的输出视频B是指差分信息V与预测值W的相加的信息。该本地存储器135存储下层的输出视频B，并作为下层的解码图像G来适当输出。

根据以上的动画图像编码装置AA，能够达到以下效果。

在视频当中，在亮度与颜色信息之间具有有关像素值的变化的相关性。因此，动画图像编码装置AA利用亮度与颜色信息之间的相关性来进行基于颜色成分间预测的层间预测。从而能够利用下层的视频高精度地预测上层的颜色信息。为此，通过上层的视频(YUV4:4:4格式的视频)与下层的视频(YUV4:2:2格式的视频或YUV4:2:0格式的视频)，即使图案相同而视频格式不同，也能够将这些视频作为一个压缩流b来有效进行压缩。从而，例如，将下层作为播放用的视频格式，将上层作为素材用的视频格式，能够有效地压缩两者。

其中，动画图像编码装置AA，即使对在层间视频格式相同的颜色成分，在上层中，能够赋予下层中补偿劣化的信息(SNR可扩展性)。

并且，根据以上的动画图像解码装置BB，能够达到以下效果。

动画图像解码装置BB利用亮度与颜色信息之间的相关性来进行基于颜色成分间预测的层间预测。从而能够利用下层的视频高精度地预测上层的颜色信息。为此，从一个压缩流b，对上层输出视频A以及下层输出视频B的视频格式相互不同的视频进行解码。

〈第二实施方式〉

[动画图像编码装置CC的结构以及动作]

图9是示出根据本发明的第二实施方式的动画图像编码装置CC的结构的框图。动画图像编码装置CC从已输入的输入视频α中生成两个视频格式的视频，并且多路复用为一个视频流，作为压缩流β来输出。

其中，在本实施方式中，作为输入视频α输入有RGB格式的视频，作为两个视频格式的视频，动画图像编码装置CC生成RGB格式的视频(上层)与YUV(4:2:0)格式的视频(下层)。为此，下层的图像为与输入图像α的格式不同的格式，且每一个像素的数据量少于输入视频α的视频格式的视频。

并且，在本实施方式中，上层的表示位数与下层的表示位数相同。

动画图像编码装置CC包括：上层编码部210，下层编码部220，以及流MUX部230。

流MUX部230，输入从上层编码部210中输出的后述的上层的编码信息γ，以及从下层编码部220中输出的后述的下层的编码信息δ。该流MUX部230，将这些输入的信息，根据标准规格等预定的方法来多路复用且输出至一个压缩流β。

(上层编码部210的结构以及动作)

图10是示出了上层编码部210的结构的框图。上层编码部210包括：颜色格式转换部211，颜色预测值生成部212，预测值生成部213，DCT/量化部214，反DCT/反量化部215，熵编码部216以及本地存储器217。

预测值生成部213，DCT/量化部214，反DCT/反量化部215，熵编码部216以及本地存储器217分别与图2中示出的预测值生成部12，DCT/量化部13，反DCT/反量化部14，熵编码部15以及本地存储器16进行相同动作。

颜色格式转换部211，输入下层的本地解码视频ε。在此，下层的本地解码视频ε为YUV格式的视频。因此，颜色格式转换部211，通过下层的本地解码视频ε的Y成分和U成分以及V成分的各像素值的加权和，从而获取R成分，G成分以及B成分的各像素值后，并作为RGB格式的转换后视频ζ来输出。

颜色预测值生成部212输入转换后视频ζ。该颜色预测值生成部212将RGB的各成分中的一个作为基准，生成剩余的2成分的预测值。

在这里，YUV格式与RGB格式中，在视觉上Y成分与G成分为重要的成分，这些Y成分与G成分具有大致相同的信息量。即，Y成分与G成分为对等关系。因此，在本实施方式中，以G成分为基准。这样，颜色预测值生成部212，将G成分作为图2所示的颜色信息可扩展预测部11的Y成分，与在颜色信息可扩展预测部11中生成UV成分的预测值h的相同方法来预测RB成分。并且，将上层中的标准颜色成分(G成分)与剩余成分(RB成分)的预测值作为预测值η来输出。

(下层编码部220的结构以及动作)

图11是示出下层编码部220的结构的框图。下层编码部220包括：预测值生成部221，DCT/量化部222，反DCT/反量化部223，熵编码部224，本地存储器225以及颜色格式转换部226。

预测值生成部221，DCT/量化部222，反DCT/反量化部223，熵编码部224，本地存储器225分别与图4中示出的预测值生成部32，DCT/量化部33，反DCT/反量化部34，熵编码部35以及本地存储器36进行相同动作。

颜色格式转换部226，输入输入视频α。在此，输入视频α为RGB格式的视频。因此，颜色格式转换部226，通过输入视频α的R成分和G成分以及B成分的各像素值的加权和，从而获取Y成分，U成分以及V成分的各像素值后，作为YUV格式的转换后视频θ来输出。

[动画图像解码装置DD的结构以及动作]

图12是示出根据本发明的第二实施方式的动画图像解码装置DD的结构的框图。动画图像解码装置DD，对动画图像解码装置CC中生成的压缩流β进行解码，生成上层输出视频κ以及下层输出视频λ。该动画图像解码装置DD包括：上层解码部310，下层解码部320以及流DEMUX部330。

流DEMUX部330输入压缩流β。该流DEMUX部330从压缩流β中提取上层的编码信息ν与下层的编码信息ξ。并且，将上层的编码信息ν输出至上层解码部310，将下层的编码信息ξ输出至下层解码部320。

(上层解码部310的结构以及动作)

图13是示出上层解码部310的结构的框图。上层解码部310包括：熵解码部311，颜色格式转换部312，颜色预测值生成部313，反DCT/反量化部314，预测值生成部315以及本地存储器316。

熵解码部311，反DCT/反量化部,314，预测值生成部315以及本地存储器316分别与图6中示出的熵解码部111，反DCT/反量化部113，预测值生成部114以及本地存储器115进行相同动作。

颜色格式转换部312，输入从下层解码部320中输出的后述的下层的解码图像μ。在此，下层的解码图像μ为YUV格式的视频。因此，颜色格式转换部312，通过下层的解码图像μ的Y成分和U成分以及V成分的各像素值的加权和，从而获取R成分，G成分以及B成分的各像素值后，作为RGB格式的下层解码图像π来输出。

颜色预测值生成部313，输入下层的解码图像π。该颜色预测值生成部313与图10中示出的颜色预测值生成部212相同地，生成颜色预测值。并且，将下层中的标准颜色成分(G成分)与剩余成分(RB成分)的预测值作为预测值ρ来输出。

(下层解码部320的结构以及动作)

图14是示出下层解码部320的结构的框图。下层解码部320包括：熵解码部321，反DCT/反量化部322，预测值生成部323以及本地存储器324。

熵解码部321，反DCT/反量化部322，预测值生成部323以及本地存储器324分别与图8中示出的熵解码部131，反DCT/反量化部133，预测值生成部134以及本地存储器135进行相同动作。

根据以上的动画图像编码装置CC，能够达到以下效果。

如上述，YUV格式中的Y成分与RGB格式中的G成分为对等关系。因此，动画图像编码装置CC利用Y成分与G成分之间的对等关系来进行基于颜色成分间预测的层间预测。从而能够利用下层的视频高精度地预测上层的视频。为此，通过上层的视频(RGB格式的视频)与下层的视频(YUV格式的视频)，即使图案相同而视频格式不同，也能够将这些视频作为一个压缩流β来有效进行压缩。从而，例如，将下层作为播放用的视频格式，将上层作为素材用的视频格式，能够有效地压缩两者。

其中，动画图像编码装置CC，即使对在层间视频格式相同的颜色成分，在上层中，能够赋予下层中补偿劣化的信息(SNR可扩展性)。

并且，根据以上的动画图像解码装置DD，能够达到以下效果。

动画图像解码装置DD利用Y成分与G成分之间的对等关系来进行基于颜色成分间预测的层间预测。从而能够利用下层的视频高精度地预测上层的视频。为此，从一个压缩流β，对上层输出视频κ以及下层输出视频λ的视频格式相互不同的视频进行解码。

其中，通过将本发明的运动图像编码装置AA、CC或运动图像解码装置BB、DD的处理存储在计算机可读取的非临时性记录介质中，并将存储在该记录介质中的程序读入运动图像编码装置AA、CC或运动图像解码装置BB，DD中来执行，从而能够实现本发明。

在这里，在上述的记录介质中，能够应用例如，EPROM或闪存存储器等的非易失性存储器，硬盘等的磁盘，CD-ROM等。并且，通过设置在运动图像编码装置AA、CC或运动图像解码装置BB，DD上的处理器读入以及执行存储在该记录介质上的程序。

此外，上述的程序也可以从将该程序保存在存储装置等中的运动图像编码装置AA、CC或运动图像解码装置BB、DD，经由传输介质、或者通过传输介质中的传输波而被传输到其他计算机系统中。这里，传输程序的“传输介质”是指如互联网等网络(通信网)或电话线路等通信线路(通信线)具有传输信息功能的介质。

此外，上述的程序也可以是用于实现上述功能的一部分的程序。此外，也可以是能够与运动图像编码装置AA、CC或运动图像解码装置BB、DD中已记录的程序组合来实现上述功能的所谓的差分文件(差分程序)。

以上，参照附图对本发明的实施方式进行了详细说明，但具体结构并不局限于该实施方式，还包括不脱离本发明要旨的范围内的设计等。

例如，在上述的第一实施方式中，作为输入视频a，输入有YUV4:4:4格式的视频，但是并不局限于此。例如，也可以输入有YUV4:2:2格式的视频。当YUV4:2:2格式的视频作为输入视频a来输入时，图4的颜色信息采样部37生成YUV4:2:0格式的视频。

并且，在上述的第一实施方式中，对于存在上层与下层之间的2阶层时的情况进行了说明，但是并不局限于此。例如，存在3阶层或4阶层的情况也适用于本发明。即使存在3阶层以上的情况，也与上述的第一实施方式相同，只要从下层依次进行上层的编码或解码即可。

并且，在上述的第一实施方式中，在输入视频a的Y成分与下层的本地解码视频g的Y成分之间的差分小于预定的阈值时，预测值生成部22输出与输入视频a相同值的预测值p即可。从而，对于Y成分，只要下层的本地解码视频g的画质足够好，就可以将下层的本地解码图像g转换为上层的Y成分。并且，输入至DCT/量化部23的输入视频a与预测值p之间的差分信息为零，从而在熵编码部25中仅编码预测信息q。并且，对于生成的压缩流b，无需在后述的动画图像解码装置BB中添加信息或进行特别处理。

并且，在上述的第二实施方式中，上层的表示位数与下层的表示位数相同，但是并不局限于此。其也可以不同。例如，通过从下层预测上层的过程中增加表示位数，从而在上层的位数包含下层的位数的视频格式阶层结构中，能够实现表示位数的可扩展性。

并且，在上述的第一实施方式中对YUV格式的视频进行了说明，在第二实施方式中对RGB格式的视频与YUV格式的视频进行了说明。但是并不局限于此，与Lab或CMYK等的其他颜色空间之间的可扩展性也适用于本发明。

附图标记

10…第一上层编码部

20…第二上层编码部

30、220…下层编码部

40、230…流MUX部

110…第一上层解码部

120…第二上层解码部

130、320…下层解码部

140、330…流DEMUX部

210…上层编码部

310…上层解码部

AA、CC…动画图像编码装置

BB、DD…动画图像解码装置