动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序

摘要

本发明的目的是不改变宏块的框架，在一个宏块内，使帧间预测方式进行编码处理的部分和使用帧内预测方式进行编码处理的部分混合存在。本发明是以第一图像块单位编码动画图像的编码装置，具有：预测方式选择信息生成设备，用于生成预测方式选择信息，该信息表示对于分割所述第一图像块的第二图像块单位，是适用消除时间方向的冗余度的第一预测方式，还是适用削减空间方向的冗余度的第二预测方式；预测残差信号生成设备，用于通过对所述第二图像块适用所选择的所述第一或者第二预测方式生成预测残差信号；传送设备，用于使其相关并传送所述预测方式选择信息以及所述预测残差信号。

说明书

技术领域

本发明涉及动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置及译码装置、编码方法、译码方法以及程序。

背景技术

参照图1及图2说明在现有的动画图像编码传送系统中使用的编码装置以及译码装置的一个例子。图1是表示在现有的动画图像编码传送系统中使用的编码装置的概略结构图，图2是表示在现有的动画图像编码传送系统中使用的译码装置的概略结构图。

图1所示的编码装置120及图2所示的译码装置140是依据在ITU-TRecommendation H.263“Video coding for low bit rate communication”中记载的H.263编码方式的数字动画图像编码装置以及数字动画图像译码装置。

编码装置120通过运动补偿帧间预测削减在时间方向存在的冗余度，通过正交变换(例如DCT：Discrete Cosine Transform)削减在空间方向存在的冗余度，由此实行对作为数字动画图像的输入视频信号2的信息压缩编码。

输入单元121接收输入视频信号2亦即帧图像的时间序列。这里，在编码装置120中，现在，成为编码对象的帧图像称为“现帧”。

输入单元121把“现帧”分割为16×16像素的正方形区域(“宏块(第一图像块)”)，分割的“宏块”顺序发送到运动检测单元122以及减法单元124。这里，成为编码对象的“宏块”称为“现宏块”。

运动检测单元122以宏块单位进行“运动矢量”的检测和“宏块方式(后面说明)”的决定。

运动检测单元122在存储在帧存储器132内的过去的完成编码的帧图像(称为“参考帧”)的规定的检索范围内，发现类似现宏块的部分(“运动预测数据”)，把从现宏块到“运动预测数据”的二维空间的移动量作为“运动矢量”检测。

运动检测单元122例如使用“块匹配”，可以进行上述的“运动矢量”的检测。也就是说，运动检测单元122在帧存储器132内的“参考帧”内设定以现宏块的空间位置作为中心的检索范围，计算该检索范围内的图像数据和现宏块之间的“差平方和”或者“差绝对值和”。然后，运动检测单元122求取计算出来的“差平方和”或者“差绝对值和”最小的该检索范围内的图像数据作为“运动预测数据”，检测从现宏块到“运动预测数据”的二维空间的移动量作为“运动矢量”。

运动检测单元122给运动补偿单元123以及可变长编码单元127发送检测出来的“运动矢量”。

另外，运动检测单元122决定在现宏块中适用的“宏块方式”。这里，“宏块方式”是表示生成关于现宏块的“预测残差信号(后面说明)”的方法(“预测方式”或者运动矢量的数目等)，如图3所示，包含“内方式(适用帧内预测方式)”、“互方式(适用帧间预测方式)”以及“互4V方式(适用根据4个运动矢量的帧间预测方式)”。

另外，“预测方式”表示，对于现宏块，是适用削减时间方向冗余度的“帧间预测方式”，还是适用削减空间方向冗余度的“帧内预测方式”。

具体说，运动检测单元122，根据检测出来的“运动矢量”，从“内方式”、“互方式”和“互4V方式”中选择预测残差信号(后面说明)的电功率成为最小的“宏块方式”。

运动检测单元122给运动补偿单元123以及可变长编码单元127发送决定的“宏块方式”。

运动补偿单元123把基于从运动检测单元122发送的“宏块方式”以及“运动矢量”得到的“控制信息”发送给减法单元124。

例如，运动补偿单元123，在运动检测单元122发送的“宏块方式”是“内方式”时，不形成“预测图像块(后面说明)”，也就是说，运动补偿单元123对于“现宏块”不进行运动补偿帧间预测，只把接收的“宏块方式(内方式)”作为“控制信息”通知减法单元124。

另外，运动补偿单元123，在从运动检测单元122发送的“宏块方式”是“互方式”或者“互4V方式”时，使用从运动检测单元122发送的“运动矢量”和帧存储器132中存储的参考帧，对于现宏块进行运动补偿帧间预测，形成“预测图像块”。

这里，在“互方式”中，给每一16×16像素的宏块分配一个运动矢量，在“互4V方式”中，给每一8×8像素的子块分配一个运动矢量。

运动补偿单元123，作为“控制信息”，给减法单元124发送“预测图像块”、“宏块方式”和“运动矢量”。另外，运动补偿单元123给加法单元131发送“预测图像块”。

减法单元124对应由运动补偿单元123发送的“控制信息”，给正交变换单元125发送规定的信息。

具体说，减法单元124，在“宏块方式”是“互方式”或者“互4V方式”的场合，由求由输入单元124发送的“现宏块”和从运动补偿单元123发送的“预测图像块”的差分，削减在时间上连续的“现宏块”间的时间方向上存在的冗余度。

这里，通过减法单元124求得的差分称为“预测残差信号”。减法单元124把这样的“预测残差信号”发送给正交变换单元125。

另外，减法单元124，在“宏块方式”是“内方式”的场合，因为不从运动补偿单元123发送“预测图像块”，因此把从输入单元124发送的“现宏块”作为“预测残差信号”发送给正交变换单元125。

正交变换单元125把由减法单元124发送的“预测残差信号”以8×8像素的子块单位，通过进行正交变换(例如DCT变换)，削减“预测残差信号”内的空间方向存在的冗余度。

正交变换单元125把通过正交变换得到的“正交变换系数(例如DCT常数)”发送到量子化单元126。

量子化单元126把由正交变换单元125发送的“正交变换系数”进行量子化。另外，量子化单元126把通过量子化得到的“量子化正交变换系数”发送给可变长编码单元127以及逆量子化单元129。

可变长编码单元127把由量子化单元126发送的“量子化正交变换系数”、和从运动检测单元122发送的“运动矢量”以及“宏块方式”进行可变长编码，在压缩位流3上多路复用。可变长编码单元127把压缩位流3发送给输出单元128。

输出单元128把由可变长编码单元127发送的压缩位流3，汇集1个或者多个帧图像分量，向网络1传送。

逆量子化单元129把由量子化单元126发送的“量子化正交变换系数”进行逆量子化，把得到的“正交变换系数”发送给逆正交变换单元130。

逆正交变换单元130把由逆量子化单元129发送的“正交变换系数”进行逆正交变换(例如，逆DCT变换)，把通过逆正交变换得到的“预测残差信号”发送给加法单元131。

加法单元131，把由运动补偿单元123发送的“预测图像块”和由逆正交变换单元130发送的“预测残差信号”进行相加，把由此得到的结果发送给帧存储器132。

但是，作为“宏块方式”选择“内方式”的场合，因为不由运动补偿单元123生成“预测图像块”(不进行运动补偿帧间预测)，所以，加法单元131把由逆正交变换单元130发送的“预测残差信号(由输入单元121发送的现宏块)”发送给帧存储器132。

帧存储器132基于由加法单元131发送的信息(现宏块)，构成“参考帧”并存储。帧存储器132给运动检测单元122以及运动补偿单元123发送“参考帧”。

图2所示译码装置140是从由编码装置120发送的压缩位流3再生输出视频信号4的装置。

输入单元141接收压缩位流3，给可变长译码单元142发送。

可变长译码单元142，在由输入单元141发送的压缩位流3中，从各帧图像的前面，对于每一宏块，译码“量子化正交变换系数”、“运动矢量”和“宏块方式”。

可变长译码单元142把译码后的“量子化正交变换系数”发送给逆量子化单元143。另外，可变长译码单元142在译码后的“宏块方式”是“互方式”或者“互4V方式”的场合，把译码后的“运动矢量”和“宏块方式”发送给运动补偿单元145。

逆量子化单元143通过把由可变长译码单元142发送的“量子化正交变换系数”逆量子化，得到“正交变换系数”，把这样的“正交变换系数”发送给逆正交变换单元144。

逆正交变换单元144通过把由逆量子化单元143发送的“正交变换系数”逆正交变换，得到“预测残差信号”，把这样的“预测残差信号”发送给加法单元146。

运动补偿单元145根据在帧存储器147中存储的参考帧、和由可变长译码单元142发送的“运动矢量”以及“宏块方式”，生成“预测图像块”，把生成的“预测图像块”发送给加法单元146。

加法单元146通过相加由逆正交变换单元144发送的“预测残差信号”和由运动补偿单元145发送的“预测图像块”，生成构成输出视频信号4的宏块，并发送给输出单元148。

但是，在“宏块方式”是“内方式”的场合，因为不由运动补偿单元145发送“预测图像块”，所以加法单元146，把由逆正交变换单元144发送的“预测残差信号”作为构成输出视频信号4的宏块发送给输出单元148。

帧存储器147根据由加法单元146发送的信息(宏块)构成“参考帧”并存储。帧存储器147给运动补偿单元145发送“参考帧”。

输出单元148根据由加法单元146发送的信息(宏块)构成输出视频信号4，在规定的显示定时输出到显示设备(未图示)。

如上所述，在现有的动画图像编码传送系统中，在以宏块单位决定“宏块方式”的同时，通过把每一宏块设定的“编码信息(运动矢量或量子化参数等)”进行通用化处理，提高了编码效率。

但是，在现有的动画图像编码传送系统中，因为对于一个宏块不能设定多个“宏块方式”，所以如图4所示，在一个宏块内，如果混存有最好用“帧内预测方式”编码处理的部分(鸟的部分)和最好用“帧间预测方式”编码处理的部分(云的部分)，存在不能进行高效编码处理的问题。

为解决这一问题，可以考虑减小宏块的大小、减小转换“宏块方式”的选择的单位的方法。但是，使用这一方法的话，因为宏块的数目增加、发送编码处理需要的每一宏块的编码信息的频度也增加，所以存在降低编码效率的问题。

这样，本发明鉴于上述问题而提出，其目的是，不改变宏块的大小或者框架，在一个宏块内进行“宏块方式”的转换，能够使得用“帧内预测方式”编码处理的部分和用“帧间预测方式”编码处理的部分一起存在。

发明内容

本发明的第一特征是以第一图像块单位把动画图像进行编码的编码装置，其要点是，具有：预测方式选择信息生成设备、预测残差信号生成设备和传送设备。所述预测方式选择信息生成设备，生成预测方式选择信息，该信息表示以分割了所述第一图像块后的第二图像块单位，是适用消除时间方向的冗余度的第一预测方式，还是适用削减空间方向的冗余度的第二预测方式；所述预测残差信号生成设备，通过对所述第二图像块适用所选择的所述第一或者第二预测方式而生成预测残差信号；传送设备编码并传送所述预测方式选择信息以及所述预测残差信号。

在本发明的第一特征中，所述传送设备最好编码并传送为进行通过所述第一或者第二预测方式的编码处理所必需的预测方式关联信息。

另外，在本发明的第一特征中，最好是，所述预测残差信号生成设备，在选择适用所述第一预测方式的场合，给每一所述第二图像块，通过使用运动矢量的运动补偿帧间预测生成所述预测残差信号；所述预测残差信号生成设备，在选择适用所述第二预测方式的场合，给每一所述第二图像块，通过帧内预测生成所述预测残差信号。

另外，在本发明的第一特征中，所述传送设备，在选择适用所述第一预测方式的场合，最好把表示所述运动矢量的信息作为所述预测方式关联信息进行编码和传送。

另外，在本发明的第一特征中，所述预测残差信号生成设备，最好在所述第一图像块内通过使用同一运动矢量的运动补偿帧间预测生成所述预测残差信号。

另外，在本发明的第一特征中，所述传送设备，最好在所述预测方式关联信息之前传送所述预测方式选择信息。

另外，在本发明的第一特征中，最好是，所述预测残差信号生成设备，在选择适用所述第二预测方式的场合，给每一所述第二图像块，通过使用邻接该第二图像块的像素值的像素值预测方法生成所述预测残差信号，所述传送设备把所述像素值预测方法作为所述预测方式关联信息进行编码和传送。

另外，在本发明的第一特征中，所述传送设备最好对所述预测方式选择信息与所述预测方式关联信息进行相关处理，编码并传送。

另外，在本发明的第一特征中，所述传送设备，在所述第二图像块单位不适用所述第一预测方式的场合，最好不传送所述第一预测方式的所述预测方式关联信息。

本发明的第二特征是译码动画图像的译码装置，其要点是具有预测方式选择信息译码设备和动画图像译码设备。预测方式选择信息译码设备译码预测方式选择信息，该信息表示对于分割分割动画图像的第一图像块的第二图像块单位，适用消除时间方向的冗余度的第一预测方式，或者适用削减空间方向的冗余度的第二预测方式；动画图像译码设备根据通过所述预测方式选择信息选择的所述第一或者第二预测方式，以所述第二图像块单位，译码所述动画图像。

在本发明的第二特征中，具有译码通过所述第一或者第二预测方式的编码处理所必需的预测方式关联信息的预测方式关联信息译码设备，所述动画图像译码设备最好使用所述预测方式关联信息译码所述动画图像。

另外，在本发明的第二特征中，最好是，所述动画图像译码设备，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，使用运动补偿帧间预测译码所述动画图像，所述动画图像译码设备，在通过所述预测方式选择信息选择适用所述第二预测方式的场合，使用帧内预测译码所述动画图像。

另外，在本发明的第二特征中，所述动画图像译码设备，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，最好把表示运动矢量的信息作为所述预测方式关联信息译码。

另外，在本发明的第二特征中，所述预测方式选择信息译码设备最好在所述预测方式关联信息之前译码所述预测方式选择信息。

另外，在本发明的第二特征中，所述动画图像译码设备，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，最好以所述第一图像块单位，使用通过同一运动矢量的运动补偿帧间预测译码所述动画图像。

另外，在本发明的第二特征中，最好是，所述预测方式选择信息译码设备，在通过所述预测方式选择信息选择适用所述第二预测方式的场合，作为所述预测方式关联信息，译码关于所述第二图像块的像素值预测方法，所述动画图像译码设备，使用所述像素值预测方法译码所述动画图像。

另外，在本发明的第二特征中，所述预测方式选择信息译码设备，最好以所述第二图像块单位，译码所述预测方式选择信息。

另外，在本发明的第二特征中，最好使所述预测方式选择信息与所述预测方式关联信息关联进行编码。

另外，在本发明的第二特征中，所述预测方式选择信息译码设备，最好以所述第二图像块单位，在通过所述预测方式选择信息表示所述第一预测方式不适用的场合，不译码所述第一预测方式的预测方式关联信息。

本发明的第三特征是以第一图像块单位编码动画图像的编码方法，其要点是具有下述步骤：预测方式选择信息生成步骤A、预测残差信号生成步骤B和传送步骤C。预测方式选择信息生成步骤A生成预测方式选择信息，该信息表示对于分割所述第一图像块的第二图像块单位，适用消除时间方向的冗余度的第一预测方式，或者适用削减空间方向的冗余度的第二预测方式；预测残差信号生成步骤B通过对所述第二图像块适用选择的所述第一或者第二预测方式生成预测残差信号；传送步骤C编码并传送所述预测方式选择信息以及所述预测残差信号。

在本发明的第三特征中，在所述步骤C中最好编码并传送为进行通过所述第一或者第二预测方式的编码处理所必需的预测方式关联信息。

另外，在本发明的第三特征中，最好是，在所述步骤B中，在选择适用所述第一预测方式的场合，给每一所述第二图像块，通过使用运动矢量的运动补偿帧间预测生成所述预测残差信号，在所述步骤B中，在选择适用所述第二预测方式的场合，给每一所述第二图像块，通过帧内预测生成所述预测残差信号。

另外，在本发明的第三特征中，在所述步骤C中，作为所述预测方式关联信息，最好把表示所述运动矢量的信息进行编码和传送。

另外，在本发明的第三特征中，在所述步骤B中，最好在所述第一图像块内通过使用同一运动矢量的运动补偿帧间预测生成所述预测残差信号。

另外，在本发明的第三特征中，在所述步骤C中，最好在所述预测方式关联信息之前传送所述预测方式选择信息。

另外，在本发明的第三特征中，最好是，在所述步骤B中，在选择适用所述第二预测方式的场合，给每一所述第二图像块，通过使用邻接该第二图像块的像素值的像素值预测方法生成所述预测残差信号，在所述步骤C中，把所述像素值预测方法作为所述预测方式关联信息进行编码和传送。

另外，在本发明的第三特征中，在所述步骤C中，最好对所述预测方式选择信息与所述预测方式关联信息进行相关处理，编码并传送。

另外，在本发明的第三特征中，在所述步骤C中，在所述第二图像块单位不适用所述第一预测方式的场合，最好不传送所述第一预测方式的所述预测方式关联信息。

本发明的第四特征是译码动画图像的译码方法，其要点是具有步骤A和步骤B。所述步骤A译码预测方式选择信息，该信息表示对于分割分割动画图像的第一图像块的第二图像块单位，适用消除时间方向的冗余度的第一预测方式，或者适用削减空间方向的冗余度的第二预测方式；步骤B根据通过所述预测方式选择信息选择的所述第一或者第二预测方式，使用所述第二图像块单位，译码所述动画图像。

在本发明的第四特征中，最好是，在所述步骤A中，译码通过所述第一或者第二预测方式进行编码处理所必需的预测方式关联信息，在所述步骤B中，使用所述预测方式关联信息译码所述动画图像。

另外，在本发明的第四特征中，最好是，在所述步骤A中，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，在所述步骤B中，使用运动补偿帧间预测译码所述动画图像，在所述步骤A中，在通过所述预测方式选择信息选择适用所述第二预测方式的场合，在所述步骤B中，使用帧内预测译码所述动画图像。

另外，在本发明的第四特征中，在所述步骤A中，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，作为所述预测方式关联信息，最好把表示运动矢量的信息译码。

另外，在本发明的第四特征中，在所述步骤A中，最好在所述预测方式关联信息之前译码所述预测方式选择信息。

另外，在本发明的第四特征中，在所述步骤B中，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，最好以所述第一图像块单位，使用通过同一运动矢量的运动补偿帧间预测译码所述动画图像。

另外，在本发明的第四特征中，最好是，在所述步骤A中，在通过所述预测方式选择信息选择适用所述第二预测方式的场合，作为所述预测方式关联信息，译码关于所述第二图像块的像素值预测方法，在所述步骤B中，使用所述像素值预测方法译码所述动画图像。

另外，在本发明的第四特征中，在所述步骤A中，最好以所述第二图像块单位，译码所述预测方式选择信息。

另外，在本发明的第四特征中，最好使所述预测方式选择信息与所述预测方式关联信息关联进行编码。

另外，在本发明的第四特征中，在所述步骤A中，最好使用所述第二图像块单位，在通过所述预测方式选择信息表示所述第一预测方式不适用的场合，不译码所述第一预测方式的预测方式关联信息。

本发明的第五特征是一种程序，该程序使计算机作为以第一图像块单位编码动画图像的编码装置作用，所述编码装置具有预测方式选择信息生成设备、预测残差信号生成设备和传送设备。预测方式选择信息生成设备生成预测方式选择信息，该信息表示对于分割所述第一图像块的第二图像块单位，适用消除时间方向的冗余度的第一预测方式，或者适用削减空间方向的冗余度的第二预测方式；预测残差信号生成设备通过对所述第二图像块适用选择的所述第一或者第二预测方式生成预测残差信号；传送设备编码并传送所述预测方式选择信息以及所述预测残差信号。

本发明的第六特征是一种程序，该程序使计算机作为以第一图像块单位译码动画图像的译码装置作用，所述译码装置具有预测方式选择信息译码设备和动画图像译码设备。预测方式选择信息译码设备译码预测方式选择信息，该信息表示对于分割分割动画图像的第一图像块的第二图像块单位，适用消除时间方向的冗余度的第一预测方式，或者适用削减空间方向的冗余度的第二预测方式；动画图像译码设备根据通过所述预测方式选择信息选择的所述第一或者第二预测方式，以所述第二图像块单位，译码所述动画图像。

本发明的第七特征是具备编码装置和译码装置的动画图像编码传送系统，其要点是所述编码装置具有预测方式选择信息生成设备、预测残差信号生成设备和传送设备。预测方式选择信息生成设备生成预测方式选择信息，该信息表示对于分割所述第一图像块的第二图像块单位，适用消除时间方向的冗余度的第一预测方式，或者适用削减空间方向的冗余度的第二预测方式；预测残差信号生成设备通过对所述第二图像块适用选择的所述第一或者第二预测方式生成预测残差信号；传送设备编码并传送所述预测方式选择信息以及所述预测残差信号；所述译码装置具有预测方式选择信息译码设备和动画图像译码设备，预测方式选择信息译码设备以所述第二图像块单位，译码所述预测方式选择信息；动画图像译码设备根据通过所述预测方式选择信息选择的所述第一或者第二预测方式，以所述第二图像块单位，译码所述动画图像。

本发明的第八特征的要点是一种动画图像编码传送方法，在编码中具有，编码并传送预测方式选择信息以及预测残差信号的步骤，所述预测方式选择信息表示对于分割分割动画图像的第一图像块的第二图像块单位、适用消除时间方向的冗余度的第一预测方式或者适用削减空间方向的冗余度的第二预测方式，所述预测残差信号通过对所述第二图像块适用选择的所述第一或者第二预测方式生成；在译码中具有，以第二图像块单位译码所述预测方式选择信息的步骤，和根据通过所述预测方式选择信息选择的所述第一或者第二预测方式，以所述第二图像块单位，译码所述动画图像的步骤。

附图说明

图1是表示在关于现有技术的动画图像编码传送系统中使用的编码装置的结构的图。

图2是表示在关于现有技术的动画图像编码传送系统中使用的译码装置的结构的图。

图3是表示宏块方式的图。

图4是表示在宏块内混存使用帧内预测方式编码处理方面好的部分和使用帧间预测方式编码处理方面好的部分的情形的图。

图5是根据本发明的一个实施例的动画图像编码传送系统的概略结构图。

图6是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的编码装置的结构的图。

图7是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的译码装置的结构的图。

图8是表示在根据本发明的一个实施例的动画图像编码传送系统中扩展的宏块方式以及块层语法的定义的表。

图9是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的编码装置的混合预测单元的处理的流程图。

图10是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的编码装置的结构的图。

图11是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的译码装置的结构的图。

图12是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的编码装置的运动检测单元中使用的运动检测块的图。

图13是表示通过在根据本发明的一个实施例的动画图像编码传送系统中使用的空间预测单元进行的帧内像素值预测的原理的图。

图14是表示在根据本发明的一个实施例的动画图像编码传送系统中扩展的宏块方式以及块层语法的定义的表。

图15是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的编码装置的混合预测单元的处理的流程图。

图16是表示在现有技术以及根据本发明的一个实施例的动画图像编码传送系统中扩展的宏块语法的定义的图。

图17是表示在根据本发明的一个实施例的动画图像编码传送系统中扩展的宏块语法的定义的表。

图18是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的编码装置的混合预测单元的处理的流程图。

图19是表示记录作为根据本发明的动画图像编码传送系统起作用的程序的计算机可读记录介质的图。

具体实施方式

下面参照附图详细说明本发明的实施例。

(根据本发明的第一实施例的动画图像编码传送系统的结构)

参照附图说明根据本发明的第一实施例的动画图像编码传送系统的结构。图5是表示根据本实施例的动画图像编码传送系统的结构的图。

在根据本实施例的动画图像编码传送系统中，编码装置20把作为数字动画图像的输入视频信号2信息压缩编码为“压缩位流3”，通过网络1把该压缩位流3传送给译码装置40。然后，在这样的动画图像编码传送系统中，译码装置40从压缩位流3复原输出视频信号4。

这里，作为网络1，设想可以交接压缩位流3的各种设备，例如设想低位速率的数字通信线路等。此外，根据本实施例的动画图像编码传送系统，作为网络1，代替通信线路，例如也可以使用通过数据积蓄装置的系统构成。

根据本实施例的动画图像编码传送系统，如图5所示，通过编码装置20和译码装置40构成。根据本实施例的动画图像编码传送系统具有依照上述H.263编码方式、在其上增加为实施本发明必要的变更的结构。

图2表示在根据本实施例的动画图像编码传送系统中使用的编码装置20。根据本实施例的编码装置20以第一图像块(宏块)编码动画图像(输入视频信号2)。

以下，主要关于根据本实施例的编码装置20说明依照现有技术的H.263编码方式的编码装置120的不同点。于是，关于不特别说明的点，根据本实施例的编码装置20和依照H.263编码方式的编码装置120相同。

编码装置20，代替现有技术的减法单元124设置混合预测单元24，代替现有技术的加法单元131设置混合预测译码单元31，和现有技术的编码装置120的结构不同。

另外，在根据本实施例的编码装置20中，“宏块方式”不是通过运动检测单元62，而是通过混合预测单元64来决定。

混合预测单元24把由输入单元21发送的“宏块”(第一图像块)分割成8×8像素的“子块(第二图像块)”。

另外，混合预测单元24给每一“子块”计算“表示预测残差信号电功率的值”。例如，混合预测单元24，作为“表示预测残差信号电功率的值”计算由输入单元21发送的宏块内的子块和由运动补偿单元23发送的预测图像块内的子块之间的“SAD(Sums of Absolutes Differences：差分绝对值和)”。

另外，混合预测单元24把算出的“SAD”和规定的阈值比较，在“SAD”比阈值小的场合，选择对该子块适用“帧间预测方式(第一预测方式)”，在“SAD”比阈值大的场合，选择对该子块适用“帧内预测方式(第二预测方式)”。

另外，混合预测单元24，在对于宏块内的全部子块选择适用“帧间预测方式(第一预测方式)”或者适用“帧内预测方式(第二预测方式)”结束后，研究该宏块全体的“预测方式”的选择状况，决定该宏块内的“宏块方式”。

这里，“宏块方式”包含“内方式”、“互方式”、“互4V方式”和“内/互方式”。此外，对于“宏块方式”，从量子化参数的变更的有无等的不同，也存在其它任何一种方式。

在本实施例中，仅对“宏块方式”根据每一子块的“预测方式”的选择状况的不同而选择的场合加以说明，但是“宏块方式”同样可以根据量子化参数的变更的有无等的不同而选择。

具体说，混合预测单元24在关于宏块内的全部子块选择“帧内预测方式”的场合，作为“宏块方式”选择“内方式”。

另外，混合预测单元24在关于宏块内的全部子块选择“帧间预测方式”的场合，作为“宏块方式”选择“互方式”或者“互4V方式”。

另外，混合预测单元24，在宏块内混存“帧内预测方式”以及“帧间预测方式”两者而选择的场合，作为“宏块方式”选择“内/互方式”。

另外，混合预测单元24，把给每一宏块决定的“宏块方式”发送给可变长编码单元27以及混合预测译码单元31。

再有，混合预测单元24，在作为“宏块方式”选择“内/互方式”的场合，把每一子块的“预测方式”的选择状况和“帧间预测方式”适用的子块的“运动矢量”发送给可变长编码单元27以及混合预测译码单元31。

这里，混合预测单元24，在选择“内/互方式”的场合，为抑制编码运动矢量所需要的信息量的增加，也可以关于一个宏块给可变长编码单元27以及混合预测译码单元31发送一个运动矢量。

另外，混合预测单元24也可以给可变长编码单元27以及混合预测译码单元31原样发送由运动检测单元22检测出来的“互方式”用的运动矢量。其结果，在混合预测单元24中不需要再次计算运动矢量，可以抑制处理量的增加。

另外，混合预测单元24，也可以在由运动检测单元22检测出来的“互4V方式”用的运动矢量中，把出现最多的运动矢量作为该宏块的运动矢量发送给可变长编码单元27以及混合预测译码单元31。其结果，可变长编码单元27在能够选择适合在宏块内通过“帧间预测方式”能够高效率编码处理的子块的运动矢量的同时，可以使用“内/互方式”提高编码效率。

另外，混合预测单元24，在选择“内/互方式”的场合，也可以重新检索确定运动矢量。

在这样的场合，混合预测单元24，为可以更有效编码，在和“帧内预测方式”组合的场合检索使SAD成为最低那样的运动矢量。

亦即，混合预测单元24，在“互方式”的宏块中的预测图像块内的各个子块中求SAD，可以通过使用反复进行放过SAD最大的子块再检索运动矢量那样的强估计实现。其结果，可以检索最适合的近的运动矢量。

如上所述，混合预测单元24构成预测方式选择信息生成设备，该设备生成“预测方式选择状况(预测方式选择信息)”，这一预测方式选择信息表示对于分割宏块(第一图像块)的子块(第二图像块)单位，是适用消除时间方向的冗余度的“帧间预测方式(第一预测方式)”，还是适用消减空间方向的冗余度的“帧内预测方式(第二预测方式)”。

另外，混合预测单元24构成预测残差信号生成设备，该设备通过对子块(第二图像块)适用选择的“帧间预测方式(第一预测方式)”或者“帧内预测方式(第二预测方式)”生成预测残差信号。

可变长编码单元27在可变长编码由量子化单元26发送的“量子化正交系数”的同时，根据从混合预测单元24发送的“宏块方式”编码规定的信息，例如表示上述预测方式的选择状况或者运动矢量的信息等，把结果发送给输出单元28。

这里，为表示“内/互方式”，如图8(a)所示那样变更H.263编码方式中的P图像的宏块方式的定义。在图8(a)中作为“MB type＝6，7”的“宏块方式”是为表示“内/互方式”的扩展的部分。

可变长编码单元27参照这样的宏块方式的定义，和“量子化正交系数”一起，可以决定应该多路复用哪个信息(“COD”，“MCBPC”，“CBPY”，“DQUANT”，“MVD”，“MVD2-4”)为压缩位流3。

在图6(a)中，“COD”是表示该宏块是否“跳过”的标志。所谓“跳过”表示该宏块通过原封复制在帧存储器32内存储的参考帧内的同一空间位置的图像再现，不需要追加特别的信息。在“MB type＝未编码”的场合“COD＝1”，可变长编码单元27在该宏块中不多路复用“COD”以外的信息。

“MCBPC”，在该宏块方式中是为合并表示色差信号的“编码块模式信息(coded block patter：CBP)”的语法要素。这里，所谓“编码块模式信息：CBP”指表示在作为DCT变换的单位的子块内应该传送的有意义的系数是否存在的标志。

“CBPY”是在该宏块方式中为合并表示亮度信号的编码块模式信息的语法要素。

“DQUANT”表示该宏块的量子化参数(例如，量子化步骤)的变更值。

“MVD”是运动矢量，“MVD2-4”是在“互4V方式”的场合传送的2到4个运动矢量。

在“内/互方式”中，为对每一子块能够转换“帧内预测方式”和“帧间预测方式”编码，取“COD＝0”，对应DCT系数的分布状况决定“MCBPC”以及“CBPY”，为适用“帧间预测方式”的子块使用传送“MVD”的语法(“MB type＝6或者7”)。

另外，为表示在各子块中的“帧内预测方式”和“帧间预测方式”的选择状况，如图8(b)那样扩展H.263编码方式中的“块层”的语法。

在图8(b)中，“BTYPE”用1位构成，仅在“MB type＝6，7”的场合存在。这里，“BTYPE＝0”表示通过帧内预测方式编码的子块，“BTYPE＝1”表示通过帧间预测方式编码的子块。

“INTRADC”，仅在“MB type＝6，7”的场合且“BTYPE＝0”的场合存在。

如上所述，可变长编码单元27以及输出单元28构成编码并传送每一子块(第二图像块)的预测方式选择状况(预测方式选择信息)以及预测残差信号的传送设备。

混合预测译码单元31根据由混合预测单元24发送的“宏块方式”生成构成在以后的编码处理使用的“参考帧”的“宏块”，把生成的宏块发送给帧存储器32。

具体说，混合预测译码单元31，在选择作为“宏块方式”的“内方式”的场合，在通过“帧内预测”构成该宏块后，把由逆正交变换单元30发送的“预测残差信号”作为构成“参考帧”的“宏块”。

另外，混合预测译码单元31，在选择“互方式”或者“互4V方式”作为“宏块方式”的场合，在通过“帧间预测”构成该宏块后，相加由逆正交变换单元30发送的“预测残差信号”和由运动补偿单元23发送的“预测图像块”，把由此得到的结果作为构成“参考帧”的“宏块”。

另外，混合预测译码单元31，在选择“内/互方式”作为“宏块方式”的场合，给每一子块转换“帧内预测方式”或者“帧间预测方式”之中任何一个适用的预测方式。

这里，混合预测译码单元31，在“帧内预测方式”适用的场合，把由逆正交变换单元30发送的“预测残差信号(子块单位)”作为构成“参考帧”的“子块”。

另一方面，混合预测译码单元31，在“帧间预测方式”适用的场合，相加由逆正交变换单元30发送的“预测残差信号(子块单位)”和由运动补偿单元23发送的“预测图像块(子块单位)”，把由此得到的结果作为构成“参考帧”的“子块”。

图7表示根据本实施例的译码装置40。以下，主要关于根据本实施例的译码装置40说明和依照现有技术的H.263编码方式的译码装置140的不同点。于是，关于不特别说明的点，根据本实施例的译码装置40和依照H.263编码方式的译码装置140相同。

译码装置40，代替现有技术的加法单元146设置混合预测译码单元46，这一点和现有技术的编码装置120的结构不同。

可变长译码单元42在由输入单元41发送的压缩位流3中，从各帧图像的开始，译码每一宏块必需的信息(“量子化正交变换系数”或者“宏块方式”或者“运动矢量”)。

另外，可变长译码单元42把译码后的“量子化正交变换系数”发送给逆量子化单元43，把译码后的“宏块方式”发送给混合预测译码单元46，把译码后的“运动矢量”发送给运动补偿单元45。

另外，可变长译码单元42，在选择“内/互方式”的场合，把每一子块的“预测方式的选择状况”以及“运动矢量”发送给混合预测译码单元46。

如上所述，可变长译码单元42构成预测方式选择信息译码设备，该设备译码“预测方式选择状况(预测方式选择信息)”，该信息表示对于分割分割动画图像的宏块(第一图像块)的子块(第二图像块)单位，适用消除时间方向的冗余度的“帧间预测方式(第一预测方式)”，或者适用削减空间方向的冗余度的“帧内预测方式(第二预测方式)”。

混合预测译码单元46，在作为“宏块方式”选择“内方式”的场合，该宏块在通过帧内预测构成后，把由逆正交变换单元44发送的“预测残差信号”作为构成输出视频信号4的“宏块”。

另外，混合预测译码单元46，在作为“宏块方式”选择“互方式”或者“互4V方式”的场合，该宏块在通过运动补偿帧间预测构成后，相加由逆正交变换单元44发送的“预测残差信号”和由运动补偿单元45发送的“预测图像块”，把由此得到的结果作为构成输出视频信号4的“宏块”。

另外，混合预测译码单元46，在作为“宏块方式”选择“内/互方式”的场合，根据从可变长译码单元42发送的“预测方式选择状况”，给每一子块转换“帧内预测方式”或者“帧间预测方式”之中任何一个使用的预测方式。

这里，混合预测译码单元46，在子块适用“帧内预测方式”的场合，把由逆正交变换单元44发送的“预测残差信号(子块单位)”作为构成输出视频信号4的“子块”。

另一方面，混合预测译码单元46，在子块适用“帧间预测方式”的场合，相加由逆正交变换单元44发送的“预测残差信号(子块单位)”和由运动补偿单元23发送的“预测图像块(子块单位)”，把由此得到的结果作为构成输出视频信号4的“子块”。

再有，混合预测译码单元46，在把通过上述得到的“子块”构成的“宏块”发送给输出单元48的同时，作为构成以后编码中使用的“参考帧”的“宏块”发送给帧存储器47。

如上所述，混合预测译码单元46根据通过预测方式选择状况(预测方式选择信息)选择的“帧间预测方式(第一预测方式)”或者“帧内预测方式(第二预测方式)”，以子块(第二图像块)单位，构成译码输出图像信号(动画图像)4的动画图像译码设备。

(根据第一实施例的动画图像编码传送系统的操作)

参照图9说明关于具有上述结构的动画图像编码传送系统的操作。图9是表示编码装置20的混合预测单元24的处理的流程图。下面，以编码装置20的混合预测单元24的操作为主说明动画图像编码传送系统的操作。

混合预测单元24，如图9所示，在步骤401，把由输入单元21发送的宏块分割成每个为8×8像素的子块。

在步骤402，混合预测单元24，对于每一子块，计算在由输入单元21发送的宏块内的子块和由运动补偿单元23发送的预测图像块内的子块之间的“SAD”。

在步骤403，混合预测单元24比较算出来的SAD和规定的阈值。

在SAD比阈值大的场合，在步骤404，混合预测单元24选择对该子块适用“帧内预测方式”。

另一方面，在SAD比阈值小的场合，在步骤405，混合预测单元24选择对该子块适用“帧间预测方式”。

在步骤406，混合预测单元24判断对该宏块内的全部子块是否进行上述预测方式的选择，在没有进行的场合，返回步骤402，对剩余的子块进行上述预测方式的选择。

在对全部子块进行上述预测方式的选择的场合，混合预测单元24。在步骤407研究该宏块全体的预测方式的选择状况，判断对全部子块是否选择“帧内预测方式”。

在肯定的(YES)的场合，亦即在对全部子块选择“帧内预测方式”的场合，在步骤408，混合预测单元24把该宏块的“宏块方式”设定为“内方式”。

另一方面，在否定(NO)的场合，亦即未对全部子块选择“帧内预测方式”的场合，在步骤409，混合预测单元24研究该宏块全体的预测方式的选择状况，判断对全部子块是否选择“帧间预测方式”。

在肯定的(YES)的场合，亦即在对全部子块选择“帧间预测方式”的场合，在步骤410，混合预测单元24把该宏块的“宏块方式”设定为“互方式”或者“互4V方式”。

这里，取“互方式”或者“互4V方式”中哪一个，应该根据在宏块内运动矢量有无不同决定。

另一方面，在否定(NO)的场合，亦即未对全部子块选择“帧间预测方式”的场合，在步骤411，混合预测单元24把该宏块的“宏块方式”设定为“内/互方式”。

在步骤412，混合预测单元24把给每一宏块决定的“宏块方式”发送给可变长编码单元27以及混合预测译码单元31。

但是，混合预测单元24在作为“宏块方式”设定“内/互方式”的场合，把“宏块方式”、各子块的“预测方式的选择状况”和各子块(帧间预测方式适用的子块)的“运动矢量”发送给可变长编码单元27以及混合预测译码单元31。

采用依照ITU-TH.263的结构说明了根据本实施例的动画图像编码传送系统，但是，本发明不限于此，而可以适用于使用“帧间预测方式(第一预测方式)”以及“帧内预测方式(第二预测方式)”的预测方式、且使用相当宏块(第一图像块)的单位进行编码那样的各种动画图像编码传送系统。

另外，即使对于“内/互方式”，也不限于在本实施例中表示的结构，可以使用表示在宏块(第一图像块)内的各子块(第二图像块)中适用“帧间预测方式”以及“帧内预测方式”哪种方式的各种语法。

同样，关于“BTYPE”也不限于在本实施例中表示的结构，可以使用能够表示在各子块中适用“帧间预测方式”以及“帧内预测方式”哪种方式的各种系统。

另外，在本实施例中，混合预测单元24比较算出的SAD和规定的阈值，选择“宏块方式”，但是，本选择基准不限于本实施例所示结构。

例如，通过各种“宏块方式”尝试实际构成该宏块中的压缩位流3，选择使该位数小的一方的“宏块方式”等，可以使用为选择能够更加高效编码的“宏块方式”的各种选择基准。

(根据第一实施例的动画图像编码传送系统的作用、效果)

使用根据第一实施例的动画图像编码传送系统，因为混合预测单元24可以从子块最适当地生成削减空间方向的冗余度或者时间方向的冗余度的预测残差信号，因此，即使在一个宏块内混存使用帧间预测方式进行编码处理良好的部分和使用帧内预测方式进行编码处理良好的部分的场合，也可以进行高效率的编码处理。

(根据本发明的第二实施例的动画图像编码传送系统的结构)

参照图10以及图11说明根据本发明的第二实施例的动画图像编码传送系统的结构。图10是表示在根据本实施例的动画图像编码传送系统中使用的编码装置60的图，图11是表示在根据本实施例的动画图像编码传送系统中使用的译码装置60的图。

根据本实施例的动画图像编码传送系统具有在依照ITU-TH.26L编码方式、在其上添加为实施本发明所必要的变更的结构。H.26L编码方式在“ITU-T SG16 Q.6VCEG-M81，‘H.26 Test Model Long Term Number(TML-7)draft 0.’”等中记载。

根据本实施例的动画图像编码传送系统与根据上述第一实施例的动画图像编码传送系统比较，在“子块”单位的微小化、运动矢量检测方法的多样化、和采用回路滤波器73及空间预测单元74这几点上有变更。

第一，对于编码装置60说明有关上述“子块”单位的微小化的不同点。在本实施例中，作为正交变换对象的“子块”单位，变成比根据上述实施例的编码装置20的场合的“8×8像素”小的“4×4像素”。因此，预测方式选择的最小单位以及运动矢量的检测的最小单位也成为“4×4像素”的子块。

第二，对于编码装置60说明有关上述运动矢量检测方法的多样化的不同点。

运动检测单元62取4×4像素的子块作为最小单位，进行“运动矢量”的检测。

具体说，运动检测单元62使用在帧存储器72中存储的参考帧，在由输入单元61接收的子块中，进行有关在图12中所示7种运动检测单位(16×16，16×8，8×16，8×8，4×8，8×4，4×4)全部的运动矢量的检测。

另外，运动检测单元62把检测出来的运动矢量和在检测该运动矢量中使用的运动检测单位发送给运动补偿单元63。

运动补偿单元63使用接收的各个运动矢量和在帧存储器72中存储的参考帧生成“预测图像块”。另外，运动补偿单元63把生成的预测图像块和对应该预测图像块的运动检测单位发送给混合预测单元64。

第三，对于编码装置60说明有关上述空间预测单元74的采用的不同点。

空间预测单元74，如图13所示，对于由输入单元61发送的宏块内的每一子块(4×4像素)，通过使用邻接该子块的子块的像素值的几种像素值预测方法进行帧内像素值预测，生成预测图像块。

这里，空间预测单元74，在进行上述帧内像素值预测时，作为上述邻接的子块，需要从正交变换到量子化到逆量子化和到逆正交变换的一系列的处理的子块。因此，在本实施例中，从正交变换到量子化到逆量子化和到逆正交变换的一系列的处理，使用4×4像素的子块进行。

另外，空间预测单元74使用进行上述一系列处理的子块(4×4像素)进行上述的帧内像素值预测。

另外，空间预测单元74把生成的预测图像块和对应该预测图像块的像素值预测方法发送给混合预测单元64以及混合预测译码单元71。

混合预测单元64选择对应在由输入单元61发送的宏块内的子块以及由运动补偿单元63生成的“预测图像块(子块单位)”之间的SAD成为最低的“预测图像块(子块单位)”的运动检测单位。这里，混合预测单元64，对于该子块，适用对应上述运动检测单位的“帧间预测方式”。

另外，混合预测单元64选择对应在由输入单元61发送的宏块内的子块和由空间预测单元74生成的“预测图像块(子块单位)”之间的SAD成为最低的“预测图像块(子块单位)”的像素值预测方法。对于该子块，适用对应上述像素值预测方法的“帧内预测方式”。

这里，混合预测单元64比较“帧间预测方式”适用的场合的第一SAD和“帧内预测方式”适用的场合的第二SAD，对该子块适用SAD小的一方的“预测方式”。

另外，混合预测单元64，对于宏块内的全部子块，例如从左上的块顺次到右下的块像上述那样适用“预测方式”。

此外，如上所述，混合预测单元64，对于宏块内的全部子块，取适用对应上述运动检测单位的“帧间预测方式”或者对应上述像素值预测方法的“帧内预测方式”的场合的“宏块方式”作为“内/互方式”。

另外，混合预测单元64，比较宏块中“内/互方式”或者“互方式”或者“内方式”适用的场合的SAD(由输入单元61发送的宏块之间的SAD)，把SAD成为最低的“宏块方式”作为该宏块的“宏块方式”，发送给可变长编码单元67。

其结果，混合预测单元64，对于每一子块适用“帧间预测方式”或者“帧内像素值预测方式”，可以检索编码效率最好的组合。

在作为“宏块方式”选择“内/互方式”的场合，混合预测单元64，把“宏块方式”、各子块中的“预测方式的选择状况”、和各子块中的“运动矢量”或者“像素值预测方法”发送给可变长编码单元67以及混合预测译码单元71。

混合预测译码单元71，在作为“宏块方式”选择“内/互方式”的场合，而且对该子块选择“帧内像素值预测方式”的场合，相加由空间预测单元74发送的预测图像块和从逆正交变换单元70发送的预测残差信号，将其结果发送给回路滤波器73。

另外，混合预测译码单元71，在作为“宏块方式”选择“内/互方式”的场合，而且对该子块选择“帧间预测方式”的场合，相加由运动补偿单元63发送的预测图像块和从逆正交变换单元70发送的预测残差信号，将其结果经由回路滤波器73发送给帧存储器72。

第四，对于编码装置60说明有关上述回路滤波器73的采用的不同点。

回路滤波器73，对于由混合预测译码单元71发送的结果，以子块单位进行滤波处理，起抑制子块失真等恶化的作用。

另外，在根据本实施例的动画图像编码传送系统中，为表示作为“内/互方式”的“宏块方式”，如图14(a)所示那样变更H.26L编码方式中的P图像的宏块方式的定义。

图14(a)中的“Intra_pred_mode”表示“帧内像素值预测方式”适用的子块中使用的像素值预测方法。

另外，“Ref_frame”表示“帧间预测方式”适用的子块中使用的运动检测单位。

另外，为表示各子块中的“预测方式的选择状况”，如图14(b)那样扩展“Intra_pred_mode”。“INTER_PRED：6”的部分是扩展的部分。

在本实施例中，如图14(a)所示，变更相当于在现有的H.26L编码方式中定义的“内4×4方式”的宏块方式为“内/互方式”。

在现有技术的H.26L编码方式中，在作为宏块方式选择“内4×4方式”的场合，分配“MB type＝7”。

另一方面，根据本实施例的“内/互方式”，如图14(b)所示，在“MBtype＝7”被分配的宏块方式中，在“Intra_pred_mode”上追加一个“INTER_PRED”，以4×4像素的子块单位，不仅可以选择帧内像素值预测方式，而且可以选择帧间预测方式那样定义。

“内/互方式”的定义，不限于上述方法，也可以和“内4×4方式”不同进行。例如，“内/互方式”的定义，也可以根据每一子块的预测方式的选择状况，通过分配各自的宏块方式进行。

其结果，通过“Intra_pred_mode”，可以判别在宏块内的帧内预测方式适用的子块的数目或者帧间预测方式适用的子块的数目。

另外，编码装置68，在“内/互方式”适用的宏块内，通过在关于“MV”和“Ref_frame”等的帧间预测方式的信息之前发送“Intra_pred_mode”，在不需要有关这样的帧间预测的信息的场合，可以不用徒劳地发送“内/互方式”使用的语法。

另外，混合预测单元64，在选择“内/互方式”的场合，为抑制编码运动矢量必要的信息量的增加，也可以给可变长编码单元63和混合预测译码单元71给一个宏块发送一个运动矢量。

另外，混合预测单元64，也可以在邻接现宏块的宏块中，从编码已经结束的宏块(互方式)的运动矢量求预测值，取与该预测值的差作为现宏块的运动矢量。

另外，混合预测单元64，也可以把事前由运动检测单元62检测出来的“互16×16方式”用的运动矢量原封发送给可变长编码单元63和混合预测译码单元71。

另外，混合预测单元24，也可以在由运动检测单元62使用子块单位检测出来的运动矢量中，把出现最多的运动矢量作为现宏块的运动矢量发送给可变长编码单元63和混合预测译码单元71。

其结果，可以选择适合在宏块内通过“帧间预测方式”能够高效进行编码处理的子块的运动矢量，可以提高使用“内/互方式”编码的效率。

图11表示根据本实施例的译码装置80。以下主要关于根据本实施例的译码装置80说明和上述根据第一实施例的译码装置40的不同点。于是，不特别说明的点，根据本实施例的译码装置80和上述根据第一实施例的译码装置40相同。

根据本实施例的译码装置80，设置回路滤波器89以及空间预测单元90，这一点与上述根据第一实施例的译码装置40不同。

回路滤波器89具有和编码装置60的回路滤波器73同样的功能，对于由混合预测译码单元86发送的结果，使用子块单位进行滤波处理，起抑制子块失真等恶化的作用。

空间预测单元90，对于在帧存储器72中存储的参考帧的图像内的每一子块(4×4像素)使用从可变长译码单元82发送的像素值预测方法进行帧内像素值预测，生成预测图像块。

具体说，混合预测译码单元86，在作为“宏块方式”选择“互方式”的场合，在该宏块通过运动补偿帧间预测构成后，相加由逆正交变换单元84发送的“预测残差信号”和由运动补偿单元85发送的“预测图像块”，把由此获得的结果作为构成输出视频信号4的“宏块”。

另外，混合预测译码单元86，在作为“宏块方式”选择“内方式”的场合，在该宏块通过帧内预测构成后，相加由逆正交变换单元84发送的“预测残差信号”和由空间预测单元90发送的“预测图像块”，把由此获得的结果作为构成输出视频信号4的“宏块”。

另外，混合预测译码单元86，在作为“宏块方式”选择“内/互方式”的场合，对于每一个4×4像素的子块，转换使用“帧内预测方式”或者“帧间预测方式”中的一个预测方式。

亦即，混合预测译码单元86，在对该子块适用“帧内像素值预测方式”的场合，把由逆正交变换单元44发送的“预测残差信号(子块单位)”作为构成输出视频信号4的“子块”。

另一方面，混合预测译码单元86，在对该子块适用“帧内像素值预测方式”的场合，相加由逆正交变换单元44发送的“预测残差信号(子块单位)”和由空间预测单元90发送的“预测图像块”，把由此获得的结果作为构成输出视频信号4的“子块”。

混合预测译码单元86，通过这些“子块”，生成构成输出视频信号4的“宏块”。

另外，可变长译码单元82构成预测方式关联信息译码设备，该设备译码为进行第一或者第二预测方式所必需的预测方式关联信息(运动矢量或者像素值预测方法)。

(根据第二实施例的动画图像编码传送系统的操作)

参照图15说明具有上述结构的动画图像编码传送系统的操作。图15是表示编码装置60的混合预测单元64的处理的流程图。下面以编码装置60的混合预测单元64的操作为主说明动画图像编码传送系统的操作。

如图15所示，混合预测单元64，在步骤901，把由输入单元61发送的宏块分割成每个是4×4像素的子块。

在步骤902，混合预测单元64从运动补偿单元63接收通过使用多个运动检测单位的运动补偿帧间预测生成的多个预测图像块(子块单位)，从空间预测单元74接收通过使用多个像素值预测方法的帧内像素值预测生成的多个预测图像块(子块单位)。

在步骤903，混合预测单元64从来自运动补偿单元63的多个预测图像块(子块单位)中，选择和在由输入单元61发送的宏块内的子块之间的第一SAD成为最低的预测图像块。

另外，混合预测单元64从来自空间预测单元74的多个预测图像块(子块单位)中，选择和在由输入单元61发送的宏块内的子块之间的第二SAD成为最低的预测图像块。

在步骤904，混合预测单元64对于每一子块比较上述第一SAD和第二SAD，在第一SAD小的场合，在步骤905，设定该子块的预测方式为“帧间预测方式”，在第二SAD小的场合，在步骤906，设定该子块的预测方式为“帧内像素值预测方式”。

在步骤907，混合预测单元64判断对该宏块内的全部子块是否进行了上述选择，在没有进行的场合，返回到步骤902，对剩余的子块进行上述预测方式的选择。

在对全部子块进行了上述预测方式的选择的场合，混合预测单元64在步骤908，比较作为在该宏块全体中的SAD的合计值的“内/互方式”中的SAD和根据由运动补偿单元63发送的运动补偿帧间预测的预测图像块的SAD和根据由空间预测单元74发送的帧内像素值预测的预测图像块的SAD。

于是，混合预测单元64，把SAD成为最低的预测方式作为该宏块的“宏块方式”适用。

在步骤909，混合预测单元64把该“宏块方式”发送给可变长编码单元67以及混合预测译码单元71。

这里，在作为“宏块方式”选择“内/互方式”的场合，混合预测单元64给可变长编码单元67以及混合预测译码单元71发送“宏块方式”、各子块中的“预测方式的选择状况”、“运动矢量”或者“像素值预测方法”。

采用依照ITU-T H.26L的结构说明了根据本实施例的动画图像编码传送系统，但是，本发明不限于此，而可以适用于使用“帧间预测方式(第一预测方式)”以及“帧内预测方式(第二预测方式)”的预测方式、且使用相当宏块(第一图像块)的单位进行编码那样的各种动画图像编码传送系统。

另外，即使对于“内/互方式”，也不限于在本实施例中表示的结构，可以使用表示在宏块(第一图像块)内的各子块(第二图像块)中适用“帧间预测方式”以及“帧内预测方式”哪种方式的各种语法。

例如，也可以使用和“内4×4方式”不同的新的“内/互方式”。在这种场合，在宏块内的各子块的预测方式选择状况全部是“帧内像素值预测方式”的场合，对该宏块适用“内4×4方式”。另一方面，在这种场合，在宏块内的各子块的预测方式选择状况包含“帧间预测方式”的场合，对该宏块适用“内/互方式”。

此时，在“内4×4方式”中，把表示预测方式选择状况的“Intra_pred_mode”作为在现有技术的H.26L编码方式中使用的无扩展表。另一方面，在“内/互方式”中，把表示预测方式选择状况的“Intra_pred_mode”作为如图14(b)所示那样的进行过扩展的表，或者省略关于“INTER_PRED”以外的“帧内预测方式”的项目的一部分的表。其结果，可以高效率地发送使用“内4×4方式”以及“内/互方式”的语法。

同样，即使在“Intra_pred_mode”中，不限于在本实施例中表示的结构，可以使用能够表示在各子块(第二图像块)中适用“帧间预测方式”以及“帧内预测方式”哪种方式的各种语法。

此外，在本实施例中，混合预测单元64比较算出的SAD和规定的阈值，选择“宏块方式”，但是，本选择基准不限于本实施例所示结构。

例如，通过各种“宏块方式”尝试实际构成该宏块中的压缩位流3，选择使该位数小的一方的“宏块方式”等，可以使用为选择能够更加高效编码的“宏块方式”的各种选择基准。

(根据第二实施例的动画图像编码传送系统的作用、效果)

使用根据第二实施例的动画图像编码传送系统，因为混合预测单元64可以从子块最适当地生成削减空间方向的冗余度或者时间方向的冗余度的预测残差信号，因此，即使在一个宏块内混存使用帧间预测方式进行编码处理良好的部分和使用帧内预测方式进行编码处理良好的部分的场合，也可以进行高效率的编码处理。

(根据本发明的第三实施例的动画图像编码传送系统的结构)

参照附图说明根据本发明的第三实施例的动画图像编码传送系统的结构。根据本发明的第三实施例的动画图像编码传送系统和本发明的第二实施例的场合同样，依照ITU-T H.26L编码方式、具有在其上添加为实施本发明所必要的变更的结构。根据本实施例的动画图像编码传送系统的结构，和第二实施例的场合相同，由图10以及图11表示。

根据本实施例的动画图像编码传送系统与根据第二实施例的动画图像编码传送系统比较，在以下几点进行变更。

第一，根据本实施例的动画图像编码传送系统，作为对作为“预测方式”适用“帧间预测方式”还是适用“帧内预测方式”的选择单位的“子块”，不是作为正交变换的单位的“4×4像素的块单位”，而取图12所示的“运动检测单位”，这一点有所变更。

第二，根据本实施例的动画图像编码传送系统，变更定义为对于这样的子块单位选择适用“帧间预测方式”或者“帧内预测方式”所需要的语法这一点。

下面，在根据本实施例的编码装置60中，只说明和上述根据第二实施例的编码装置60不同的点，不特别说明的地方，和上述根据第二实施例的编码装置60相同。

另外，因为和上述“子块”的单位的不同，在本实施例的说明中，把和第二实施例的场合不同、作为正交变换单位的4×4像素块，不称为“子块”，而称为“正交变换块”。

在根据本实施例的编码装置60中，运动检测单元62，在图12中所示7种运动检测单位(16×16，16×8，8×16，8×8，4×8，8×4，4×4)、亦即“子块”单位中，把“运动矢量”检测作为在各“预测方式(亦即对应图12所示运动检测单位)”中的“运动矢量”发送给运动补偿单元63。

运动补偿单元63把由运动检测单元62发送的“运动矢量”适用于在帧存储器72中存储的参考帧，生成“预测图像块(子块单位)”，发送给混合预测单元64。

空间预测单元74，如图11所示，对于由输入单元61发送的宏块内的每一“正交变换块(4×4像素)”，通过使用邻接该正交变换块的正交变换块的像素值的几种像素值预测方法进行帧内像素值预测，生成预测图像块(子块单位)，发送给混合预测单元64。

空间预测单元74，对于在一个子块内包含的全部正交变换块进行上述预测图像块的生成，使和由输入单元61接收的子块的SAD成为最小那样选择像素值预测方法。

这里，空间预测单元74，对于宏块全体(16×16像素)也通过使用邻接该宏块的宏块的像素值的几种像素值预测方法进行帧内像素值预测，生成预测图像块。    

空间预测单元74，给混合预测单元64，代替发送使用上述选择的像素值预测方法生成的预测图像块(子块单位)，可以发送表示上述像素值预测方法的识别信息。

邻接上述正交变换块的正交变换块，因为需要进行从正交变换到量子化到逆量子化和到逆正交变换一系列的处理，空间预测单元74使用这一系列处理结束的正交变换块进行上述的帧内像素值预测。

这样的场合，在邻接的正交变换块包含在相同的宏块内的场合，是不确定在邻接的正交变换块中使用的预测方式的场合。

在这样的场合，也可以使用对于该邻接的正交变换块成为候补的预测方式，进行上述的编码以及译码处理。或者，在邻接的正交变换块被包含在相同的宏块内的场合，也可以认为邻接的正交变换块在宏块外，进行帧内像素值预测。

混合预测单元64把由输入单元61发送的宏块分割为“子块(运动检测单位)”，对于每一子块适用“帧间预测方式”或者“帧内预测方式”，检索编码效率最好的组合。

具体说，混合预测单元64，如以下那样，顺次检查对应图12所示7种运动检测单位的“预测方式”。

混合预测单元64，对于各预测方式中的各子块计算由运动补偿单元63发送的通过运动补偿帧间预测的“预测图像块(子块单位)”以及由由空间预测单元74发送的帧内像素值预测的“预测图像块(正交变换块单位)”的SAD(和由输入单元61发送的宏块内的子块间的SAD)，取SAD小的一方的预测方法(运动补偿帧间预测或者帧内像素值预测)作为该子块的预测方法。

对于根据使用该预测方法的预测图像子块生成的“预测残差信号(子块单位)”，进行从正交变换到量子化到逆量子化和到逆正交变换一系列的编码以及译码处理。对于宏块内的(从左上的子块顺次到右下的子块)全部子块进行上述处理。

混合预测单元64，在对宏块内的全部子块进行上述处理后，把该宏块全体中的SAD的合计值作为在对应各运动检测单位的“宏块方式(互16×16方式等)”中的SAD保持。然后，混合预测单元64对于对应尚未进行检查的运动检测单位的“宏块方式(互16×16方式等)”同样进行上述处理。

混合预测单元64，在对于对应全部运动检测单位的“宏块方式”进行上述处理后，比较保持的对于各“宏块方式”的SAD。

然后，混合预测单元64，把使SAD成为最低的“宏块方式”作为使用该宏块的帧间预测的“宏块方式(互16×16等)”，保持该SAD。

然后，混合预测单元64，比较进行运动补偿帧间预测的场合的第一SAD和对于由空间预测单元74发送的该宏块全体进行帧内像素值预测的场合的第二SAD。

混合预测单元64最终把SAD成为最低的宏块方式作为该宏块的“宏块方式”，把该“宏块方式”发送给可变长编码单元67和混合预测译码单元71。

在作为“宏块方式”选择“互方式”的场合，混合预测单元64给可变长编码单元67和混合预测译码单元71发送“宏块方式”、各子块中的“预测方式的选择状况”、“运动矢量”或者“像素值预测方法”。

混合预测译码单元71，在作为“宏块方式”选择“互方式”的场合，而且在给该子块选择“帧间预测方式”的场合，相加由运动补偿单元63发送的“预测图像块(子块单位)”和“预测残差信号(子块单位)”，把结果发送给回路滤波器73。

另外，混合预测译码单元71，在作为“宏块方式”选择“互方式”的场合，而且在给该子块选择“帧内像素值预测方式”的场合，相加由空间预测单元74发送的“预测图像块(子块单位)”和“预测残差信号(子块单位)”，将结果经由回路滤波器73发送给帧存储器72。

回路滤波器73，对于由混合预测译码单元71发送的结果使用子块单位进行滤波处理，可以起抑制子块失真等恶化的作用。

在根据本实施例的动画图像编码传送系统中，因为在宏块内混存“帧间预测方式”和“帧内像素值预测方式”，因此要如下那样扩展“互方式”的语法。

具体说，在根据本实施例的动画图像编码传送系统中，在作为“宏块方式”选择“互方式”的场合，为表示在该子块中的“帧间预测方式”和“帧内像素值预测方式”的选择状况，如图16以及图17所示扩展在H.26L编码方式中的P图像的宏块方式中的“Ref_frame”以及语法的定义。

在图16(a)中，表示现有技术的H.26L的P图像的宏块方式中的语法的定义。在图16(a)中，“Intra_pred_mode”，在现有技术的H.26L编码方式中选择“内4×4方式，，的场合，表示在各正交变换块中选择的预测方法(运动补偿帧间预测或者帧内像素值预测)。

“Ref_frame”在H.26L编码方式中，因为使用运动补偿帧间预测、使用多个参考帧可以检测“运动矢量”，因此在宏块中，表示使用哪个参考帧。

“MVD”表示运动矢量的差分信息，“Texture Codin Suntax”表示上述以外的正交变换系数等的信息。

图16(a)表示的语法如图16(b)那样扩展。“Ref_frame”决定只传送通过由“MB_type”指示的“宏块方式”判别的子块的数目。

为此如图17扩展“Ref_frame”的定义。在图17中，取最大参考帧数为“5”，表示“5”的代码的下一个代码表示“帧内预测方式”。

在H.26L编码方式中，最大参考帧数是可变的，可以取“5”以外的值。这里，最大参考帧数，在编码装置60以及译码装置80中已知，另外，在实际的应用程序中，也可以考虑事先传送同样的设定信息。

因此，在表示“帧内预测方式”的代码中，如果决定分配表示最大参考帧数的代码的下一个代码的话，则可以不管最大参考帧数，把扩展的“Ref_frame”在编码装置60以及译码装置80中唯一定义。

其结果，在选择“互方式”的宏块中，可以混存“帧间预测方式”和“帧内像素值预测方式”。

另外，在根据“Ref_frame”判别“帧间预测方式”或者“帧内预测方式”的选择状况后，在决定先于“Intra_pred_mode”传送“Ref_frame”的同时，“Intra_pred_mode”，在通过“Ref_frame”指示存在“帧内预测方式”的子块的场合，决定只传送由“Ref_frame”指示的“帧内预测方式”的子块的数目。

通过先行发送“Ref_frame”，在不需要关于“MVD”等帧间预测方式的信息或者关于“Intra_pred_mode”等帧内像素值预测方式的信息的场合，也可以不用徒劳地发送各自的语法。

此外，在这一场合，和现有技术的H.26L编码方式的场合不同，给每一子块传送“Ref_frame”。

因此，不仅可以给每一子块选择“帧间预测方式”和“帧内像素值预测方式”，而且可以给每一子块选择在现有技术的H.26L编码方式的场合给每一宏块选择的参考帧。

根据本实施例的译码装置80的结构，代替使用4×4像素的子块，除使用作为运动检测单位的子块外，和根据第二实施例的译码装置80相同。

(根据第三实施例的动画图像编码传送系统的操作)

参照图18说明关于具有上述结构的动画图像编码传送系统的操作。图18是表示在本实施例中的编码装置60的混合预测单元64的处理的流程图。下面，以编码装置60的混合预测单元64的操作为主，说明动画图像编码传送系统的操作。

混合预测单元64，如图15所示，在步骤1501把由输入单元61发送的宏块分割成各子块(对应运动检测单位)。

在步骤1502，混合预测单元64从运动补偿单元63接收使用帧间预测的预测图像块，从空间预测单元74接收使用帧内像素值预测的预测图像块。

在步骤1503，混合预测单元64计算由输入单元61发送的宏块和使用帧间预测的预测图像块之间的第一SAD，以及由输入单元61发送的宏块和使用帧内像素值预测的预测图像块之间的第二SAD。

在步骤1504，混合预测单元64，对于每一子块比较上述第一SAD和第二SAD，在第一SAD小的场合，在步骤1505设定该子块的预测方式为“帧间预测方式”，在第二SAD小的场合，在步骤1506，设定该子块的预测方式为“帧内像素值预测方式”。

在步骤1507，混合预测单元64，对于该宏块的全部的子块，判断是否进行预测方式的选择，在未进行的场合，返回到步骤1502，对于剩余的子块进行预测方式的选择。

在对于全部子块进行预测方式的选择的场合，混合预测单元64在步骤1508，对于该宏块，对于全部宏块方式(互16×16方式等)，判断是否进行上述选择，在未进行的场合，返回到步骤1501，对于剩余的宏块方式进行上述的预测方式的选择。

在对于全部子块以及全部宏块方式进行预测方式的选择的场合，混合预测单元64在步骤1509对于各宏块方式比较在该宏块全体上的SAD的合计值。

另外，混合预测单元64也比较在通过空间预测单元74对于宏块全体(16×16像素)进行帧内像素值预测的场合(内方式)的SAD。

然后，混合预测单元64，作为该宏块的“宏块方式”，适用SAD成为最低的“宏块方式”。

在步骤1510，混合预测单元64把该“宏块方式”发送给可变长编码单元67和混合预测译码单元71。

这里，在选择包含作为“宏块方式”的“帧内预测方式”的子块的“互方式”的场合，混合预测单元64把“宏块方式”、各子块中的“预测方式的选择状况”、“运动矢量”或者“像素值预测方法”发送给可变长编码单元67和混合预测译码单元71。

采用依照ITU-T H.26L的结构说明了根据本实施例的动画图像编码传送系统，但是，本发明不限于此，而可以适用于使用“帧间预测方式(第一预测方式)”以及“帧内预测方式(第二预测方式)”的预测方式、且使用相当宏块(第一图像块)的单位进行编码那样的各种动画图像编码传送系统。

另外，即使对于在各子块中的“帧间预测方式”以及“帧内预测方式”的判别方法，也不限于在本实施例中表示的结构，可以使用表示在宏块(第一图像块)内的各子块(第二图像块)中适用“帧间预测方式”以及“帧内预测方式”哪种方式的各种语法。

关于在各子块中的“帧间预测方式”以及“帧内预测方式”的判别方法，如本实施例中的“Ref_frame”，可以考虑在使用子块单位传送的各种信息上重叠传送。

例如，在使用运动矢量差分信息(MVD)、该子块是“帧内预测方式”的场合，可以使用特别的矢量值或者差分矢量值指示。

另外，也可以定义给每一子块传送的新的信息、传送和“Ref_frame”或“MVD”不同的“帧间预测方式”或“帧内预测方式”的判别信息。

另外，给“MVD”的编码代码设定特别的代码，亦即跳出符号，在传送它的场合也可以指示是“帧内预测方式”。

此外，在本实施例中，在作为宏块方式选择“互方式”的场合，可能有在全部的子块内选择“帧内预测方式”的场合。

这样的场合的编码结果，因为“像素值预测方法”等的信息不同，因此不一定和选择作为宏块方式的“内方式”的场合相同。

因此，也可以许可存在这样的“宏块方式”。

但是，在这种场合，存在多个使用在预测方法(运动补偿帧间预测或者帧内像素值预测)中没有变化的帧内预测的宏块方式。

为防止这样的事态发生，也可以禁止所有的子块成为“帧内预测方式”的“互方式”，或者禁止作为宏块方式的“内方式”等，使避免存在多个使用帧内预测的宏块方式。

(根据第三实施例的多路传送装置的作用、效果)

使用根据第三实施例的动画图像编码传送系统，因为混合预测单元64可以从子块最适当地生成削减空间方向的冗余度或者时间方向的冗余度的预测残差信号，因此，即使在一个宏块内混存使用帧间预测方式进行编码处理良好的部分和使用帧内预测方式进行编码处理良好的部分的场合，也可以进行高效率的编码处理。

(其它)

此外，用于在计算机上实现根据上述实施例1到3的编码装置20及60、译码装置40及80的功能的程序，可以记录在计算机可读的记录介质上。该计算机可读记录介质如图19所示，例如可以举出软盘101、光盘102、IC芯片103、磁带104等。使用这样的记录程序的计算机可读记录介质，可以容易地进行程序的保存、搬运、销售等。

产业上的利用可能性

如上所述，使用本发明，不改变宏块的框架，在一个宏块内进行预测方式的转换，可以混存使用帧间预测方式进行编码处理的部分和使用帧内预测方式进行编码处理的部分。