动态画像编码方法及装置、动态画像解码方法及装置

摘要

本发明提供一种动态画像编码装置及方法和动态画像解码装置及方法。动态画像编码装置具备：运动补偿编码部(107)，决定编码对象块的编码方式，根据该编码方式来生成预测图像数据；和直接方式可否判定部(109)，在该运动补偿编码部(107)决定的编码方式是时间性直接方式的情况下，判定可否进行缩放处理，在判定为不能进行缩放处理的情况下，使用其它编码方式、或不进行缩放处理来进行运动补偿。

说明书

本申请是申请日为2003年10月6日，申请号为200380100078.0，发明创造名称为画像编码方法及装置、画像解码方法及装置的申请的分案申请。

技术领域

本发明涉及通过帧结构或场结构来对构成动态图像的各图像进行编码和解码的动态图像编码方法和动态图像解码方法、动态图像编码装置、动态图像解码装置、以及用于通过软件来实施其的程序。

背景技术

在动态图像编码中，一般利用动态图像所具有的空间方向和时间方向的冗余性来进行信息量的压缩。这里，作为利用时间方向的冗余性的方法，使用图像间预测编码。在图像间预测编码中，在编码某个图像时，将显示时间顺序上位于前方或后方的图像设为参照图像。另外，通过检测来自该参照图像的运动量，并对进行运动补偿后的图像与编码对象的图像的差分值去除空间方向的冗余性，来进行信息量的压缩。

在当前标准化中的称为H.264的动态图像编码方式中，将不具有参照图像、仅使用编码对象图像来进行图像内预测编码的图像称为I图像。这里，所谓图像是指包含帧和场两者的1个编码单位。另外，将参照已处理完的1个图像来进行图像间预测编码的图像称为P图像，将同时参照已处理完的2个图像来进行图像间预测编码的图像称为B图像。

图1是表示上述动态图像编码方式中各图像预测关系的模式图。图1中，竖线表示1个图像，在各图像的右下方示出图像类型(I、P、B)。另外，图1的箭头表示位于箭头始端的图像将位于箭头终端的图像用作参照图像来进行图像间预测编码。例如，从开头数第2个的B图像将开头的I图像与从开头数第4个的P图像用作参照图像来进行编码。

在H.264方式下，在B图像的编码中可选择所谓直接方式的编码方式。在该直接方式中有时间性方法和空间性方法两种方法。在时间性直接方式中，编码对象块自身不具有运动矢量，将编码完的其它图像的运动矢量作为参照运动矢量，根据图像间的显示时间性位置关系来进行缩放处理，从而预测并生成编码对象块中使用的运动矢量(例如参照日本专利特开平11-75191号公报)。

图2是表示时间性直接方式中运动矢量的预测生成方法的模式图，P表示P图像，B表示B图像，附加于图像类型的数字表示各图像的显示顺序。另外，各图像P1、B2、B3、P4分别具有显示顺序信息T1、T2、T3、T4。这里，说明以时间性直接方式来编码图2所示的图像B3的块BL0的情况。

此时，利用显示时间上位于图像B3附近的作为已编码完图像的图像P4中的、与块BL0位于相同位置的块BL1的运动矢量MV1。该运动矢量MV1是编码块BL1时使用的运动矢量，参照图像P1。此时，编码块BL0时使用的运动矢量对于图像P1而言变为运动矢量MV_F，对于图像P4而言变为运动矢量MV_B。此时，若将运动矢量MV1的大小设为MV，将运动矢量MV_F的大小设为MVf，将运动矢量MV_B的大小设为MVb，则分别由式1a、式1b得到MVf、MVb。

MVf＝(T3-T1)/(T4-T1)×MV  …(式1a)

MVb＝(T3-T4)/(T4-T1)×MV  …(式1b)

使用如此通过根据运动矢量MV1来进行缩放处理得到的运动矢量MV_F、运动矢量MV_B，根据作为参照图像的图像P1和图像P4来进行块BL0的运动补偿。

另一方面，在空间性直接方式中，与时间性直接方式一样，编码对象块自身不具有运动矢量，参照编码对象块的空间上位于周围的编码完块所具有的运动矢量，并使用该运动矢量来进行编码。

图3是表示空间性直接方式中运动矢量的预测生成方法的模式图，P表示P图像，B表示B图像，附加于图像类型的数字表示各图像的显示顺序。这里，说明以空间性直接方式来编码图3所示的图像B3的块BL0的情况。

此时，决定包含作为编码对象的块BL0的周围3像素A、B、C的编码完成的块各自的运动矢量MVA1、MVB1、MVC1中、参照了显示时间上距编码对象图像最近的已编码的图像的运动矢量，作为编码对象块的运动矢量的候选。在该决定的运动矢量为3个的情况下，选择其中央值作为编码对象块的运动矢量。另外，在2个的情况下，求出其平均值，设为编码对象块的运动矢量。另外，在仅为1个的情况下，将该运动矢量设为编码对象块的运动矢量。在图3所示的实例中，参照图像P2来求出运动矢量MVA1、MVC1，参照图像1来求出运动矢量MVB1。从而，求出参照显示时间上距编码对象图像最近的作为某个已编码图像的图像P2的运动矢量MVA1、MVC1的平均值，设为作为编码对象块的第1个运动矢量的MV_F。求出作为第2个运动矢量的MV_B的情况也一样。

但是，在H.264编码方式下，除对逐行图像(フログレツシブ画像)按帧原样帧编码1个图像外，对于交错图像，允许使用将所使用的1个图像分成顶部场、底部场的两个场来进行编码的场编码。

图4是表示交错(インタ一レ一ス)图像及逐行图像中场具有的显示顺序信息的模式图，具有相同帧序号的两条竖线分别表示场。在交错图像中，如图4(a)所示，分配显示顺序信息，使顶部场与底部场变为等间隔。另一方面，在逐行图像中，如图4(b)所示，通过使两个场具有相同的显示顺序信息，可表现正确的显示顺序关系。下面，将属于相同帧的两个场具有相同的显示顺序信息的图像称为逐行图像，将不是这样的图像称为交错图像，但不限于此，对任何图像都可使属于相同帧的两个场具有相同的显示顺序信息。

因此，在交错图像和逐行图像中进行场编码时，若选择时间性直接方式，则使用各场具有的显示顺序信息，使用背景技术中说明的方法，缩放运动矢量。此时，存在参照的两个图像成为属于相同帧的顶部场与底部场的情况。下面，将该情况分为交错图像和逐行图像各自的情况来进行说明。

图5是表示在交错图像中的时间性直接方式的运动矢量的预测生成方法的模式图，P表示P图像，B表示B图像，附加于图像类型的数字表示各图像的显示顺序。这里，说明以时间性直接方式来场编码图5所示的图像B2的块BL0的情况。

此时，利用作为图像B2的后方参照图像的图像P3中的、与块BL0位于相同位置的块BL1的运动矢量MV1。该运动矢量MV1是编码块BL1时使用的运动矢量，参照相同图像P3的顶部场。此时，可由上述式1a、式1b如下所示求出编码块BL0时使用的运动矢量MV_F、运动矢量MV_B。

MVf＝(4-5)/(6-5)×MV＝-MV

MVb＝(4-6)/(6-5)×MV＝-2MV

图6是表示在逐行图像中的时间性直接方式下的运动矢量的预测生成方法的模式图，P表示P图像，B表示B图像，附加于图像类型的数字表示各图像的显示顺序。这里，说明以时间性直接方式来场编码图6所示的图像B2的块BL0的情况。

此时，利用作为图像B2的后方参照图像的图像P3中的、与块BL0位于相同位置的块BL1的运动矢量MV1。该运动矢量MV1是编码块BL1时使用的运动矢量，参照相同图像P3的顶部场。此时，如下所示，分母变为0，故不能由上述式1a、式1b求出编码块BL0时使用的运动矢量MV_F、运动矢量MV_B。

MVf＝(3-5)/(5-5)×MV  不能运算

MVb＝(3-5)/(5-5)×MV  不能运算

这样，在逐行图像中进行场编码时，选择时间性直接模式、参照的两个图像是属于相同帧的顶部场与底部场的情况下，不能通过缩放处理(スケ一リング処理)来预测并生成运动矢量。

同样，在交错图像和逐行图像中进行场编码时，若被选择空间性直接模式，则使用各场所具有的显示顺序信息，确定将参照了下述图像的运动矢量，作为编码对象块的运动矢量的候选，该图像为如上所述在显示时间上距编码对象图像最近的已被编码的图像。此时，存在运动矢量参照的图像成为属于相同帧的顶部场与底部场的情况。

图7是表示在逐行图像中的空间性直接方式下的运动矢量的预测生成方法的模式图，P表示P图像，B表示B图像，附加于图像类型的数字表示各图像的显示顺序，最后附加的T表示顶部场，B表示底部场。这里，说明以空间性直接方式来场编码图7所示的图像B3_T的块BL0的情况。

此时，包含作为编码对象的块BL0周围的3个像素A、B、C的编码完成的块各自的运动矢量MVA1、MVB1、MVC1分别参照场P2_T、P1_B、P2_B。其中，因为场P2_T、P2_B是属于相同帧的顶部场与底部场，所以具有相同的显示顺序信息。从而，不能特定场P2_T、P2_B中哪个在显示时间上距编码对象图像最近。因此，不能预测并生成编码对象块的运动矢量。

发明内容

因此，本发明鉴于上述情况作出，其目的在于提供一种动态图像编码方法和动态图像解码方法等，其能在对动态图像进行场编码和解码的情况下，即使被选择直接模式，也可确实求出运动矢量。

为了实现上述目的，根据本发明的动态画像编码方法，以时间性直接方式对构成动态画像的图像进行编码，其特征在于，包含以下步骤：编码方式判定步骤，判定是否对处理对象块进行场编码；缩放判定步骤，在所述处理对象块参照的2个图像，即包含位于与所述处理对象块相同的位置上的同位置块的图像和作为所述同位置块的运动矢量的参照运动矢量所参照的参照图像各自的显示顺序信息相同的情况下，判定判断为不能进行所述参照运动矢量的缩放处理；以及运动补偿步骤，在所述编码方式判定步骤中判定对处理对象块进行场编码，并且在所述缩放判定步骤中判定为不能进行所述缩放处理的情况下时，不进行所述缩放处理而使用值为0预定值的动态运动矢量进行所述处理对象块的运动补偿，在所述编码方式判定步骤中没有判定对处理对象块进行场编码，以及在所述编码方式判定步骤中判定对处理对象块进行场编码并且在所述缩放判定步骤中没有判定为不能进行所述缩放处理的情况下，使用通过进行所述参照运动矢量的缩放处理生成的运动矢量进行所述处理对象块的运动补偿。

根据本发明的动态画像编码装置，以时间性直接方式对构成动态画像的图像进行编码，其特征在于，具备：缩放判定部，在处理对象块参照的2个图像，即包含位于与所述处理对象块相同的位置上的同位置块的图像和作为所述同位置块的运动矢量的参照运动矢量所参照的参照图像各自的显示顺序信息相同的情况下，判定为不能进行所述参照运动矢量的缩放处理；以及运动补偿部，在所述缩放判定部判定为不能进行所述缩放处理的情况下，不进行所述缩放处理而使用值为0的运动矢量进行所述处理对象块的运动补偿，在所述缩放判定部没有判定为不能进行所述缩放处理的情况下，使用通过进行所述参照运动矢量的缩放处理生成的运动矢量进行所述处理对象块的运动补偿。

并且，也可以是，在所述缩放判定步骤中，在包含所述同位置块的图像和所述参照图像是具有相同显示顺序信息的顶部场与底部场的情况下，判定为不能进行所述缩放处理。

由此，通过时间性直接模式，即通过将显示时间上位于附近的编码完的图像具有的运动矢量作为参照运动矢量，根据参照图像间的显示时间上的位置关系，进行参照运动矢量的缩放处理，由此预测并生成处理对象块的运动矢量，来进行编码时，即使不能进行缩放处理，也可进行变更编码方式等的处理，来编码处理对象块。

在根据位于处理对象块的空间上周边的已被编码的块具有的运动矢量中、参照显示时间上距处理对象图像最近的已被编码图像的运动矢量，通过预测生成处理对象块的运动矢量的空间性直接方式进行编码的情况下，即使不能根据图像具有的显示顺序信息来预测并生成运动矢量，也可进行决定距编码对象图像最近的图像的处理，从而能预测并生成运动矢量，编码处理对象块。

另外，根据本发明的动态画像解码方法，以时间性直接方式对构成动态画像的图像进行解码，其特征在于，包含以下步骤：缩放判定步骤，在处理对象块参照的2个图像，即包含位于与所述处理对象块相同的位置上的同位置块的图像和作为所述同位置块的运动矢量的参照运动矢量所参照的参照图像各自的显示顺序信息相同的情况下，判定为不能进行所述参照运动矢量的缩放处理；以及运动补偿步骤，在所述缩放判定步骤中判定为不能进行所述缩放处理的情况下，不进行所述缩放处理而使用值为0的运动矢量进行所述处理对象块的运动补偿，在所述缩放判定步骤中没有判定为不能进行所述缩放处理的情况下，使用通过进行所述参照运动矢量的缩放处理生成的运动矢量进行所述处理对象块的运动补偿。

根据本发明的动态画像解码装置，以时间性直接方式对构成动态画像的图像进行解码，其特征在于，具备：缩放判定部，在处理对象块参照的2个图像，即包含位于与所述处理对象块相同的位置上的同位置块的图像和作为所述同位置块的运动矢量的参照运动矢量所参照的参照图像各自的显示顺序信息相同的情况下，判定为不能进行所述参照运动矢量的缩放处理；以及运动补偿部，在所述缩放判定部判定为不能进行所述缩放处理的情况下，不进行所述缩放处理而使用值为0的运动矢量进行所述处理对象块的运动补偿，在所述缩放判定部没有判定为不能进行所述缩放处理的情况下，使用通过进行所述参照运动矢量的缩放处理生成的运动矢量进行所述处理对象块的运动补偿。

并且，也可以是，在所述缩放判定步骤中，在包含所述同位置块的图像和所述参照图像是具有相同显示顺序信息的顶部场与底部场的情况下判定为不能进行所述缩放处理。

从而，无论抽取出的编码时的编码方式是否是时间性直接方式，都可在不能进行缩放处理的情况下，进行变更解码方式等的处理，解码处理对象块。

在通过空间性直接方式进行解码的情况下，即使不能根据图像具有的显示顺序信息来预测并生成运动矢量，也可进行决定距解码对象图像最近的图像的处理，从而能预测并生成运动矢量，解码处理对象块。

并且，本发明不仅可以实现这种动态图像编码方法和动态图像解码方法，还可实现具备这种动态图像编码方法和动态图像解码方法包含的特征步骤将其作为手段的动态图像编码装置和动态图像解码装置，也可实现作为在计算机中使这些步骤执行的程序。另外，不用说，这种程序也可经CD-ROM等记录媒体或因特网等传输媒体来配送。

另外，本发明的动态图像编码方法可成为下述的(1)～(11)中任一种结构。

(1)一种通过帧结构或场结构来编码构成动态图像的各图像的方法，包含以下步骤：运动矢量算出步骤，参照已被编码的图像，从而对构成图像的每个块算出运动矢量；方式决定步骤，决定处理对象块的编码方式；缩放判定步骤，在所述方式决定步骤所决定的编码方式是如下编码方式的情况下，即在将显示时间上位于附近的编码完图像所具有的运动矢量作为参照运动矢量，根据参照图像间的显示时间上位置关系，进行所述参照运动矢量的缩放处理，由此预测并生成该处理对象块的运动矢量的编码方式的情况下，判定可否预测并生成该处理对象块的运动矢量；和运动补偿步骤，根据所述缩放判定步骤的判定结果，将在所述方式决定步骤所决定的编码方式不变地或更新地进行使用，由此进行运动补偿。

(2)在所述缩放判定步骤中，当所述缩放处理中参照的两个图像具有的显示顺序信息相同的情况下，判断为不能通过进行所述缩放处理来预测并生成该处理对象块的运动矢量。

(3)在所述缩放判定步骤中，在所述缩放处理中参照的两个图像是属于同一帧的顶部场与底部场、所述两个场都具有相同的显示顺序信息的情况下，判断为不能通过进行所述缩放处理来预测并生成该处理对象块的运动矢量。

(4)在所述运动补偿步骤中，在所述缩放判定步骤中被判定为不能生成所述运动矢量的情况下，变更为使用在所述运动矢量算出步骤中算出的该处理对象块的运动矢量来进行编码的编码方式，从而进行运动补偿。

(5)在所述运动补偿步骤中，在所述缩放判定步骤中被判定为不能生成所述运动矢量的情况下，不进行所述缩放处理，而将该处理对象块的所述预测并生成的运动矢量作为预先被设定的预定值的矢量，使用在所述方式决定步骤决定的编码方式来进行运动补偿。

(6)所述预定的矢量的至少一个为0矢量，在所述运动补偿步骤中，在所述缩放判定步骤中被判定为不能生成所述运动矢量的情况下，不进行所述缩放处理，而将该处理对象块的所述预测并生成的运动矢量的至少一个作为0矢量，使用所述方式决定步骤决定的编码方式来进行运动补偿。

(7)在所述运动补偿步骤中，在所述缩放判定步骤中被判定为不能生成所述运动矢量的情况下，变更为根据位于该处理对象块的空间上周边的已被编码的块具有的运动矢量、预测并生成该处理对象块的运动矢量并进行编码的编码方式，从而进行运动补偿。

(8)一种通过帧结构或场结构来编码构成动态图像的各图像的方法，其特征在于，包含：运动矢量算出步骤，参照已被编码的图像，对构成图像的每个块算出运动矢量；预测判定步骤，在根据位于处理对象块的空间上周边的已被编码的块具有的运动矢量中、参照了显示时间上距处理对象图像最近的已被编码图像的运动矢量，预测生成该处理对象块的运动矢量并编码的情况下，判定可否预测并生成该处理对象块的运动矢量；和最近图像决定步骤，在所述预测判定步骤中被判定为不能生成所述运动矢量的情况下，使用显示顺序信息以外的信息来决定距该处理对象图像最近的图像。

(9)在所述预测判定步骤中，在所述已被编码块各自的运动矢量中存在多个参照了显示时间上距该处理对象图像最近的已被编码图像的运动矢量、且该参照的多个图像是属于相同帧的顶部场与底部场、且所述两个场都具有相同的显示顺序信息的情况下，判定为不能预测并生成该处理对象块的运动矢量。

(10)在所述最近图像决定步骤中，在所述预测判定步骤中被判定为不能生成所述运动矢量的情况下，决定属于所述相同帧并具有相同的显示顺序信息的顶部场与底部场中、属性与该处理对象场相同的场，作为距该处理对象场最近的场。

(11)在所述最近图像决定步骤中，在所述预测判定步骤中判定为不能生成所述运动矢量的情况下，决定属于所述相同帧并具有相同的显示顺序信息的顶部场与底部场中、后面被编码的场，作为距该处理对象场最近的场。

另外，本发明的动态图像解码方法可构成为下述的(12)-(22)中任一种。

(12)一种通过帧结构或场结构来解码构成动态图像的各图像的方法，其特征在于，包含以下步骤：运动矢量算出步骤，参照已被解码的图像，对构成图像的每个块算出运动矢量；方式抽取步骤，抽取出处理对象块的解码方式；缩放判定步骤，在所述方式抽取步骤中被抽取出的解码方式是如下解码方式的情况下，即在将显示时间上位于附近的解码完的图像具有的运动矢量作为参照运动矢量，根据参照图像间的显示时间上位置关系，进行所述参照运动矢量的缩放处理，由此预测并生成该处理对象块的运动矢量的解码方式的情况下，判定可否预测并生成该处理对象块的运动矢量；和运动补偿步骤，根据所述缩放判定步骤的判定结果，将所述方式抽取步骤所抽取出的解码方式不变或更新地进行使用，由此进行运动补偿。

(13)在所述缩放判定步骤中，当所述缩放处理中参照的两个图像具有的显示顺序信息相同的情况下，判定为不能通过进行所述缩放处理来预测并生成该处理对象块的运动矢量。

(14)在所述缩放判定步骤中，在所述缩放处理中参照的两个图像是属于同一帧的顶部场与底部场、所述两个场都具有相同的显示顺序信息的情况下，判定为不能通过进行所述缩放处理来预测并生成该处理对象块的运动矢量。

(15)在所述运动补偿步骤中，在所述缩放判定步骤中被判定为不能生成所述运动矢量的情况下，变更为使用所述运动矢量算出步骤中算出的该处理对象块的运动矢量来进行解码的解码方式，从而进行运动补偿。

(16)在所述运动补偿步骤中，在所述缩放判定步骤中被判定为不能生成所述运动矢量的情况下，不进行所述缩放处理，而将该处理对象块的所述预测并生成的运动矢量作为预先设定的预定值的矢量，使用所述方式抽取步骤中抽取出的解码方式来进行运动补偿。

(17)所述预定的矢量的至少一个为0矢量，在所述运动补偿步骤中，在所述缩放判定步骤中被判定为不能生成所述运动矢量的情况下，不进行所述缩放处理，而将该处理对象块的所述预测并生成的运动矢量的至少一个作为0矢量，使用在所述方式抽取步骤中抽取出的解码方式来进行运动补偿。

(18)在所述运动补偿步骤中，在所述缩放判定步骤中被判定为不能生成所述运动矢量的情况下，变更为根据位于该处理对象块的空间上周边的已被解码的块具有的运动矢量、预测并生成该处理对象块的运动矢量并进行解码的解码方式，从而进行运动补偿。

(19)一种通过帧结构或场结构来解码构成动态图像的各图像的方法，其特征在于：包含运动矢量算出步骤，参照已被解码的图像，对构成图像的每个块算出运动矢量；预测判定步骤，在根据位于处理对象块的空间上周边的已被解码的块具有的运动矢量中、参照显示时间上距处理对象图像最近的已被解码图像的运动矢量，预测生成该处理对象块的运动矢量并解码的情况下，判定可否预测并生成该处理对象块的运动矢量；和最近图像决定步骤，在所述预测判定步骤判定为不能生成所述运动矢量的情况下，使用显示顺序信息以外的信息来决定距该处理对象图像最近的图像。

(20)在所述预测判定步骤中，在所述已被编码块各自的运动矢量中存在多个参照显示时间上距该处理对象图像最近的已被解码图像的运动矢量、且该参照的多个图像是属于同一帧的顶部场与底部场、且所述两个场都具有相同的显示顺序信息的情况下，判定为不能预测并生成该处理对象块的运动矢量。

(21)在所述最近图像决定步骤中，在所述预测判定步骤中被判定为不能生成所述运动矢量的情况下，决定属于所述同一帧并具有相同的显示顺序信息的顶部场与底部场中、属性与该处理对象场相同的场，作为距该处理对象场最近的场。

(22)在所述最近图像决定步骤中，在所述预测判定步骤中判定为不能生成所述运动矢量的情况下，决定属于所述同一帧并具有相同的显示顺序信息的顶部场与底部场中、后面被编码的场，作为距该处理对象场最近的场。

从以上说明可知，根据本发明的动态图像编码方法，在通过时间性直接方式或空间性直接方式进行编码的情况下，可确实生成运动矢量从而编码处理对象块。

另外，根据本发明的动态图像解码方法，在通过时间性直接方式或空间性直接方式进行解码的情况下，可确实生成运动矢量从而解码处理对象块。

附图说明

图1是表示现有动态图像编码方式中各图像预测关系的模式图。

图2是表示时间性直接方式中运动矢量的预测生成方法的模式图。

图3是表示空间性直接方式中运动矢量的预测生成方法的模式图。

图4是表示交错图像及逐行图像中场具有的显示顺序信息的模式图。

图5是表示在交错图像中的时间性直接方式下的运动矢量的预测生成方法的模式图。

图6是表示在逐行图像中的时间性直接方式下的运动矢量的预测生成方法的模式图。

图7是表示在逐行图像中的空间性直接方式下的运动矢量的预测生成方法的模式图。

图8是表示根据本发明的动态图像编码装置的一实施方式的结构的框图。

图9是表示图像存储器中图像的顺序的说明图，(a)是表示输入顺序的说明图，(b)是表示重新排列的顺序的说明图。

图10是表示直接方式可否判定部中根据方法1确定编码方式的动作的流程图。

图11是表示直接方式可否判定部中根据方法2确定编码方式的动作的流程图。

图12是表示直接方式可否判定部中根据方法3确定编码方式的动作的流程图。

图13是表示直接方式可否判定部中根据方法1’确定编码方式的动作的流程图。

图14是表示根据本发明的动态图像解码装置的一实施方式的结构的框图。

图15是表示直接方式可否判定部中根据方法1确定解码方式的动作的流程图。

图16是表示直接方式可否判定部中根据方法2确定解码方式的动作的流程图。

图17是表示直接方式可否判定部中根据方法3确定解码方式的动作的流程图。

图18是表示直接方式可否判定部中根据方法1’确定解码方式的动作的流程图。

图19是关于存储通过计算机系统来实现实施方式1的动态图像编码方法及动态图像解码方法用的程序的存储媒体的说明图，(a)是表示作为存储媒体主体的软盘物理格式的实例的说明图，(b)是表示从软盘正面看的外观、截面结构及软盘的说明图，(c)是表示用于对软盘FD记录再生上述程序的结构的说明图。

图20是表示实现内容配送服务的内容供给系统的整体结构框图。

图21是表示便携电话的一例的图。

图22是表示便携电话的内部结构的框图。

图23是表示数字广播用系统的整体结构的框图。

具体实施方式

下面，参照附图来说明本发明的实施方式。

实施方式1

图8是表示采用根据本发明的动态图像编码方法的动态图像编码装置的一实施方式的结构的框图。

动态图像编码装置如图8所示，具有：图像存储器101、预测残差编码部102、编码串生成部103、预测残差解码部104、图像存储器105、运动矢量检测部106、运动补偿编码部107、运动矢量存储部108、直接方式可否判定部109、差分运算部110、加法运算部111及开关112、113。

图像存储器101按显示时间顺序，存储以图像单位输入的动态图像。运动矢量检测部106使用已编码完的重构筑图像数据作为参照图像，在该图像内的搜索领域中检测表示预测为最佳的位置的运动矢量。运动补偿编码部107使用运动矢量检测部106检测出的运动矢量，决定块的编码方式，并根据该编码方式，生成预测图像数据。所谓该编码方式是表示用哪种方法编码宏块(マクロブロツク)的方式。

运动矢量存储部108存储由运动矢量检测部106检测出的运动矢量。直接方式可否判定部109在由运动补偿编码部107决定的编码方式是时间性直接方式时，判定可否进行缩放(scaling)处理，并确定编码方式。另外，直接方式可否判定部109在编码方式是空间性直接方式时，判定可否预测并生成在编码对象块中使用的运动矢量。差分运算部110运算从图像存储器101中读出的图像数据与从运动补偿编码部107输入的预测图像数据的差分，生成预测残差图像数据。

预测残差编码部102对输入的预测残差图像数据进行频率变换或量化等编码处理，生成编码数据。编码串生成部103对输入的编码数据进行可变长编码等，并且通过附加从运动补偿编码部107输入的运动矢量信息及编码方式信息等，生成编码串。

预测残差解码部104对输入的编码数据进行去量化或反频率变换等的解码处理，生成解码差分图像数据。加法运算部111将从预测残差解码部104输入的解码差分图像数据与从运动补偿编码部107输入的预测图像数据相加，生成重构筑图像数据。图像存储器105存储生成的重构筑图像数据。

下面，说明上述构成的动态图像编码装置的动作。

图9是表示图像存储器101中的图像顺序的说明图，(a)是表示被输入的顺序的说明图，(b)是表示被重新排列的顺序的说明图。这里，竖线表示图像，各图像的右下方示出的符号的第一位字符的字母表示图像类型(I、P或B)，第二位字符以后的数字表示显示时间顺序的图像序号。另外，P图像使用在显示时间顺序中位于前方的附近的I图像或P图像作为参照图像，B图像使用在显示时间顺序中位于前方的附近的I图像或P图像、和在显示时间顺序中位于后方的附近的1个I图像或P图像作为参照图像。

例如图9(a)所示，按显示时间顺序，以图像单位将输入图像输入到图像存储器101中。被输入到图像存储器101中的各图像一旦决定编码的图像类型，则例如图9(b)所示，被重新排列成进行编码的顺序。根据图像间预测编码中的参照关系，对该编码顺序进行重新排列，重新排列被用作参照图像的图像，以便先于用作参照图像的图像而被编码。

例如以分割成水平16×垂直16像素的组的宏块单位来读出在图像存储器101中被进行重新排列的各图像。另外，例如以分割成水平8×垂直8像素的组的块单位来检测运动补偿及运动矢量。

就以后的动作而言，说明编码对象图像是B图像的情况。

在B图像中，进行使用2方向参照的图像间预测编码。例如在图9(a)所示例中，在进行图像B11的编码处理时，在显示时间顺序中位于前方的参照图像成为图像P10、P7、P4，在显示时间顺序中位于后方的参照图像成为图像P13。这里，考虑在编码其他图像时不使用B图像作为参照图像的情况。

将从图像存储器101读出的图像B11的宏块输入到运动矢量检测部106及差分运算部110中。

运动补偿编码部107决定是用帧结构来编码、还是用场结构来编码宏块内的各块。用帧结构或场结构之一编码例如是用帧结构和场结构求出块内像素值的分散，选择分散小的一方的方法。另外，也可在图像单位下以帧结构或场结构的任一个编码各图像。

运动矢量检测部106对应于被决定的帧结构下的编码或场结构下的编码，将图像存储器105中存储的参照图像作为帧单位或场单位，对宏块内的各块检测前方运动矢量和后方运动矢量。这里，将在图像存储器105中存储的图像P10、P7、P4的重构筑图像数据作为前方参照图像，将图像P13的重构筑图像数据作为后方参照图像。运动矢量检测部106向运动补偿编码部107输出检测出的运动矢量。

运动补偿编码部107使用由运动矢量检测部106检测出的运动矢量，来决定宏块的编码方式。这里，B图像的编码方式，例如可从图像内编码、使用前方运动矢量的图像间预测编码、使用后方运动矢量的图像间预测编码、使用双方向运动矢量的图像间预测编码、直接方式中选择以任一方法编码。另外，就直接方式而言，预先指定时间性直接方式或空间性直接方式。另外，在编码方式的决定中，通常选择以少的比特量、编码误差更小的方法。

下面，说明在选择用直接方式编码时，由直接方式可否判定部109确定编码方式的动作。该确定编码方式的动作可通过下面说明的方法1～3中任一个来进行。

方法1

图10是表示根据方法1的确定编码方式的动作的流程图。运动补偿编码部107若选择用直接方式编码，则将该意图通知到直接方式可否判定部109。接收到通知的直接方式可否判定部109首先判定是否被指定时间性直接方式(步骤S101)。结果，在判定为时间性直接方式时，直接方式可否判定部109判定是否被选择场编码(步骤S102)。结果，在判定为没被选择场编码时，直接方式可否判定部109指示运动补偿编码部107用时间性直接方式编码(步骤S103)。另外，在判定为被选择场编码时，直接方式可否判定部109判定可否通过缩放处理，预测并生成在编码对象块中使用的运动矢量(步骤S104)。即，判定参照的2个图像是否属于同一帧，并且是否是具有相同显示顺序信息的顶部场和底部场。结果，在可进行缩放处理时(步骤S104的条件判定是“否”时)，直接方式可否判定部109指示运动补偿编码部107用时间性直接方式编码(步骤S103)。另一方面，在不可进行缩放处理时(步骤S104的条件判定为“是”时)，直接方式可否判别定部109指示运动补偿编码部107用直接方式以外的方式来编码(步骤S105)。

另外，上述判定(步骤S101)的结果，在判定为不是时间性直接方式(即是空间性直接方式)时，直接方式可否判定部109判定是否被选择场编码(步骤S106)。结果，在判定为未被选择场编码时，直接方式可否判定部109指示运动补偿编码部107用空间性直接方式编码(步骤S107)。

上述判定(步骤S106)的结果，在判定为被选择场编码时，直接方式可否判定部109判定可否通过空间性直接方式，根据图像具有的显示顺序信息，预测并生成在编码对象块中使用的运动矢量(步骤S108)。即，判定在包含作为编码对象块的周围的3像素的编码完的3个块各自的运动矢量中，是否存在多个参照了显示时间上距编码对象图像(场)最近的已编码图像的运动矢量，且该参照的多个图像是否是属于同一帧，并且是否是具有相同显示顺序信息的顶部场与底部场。此时，在满足上述条件时，判定为不可预测并生成运动矢量。

上述判定(步骤S108)的结果，在判定为可预测并生成运动矢量时(步骤S108的条件判定是”否”时)，直接方式可否判定部109指示运动补偿编码部107用空间性直接方式编码(步骤S107)。

另外，在判定为不可预测并生成运动矢量时(步骤S108的条件判定是”是”时)，直接方式可否判定部109指示运动补偿编码部107，以便将具有相同显示顺序信息的顶部场与底部场中、属性与编码对象场相同的场作为显示时间上距编码对象场最近的场(步骤S109)。这里，所谓相同属性的场，若编码对象场是顶部场，则是顶部场，若编码对象场是底部场，则是底部场。进而，直接方式可否判定部109指示运动补偿编码部107用空间性直接方式编码(步骤S107)。

方法2

图11是表示根据方法2的确定编码方式的动作的流程图。另外，除判定为被选择场编码、且判定为不可进行缩放处理时的处理以外(步骤S201-S204、S206-S209)与方法1相同，省略说明。

在判定为被选择场编码，且判定为不可进行缩放处理时，直接方式可否判定部109指示运动补偿编码部107以将运动矢量设为0的时间性直接方式进行编码(步骤S205)。

方法3

图12是表示根据方法3的确定编码方式的动作的流程图。另外，除判定为被选择场编码，且判定为不可进行缩放处理时的处理以外(步骤S301-S306、S308)与方法1相同，省略说明。

在判定为被选择场编码，且不可进行缩放处理时，直接方式可否判定部109判定可否通过空间性直接方式，预测并生成在编码对象块中使用的运动矢量(步骤S307)。之后的动作与方法1相同。

另外，就上述方法1-3中、判定为不可通过空间性直接方式预测并生成运动矢量时的上述处理(步骤S109、S209、S308)而言，也可进行下述处理，作为方法1′-3′。图13是表示根据方法1′的确定编码方式的动作的流程图。另外，方法2′-3′与方法1′相同，省略说明及图。

方法1′

直接方式可否判定部109指示运动补偿编码部107，以便将具有相同显示顺序信息的顶部场与底部场中、后面编码的场(即，时间上距编码对象场最近编码的场)设为显示时间上距编码对象场最近的场(图13、步骤S110)。

接着，运动补偿编码部107如上所述，通过直接方式可否判定部109确定的编码方式，生成预测图像数据。下面，分别说明每种这样确定了的编码方式下的动作。

通常的时间性直接方式下的编码

此时，运动补偿编码部107使用与在背景技术中用图2说明的时间性直接方式完全相同的方法，来进行运动补偿。即，利用编码完图像中、位于与编码对象的块相同的位置上的块的运动矢量作为参照运动矢量，运动补偿编码部107从运动矢量存储部108中读出该参照运动矢量，根据该参照运动矢量及图像间的显示时间上的位置关系，来进行缩放处理，预测并生成在编码对象块中使用的运动矢量。而且，使用该运动矢量，运动补偿编码部107根据2个参照图像进行2方向预测，生成预测图像数据。

将运动矢量设为「0」的时间性直接方式下的编码

运动补偿编码部107不通过缩放处理来预测生成运动矢量，直接使用「0」来作为运动矢量，根据2个参照图像来进行2方向预测，生成预测图像数据。

这时使用的运动矢量的值不只限于「0」，也可是不需要缩放就可决定的预定的值。在上述实例中，将对应于2个参照图像的运动矢量2个都设为「0」来说明，但不只限于此，也可将对应于2个参照图像的至少1个运动矢量设为「0」。

直接方式以外的编码

运动补偿编码部107使用运动矢量检测部106检测出的运动矢量，根据2个参照图像进行2方向预测，生成预测图像数据。

空间性直接方式下的编码

这时，运动补偿编码部107使用与背景技术中用图3来说明的空间性直接方式完全相同的方法来进行运动补偿。即，使用包含作为编码对象的块周围的3像素的编码完的3个块各自的运动矢量中、参照了显示时间上距编码对象图像最近的已编码图像的运动矢量，预测并生成编码对象块中使用的运动矢量。

这时，在上述3个块各自的运动矢量中，存在多个参照了显示时间上距编码对象图像(场)最近的已编码图像的运动矢量，并且，该参照的多个图像是属于同一帧、并且是具有相同显示顺序信息的顶部场和底部场时，运动补偿编码部107根据来自直接方式可否判定部109的指示，将具有相同显示顺序信息的顶部场与底部场中的1个设为在显示时间上距编码对象场最近的场。

即，在来自直接方式可否判定部109的指示是上述方法1-3中说明的指示时，将具有相同显示顺序信息的顶部场和底部场中、属性与编码对象场相同的场设为显示时间上距编码对象场最近的场。例如，在图7所示实例中，将具有相同显示顺序信息的场P2_T、P2_B中、作为与编码对象场B3_T相同的顶部场的场P2_T设为显示时间上距编码对象场最近的场。因此，决定将参照场P2_T的运动矢量MVA1，作为编码对象块的第1个运动矢量的候选。

另外，在来自直接方式可否判定部109的指示是上述方法1′-3′中说明的指示时，将具有相同显示顺序信息的顶部场和底部场中、后面编码的场设为在显示时间上距编码对象场最近的场。例如，在图7所示实例中，设后面编码场P2_T、P2_B中的场P2_B，则将具有相同显示顺序信息的场P2_T、P2_B中、后面编码的场P2_B设为显示时间上距编码对象场最近的场。因此，决定将参照场P2_B的运动矢量MVC1，作为编码对象块的第1个运动矢量MV_F的候选。求出作为第2个运动矢量的MV_B的情况也相同。

在这样决定了的运动矢量是3个时，选择其中央值作为编码对象块的运动矢量。另外，在是2个时，求出其平均值，作为编码对象块的运动矢量。另外，在仅为1个时(图7所示实例)，将该运动矢量作为编码对象块的运动矢量。使用这样求出的运动矢量，运动补偿编码部107根据参照图像进行运动补偿，生成预测图像数据。

接着，运动补偿编码部107向差分运算部110和加法运算部111输出如上所述生成的预测图像数据。另外，在运动补偿编码部107选择了图像内编码时，不输出预测图像数据。另外，运运补偿编码部107进行控制，以便使在选择了图像内编码时，将开关112连接到直接从图像存储器101输入信号的一侧，在选择了图像间预测编码时，将开关112连接到由差分运算部110输入信号的一侧。另外，运动补偿编码部107向编码串生成部103输出决定了的编码方式。

由运动补偿编码部107输入了预测图像数据的差分运算部110算出该预测图像数据、与从图像存储器101中读出的图像B11的宏块的图像数据的差分，生成预测残差图像数据，输出到预测残差编码部102。

输入了预测残差图像数据的预测残差编码部102对该预测残差图像数据进行频率变换或量化等的编码处理，生成编码数据，从而输出到编码串生成部103。输入了编码数据的编码串生成部103对该编码数据进行可变长编码等，且通过附加从运动补偿编码部107输入的运动矢量信息、编码方式的信息等，生成编码串并输出。另外，对直接方式下被编码的宏块，不向编码串附加运动矢量信息。

之后，通过相同的处理，对图像B11的其余的宏块也进行编码处理。

如上所述，在被选择场编码、通过时间性直接方式进行编码时，判定可否进行缩放处理。而且，因为在判定为不可进行缩放处理时，进行变更编码方式等的处理，所以没有因不能进行缩放处理而不能进行编码的情况。

另外，在被选择场编码、通过空间性直接方式进行编码时，根据图像具有的显示顺序信息，判定可否预测生成编码对象块中使用的运动矢量。而且，在被判定为不可预测并生成运动矢量时，进行规定将具有相同显示顺序信息的顶部场和底部场中哪个场作为在显示时间上距编码对象场最近的场的处理，所以没有因不可预测并生成运动矢量而不能进行编码的情况。

图14是表示使用根据本发明的动态图像解码方法的动态图像解码装置的一实施方式的结构的框图。

动态图像解码装置具备：编码串解析部201、预测残差解码部202、图像存储器203、运动补偿解码部204、运动矢量存储部205、直接方式可否判定部206、加法运算部207及开关208。

编码串解析部201从输入的编码串中抽出解码方式信息及编码时所使用的运动矢量信息等各种数据。预测残差解码部202解码所输入的预测残差编码数据，生成预测残差图像数据。运动补偿解码部204根据解码方式信息及运动矢量信息等，生成运动补偿图像数据。运动矢量存储部205存储由编码串解析部201抽出的运动矢量。

直接方式可否判定部206在由编码串解析部201抽取的解码方式是时间性直接方式时，判定可否进行缩放处理，确定解码方式。另外，直接方式可否判定部206在解码方式是空间性直接方式时，判定可否预测并生成解码对象块中使用的运动矢量。加法运算部207将由预测残差解码部202输入的预测残差图像数据和由运动补偿解码部204输入的运动补偿图像数据相加，生成解码图像数据。图像存储器203存储已生成的解码图像数据。

下面，说明如上所述构成的动态图像解码装置的动作。另外，用图9来说明图像的顺序。这里，P图像以显示时间顺序中位于前方的附近的I图像或P图像作为参照图像，B图像以显示时间顺序中位于前方的附近的I图像或P图像、和显示时间顺序中位于后方的附近的1个I图像或P图像作为参照图像而被编码的。

以如图9(b)所示的图像顺序，向编码串解析部201输入编码串。编码串解析部201从输入的编码串中抽出解码方式信息及运动矢量信息等各种数据。编码串解析部201向运动补偿解码部204输出抽出了的解码方式信息，向运动矢量存储部205输出运动矢量信息。

另外，编码串解析部201向预测残差解码部202输出抽出了的预测残差编码数据。被输入了预测残差编码数据的预测残差解码部202解码该预测残差编码数据，生成预测残差图像数据，并输出到加法运算部207。

就以后的动作而言，说明解码对象图像是B图像、由编码串解析部201所抽出的解码方式是直接方式的情况。

由编码串解析部201输入了解码方式信息的运动补偿解码部204判定是否是用直接方式对解码对象的块进行解码，在是直接方式时，通知直接方式可否判定部206。

下面，说明解码方式是直接方式时进行的、由直接方式可否判定部206确定解码方式的动作。该确定解码方式的动作可通过下面说明的方法1-3的任一个来进行。

方法1

图15是表示根据方法1的确定解码方式的动作的流程图。首先，直接方式可否判定部206判定是否被指定时间性直接方式(步骤S401)。结果，在判定为是时间性直接方式时，直接方式可否判定部206判定是否被进行场编码(步骤S402)。结果，在判定为没被进行场编码时，直接方式可否判定部206指示运动补偿解码部204用时间性直接方式解码(步骤S403)。另一方面，在判定为被选择场编码时，直接方式可否判定部206判定可否通过缩放处理来预测并生成在解码对象块中使用的运动矢量(步骤S404)。即，判定参照的2个图像是否属于同一帧，是否是具有相同显示顺序信息的顶部场与底部场。结果，在可进行缩放处理时(步骤S404的条件判定是”否”时)，直接方式可否判定部206指示运动补偿解码部204用时间性直接方式解码(步骤S403)。另一方面，在不可进行缩放处理时(步骤S404的条件判定是”是”时)，直接方式可否判定部206指示运动补偿解码部204用直接方式以外的方式解码(步骤S405)。

另外，上述判定(步骤S401)的结果，在判定为不是时间性直接方式(即，是空间性直接方式)时，直接方式可否判定部206判定是否被进行场编码(步骤S406)。结果，在判定为未被选择场编码时，直接方式可否判定部206指示运动补偿解码部204用空间性直接方式解码(步骤S407)。

上述判定(步骤S406)的结果，在判定为被选择场编码时，直接方式可否判定部206判定通过空间性直接方式，根据图像具有的显示顺序信息，可否预测并生成解码对象块中使用的运动矢量(步骤S408)。即，判定在包含作为解码对象块的周围的3像素的编码完的3个块各自的运动矢量中，是否存在多个参照了显示时间上距解码对象图像(场)最近的已解码图像的运动矢量，且该参照的多个图像是否是属于同一帧，并且是否是具有相同显示顺序信息的顶部场与底部场。此时，在满足上述条件时，判定为不可预测并生成运动矢量。

上述判定(步骤S408)的结果，在判定为可预测并生成运动矢量时(步骤S408的条件判定是”否”时)，直接方式可否判定部206指示运动补偿解码部204用空间性直接方式解码(步骤S407)。

另外，在判定为不可预测并生成运动矢量时(步骤S408的条件判定是”是”时)，直接模式可否判定部206指示运动补偿解码部204，以便将具有相同显示顺序信息的顶部场与底部场中、属性与解码对象场相同的场设为显示时间上距解码对象场最近的场(步骤S409)。这里，若解码对象场是顶部场，则所谓相同属性的场是顶部场，若解码对象场是底部场，则是底部场。进而述，直接方式可否判定部206指示运动补偿解码部204用空间性直接方式解码(步骤S407)。

方法2

图16是表示根据方法2的确定解码方式的动作流程图。另外，除判定为被选择场编码、且判定为不可进行缩放处理时的处理以外(步骤S501-S504、步骤S506-S509)与方法1相同，故省略说明。

在判定为被选择场编码、且判定为不可进行缩放处理时，直接方式可否判定部206指示运动补偿解码部204用设运动矢量为「0」的时间性直接方式解码(步骤S505)。

方法3

图17是表示根据方法3的确定解码方式的动作的流程图。另外，除判定为被选择场编码、且判定为不可进行缩放处理时的处理以外(步骤S601-S606、S608)与方法1相同，故省略说明。

在判定为被选择场编码、且不可进行缩放处理时，直接方式可否判定部206判定可否通过空间性直接方式预测并生成解码对象块中使用的运动矢量(步骤S607)。这以后的动作与方法1相同。

另外，对于上述方法1-3中、判定为不可以空间性直接方式预测并生成运动矢量时的上述处理(步骤S409、S509、S608)，也可如下进行处理并设为方法1′-3′。图18是表示根据方法1′的确定解码方式的动作的流程图。另外，方法2′-3′与方法1′相同，省略图示及说明。

方法1′

直接方式可否判定部206指示运动补偿解码部204，以便将具有相同显示顺序信息的顶部场与底部场中后面解码的场(即，在时间上距解码对象场最近的被解码场)作为在显示时间上距解码对象场最近的场(图18、步骤S410)。

接着，运动补偿解码部204通过如上所述直接方式可否判定部206所确定的解码方式，生成运动补偿图像数据。下面，分别说明每种确定的解码方式下的动作。

通常的时间性直接方式下的解码

此时，运动补偿解码部204使用与在背景技术中、用图2来说明的时间性直接方式完全相同的方法，来进行运动补偿。即，利用解码完图像中的、位于与解码对象块相同位置上的块的运动矢量，作为参照运动矢量，运动补偿解码部204从运动矢量存储部205中读出该参照运动矢量，并根据该参照运动矢量及图像间的显示时间性位置关系，来进行缩放处理，预测并生成解码对象块中使用的运动矢量。而且，运动补偿解码部204使用该运动矢量，根据2个参照图像，进行2方向预测，生成运动补偿图像数据。

设运动矢量为「0」的时间性直接方式下的解码

运动补偿解码部204不通过缩放处理来预测生成运动矢量，直接使用「0」作为运动矢量，根据2个参照图像，进行2方向预测，生成预测图像数据。

这时使用的运动矢量的值不只限于「0」，还可为不必通过缩放就可决定的预定值。在上述实例中，将两个针对2个参照图像的运动矢量全设为「0」来说明，但不只限于此，也可设针对2个参照图像的运动矢量的至少1个为「0」。

除直接方式以外的方式下的解码

运动补偿解码部204从运动矢量存储部205中读出编码时使用的运动矢量，用该运动矢量，根据2个参照图像，进行2方向预测，生成运动补偿图像数据。

空间性直接方式下的解码

此时，运动补偿解码部204使用与在背景技术中、用图3来说明的空间性直接方式完全相同的方法，来进行运动补偿。即，使用包含作为解码对象的块的周围3个像素的解码完的3个块各自的运动矢量中、参照了在显示时间上距解码对象图像最近的已解码图像的运动矢量，来预测并生成编码对象块中使用的运动矢量。

这时，在上述3个块各自的运动矢量中，存在多个参照了显示时间上距解码对象图像(场)最近的已解码图像的运动矢量，且该参照的多个图像属于同一帧，并是具有相同显示顺序信息的顶部场与底部场时，运动补偿解码部204根据来自直接方式可否判定部206的指示，将具有相同显示顺序信息的顶部场与底部场中的1个设为显示时间上距解码对象场最近的场。

即，在来自直接方式可否判定部206的指示是上述方法1～3中已说明的指示时，将具有相同显示顺序信息的顶部场与底部场中、属性与解码对象场相同的场设为在显示时间上距解码对象场最近的场。例如，在图7所示实例中，将具有相同显示顺序信息的场P2_T、P2_B中、将作为与解码对象场B3_T相同的顶部场的场P2_T设为显示时间上距解码对象场最近的场。因此，决定将参照场P2_T的运动矢量MVA1，作为解码对象块的第1个运动矢量的候选。

另外，在来自直接方式可否判定部206的指示是上述方法1′～3′中说明的指示时，将具有相同显示顺序信息的顶部场与底部场中后面解码的场设为显示时间上距解码对象场最近的场。例如，在图7所示实例中，假设在场P2_T、P2_B中后面被解码的场是P2_B，则将具有相同显示顺序信息的场P2_T、P2_B中后面被解码的场P2_B作为在显示时间上距解码对象场最近的场。因此，决定将参照场P2_B的运动矢量MVC1，作为解码对象块的第1个运动矢量MV_F的候选。求作为第2个运动矢量的MV_B的情况也相同。

在这样决定了的运动矢量是3个时，选择其中央值作为解码对象块的运动矢量。另外，是2个时，求出其平均值，作为解码对象块的运动矢量。另外，在仅为1个时(图7所示实例)，将该运动矢量作为解码对象块的运动矢量。运动补偿解码部204使用如此求出的运动矢量，根据参照图像进行运动补偿，生成运动补偿图像数据。

接着，运动补偿解码部204向加法运算部207输出如上所述生成的运动补偿图像数据(块)。加法运算部207将运动补偿图像数据与由预测残差解码部202输入的预测残差图像数据相加，生成解码图像数据，存储在图像存储器203中。

之后，通过相同的处理，对图像B11的其余宏块也进行解码处理。而且，在图9(b)所示实例中，一旦对图像B11的全部宏块进行的处理结束，则接着进行图像B12的解码处理。如图9(a)所示，将如上所述解码处理后的图像依次作为输出图像，从图像存储器203被输出。

如上所述，在被选择场编码、抽出了的解码方式是时间性直接方式时，判定可否进行缩放处理。而且，因为在判定为不可进行缩放处理时，进行变更解码方式等的处理，所以没有由不可进行缩放处理而不能进行解码的情况。

另外，在被选择场编码、抽出了的解码方式是空间性直接方式时，根据图像具有的显示顺序信息，判定可否预测并生成编码对象块中使用的运动矢量。而且，在判定为不可预测并生成运动矢量时，进行规定将具有相同显示顺序信息的顶部场与底部场中哪个场作为显示时间上距解码对象场最近的场的处理，所以没有因不可预测并生成运动矢量而不能进行解码的情况。

另外，在本实施方式中，在用空间性直接方式编码时，运动补偿编码部107在从包含作为编码对象的块的周围3个像素的编码完成的3个块各自的运动矢量中、决定编码对象块的运动矢量的候选时，虽决定参照了显示时间上距编码对象图像最近的、已编码的图像的运动矢量作为候选，但并不只限于此，例如，也可在场编码时，从属性与编码对象场相同的场中，决定参照了显示时间上距编码对象场最近的场的运动矢量作为候选。这时，相对于本实施方式首先根据显示顺序信息来决定候选，变为首先使为相同属性的场优先来决定候选。另外，解码时运动补偿解码部204中的动作也相同。

另外，在本实施方式中，说明了利用帧结构或场结构的任一个来适当地编码、解码处理各图像，但例如即便以块单位来利用帧结构或场结构的任一个来适当地编码、解码处理，也可通过与本发明同样的处理来实施，取得相同的效果。

另外，在本实施方式中，虽将P图像说明为参照前方1个方向的图像来处理的图像，将B图像说明为参照前方及后方2个方向的图像来处理的图像，但即便这些P图像参照后方1个方向的图像来处理，B图像参照前方2个方向或后方2个方向的图像来处理，也可取得同样的效果。

另外，本发明实施方式中的显示顺序信息不只是限定于显示的顺序，也可是以实际的显示时间、或伴随显示时间值的变大而值变大的预定图像为基准的各图像的相对顺序。

实施方式2

进而，通过将实现上述实施方式1所示的图像编码方法或图像解码方法的结构用的程序记录在软盘等存储媒体中，可在独立的计算机系统中简单实施上述实施方式1中所示的处理。

图19是使用存储了上述实施方式1的图像编码方法或图像解码方法的软盘、并通过计算机系统来实施的情况的说明图。

图19(b)表示从软盘的正面看的外观、截面结构及软盘，图19(a)表示作为记录媒体主体的软盘的物理格式的实例。软盘FD被内置于壳体F内，在该盘的表面，以同心圆状从外周向内周形成多个轨道Tr，沿角度方向将各轨道分割成16个扇区Se。因此，在存储了上述程序的软盘中，在上述软盘FD上分配的区域中，记录作为上述程序的图像编码方法。

另外，图19(c)表示在软盘FD上进行上述程序的记录再生用的结构。在将上述程序记录在软盘FD中的情况下，从计算机系统Cs经软盘驱动器写入作为上述程序的图像编码方法或图像解码方法。另外，在通过软盘内的程序在计算机系统中构筑上述动态图像编码方法的情况下，通过软盘驱动器从软盘中读出程序，并传送到计算机系统。

另外，在上述说明中，将软盘用作记录媒体来进行说明，但使用光盘也可同样进行。另外，记录媒体不限于此，只要是IC卡、ROM盒带(ROMカセツト)等能记录程序的媒体，即可同样实施。

进而，在此说明上述实施方式所示的动态图像编码方法或动态图像解码方法的应用例和使用该方法的系统。

图20是表示实现内容配送服务的内容提供系统ex100的整体结构的框图。将通信服务的提供区域分割成期望的大小，并在各单元内分别设置作为固定无线站的基站ex107-ex110。

该内容提供系统ex100例如经因特网服务提供者ex102和电话网ex104、和基站ex107-ex110，在因特网ex101上连接着计算机ex111、PDA(personal digital assistant)ex112、摄像机ex113、便携电话ex114、带摄像机的便携电话ex115等各设备。

但是，内容提供系统ex100不限于图20的组合，也可使任意组合后进行连接。另外，各设备也可不经作为固定无线站的基站ex107-ex110来直接连接于电话网ex104上。

摄像机ex113是数字视频摄像机等可拍摄动态图像的设备。另外，便携电话是PDC(Personal Digital Communications)方式、CDMA(Code DivisionMultiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或GSM(Global System for Mobile Communication)方式的便携电话机、或PHS(Personal Handyphone System)等，是哪个都无妨。

另外，流放服务器(Streaming Server)ex103从摄像机ex113经基站ex109、电话网ex104被连接，可使用摄像机ex113，基于用户发送的被编码处理后的数据进行现场配送等。拍摄的数据的编码处理既可由摄像机ex113进行，也可由进行数据发送处理的服务器等来进行。另外，由摄像机(也包括照相机)ex116拍摄的动态图像数据也可经计算机ex111发送到流放服务器ex103。摄像机ex116是数码相机等可拍摄静止图像、动态图像的设备。此时，动态图像数据的编码可由摄像机ex116来进行，也可由计算机ex111来进行，哪一个都可以。另外，编码处理在计算机ex111或摄像机ex116具有的LSIex117中进行处理。另外，也可将动态图像编码、解码用软件组装在作为可由计算机ex111等读取的记录媒体的任一存储媒体(CD-ROM、软盘、硬盘等)中。并且，也可由带摄像机的便携电话ex115来发送动态图像数据。此时的动态图像数据是由便携电话ex115具有的LSI编码处理后的数据。

在该内容提供系统ex100中，用户与上述实施方式一样编码处理由摄像机ex113、摄像机ex116等拍摄的内容(例如拍摄了音乐现场的映像等)后，发送到流放服务器ex103，另一方面，流放服务器ex103向有请求的客户机数据流配送上述内容数据。作为客户机，有可解码上述编码处理后的数据的计算机ex111、PDAex112、摄像机ex113、便携电话ex114等。由此，内容提供系统ex100是可由客户机接收被编码后的数据并进行再生，并且在客户机中实时接收并解码、再生，由此也可实现个人播放的系统。

也可以在构成该系统的各设备的编码、解码中使用上述各实施方式中所示的动态图像编码装置或动态图像解码装置。

作为一例，说明便携电话。

图21是表示使用上述实施方式说明的动态图像编码方法和动态图像解码方法的便携电话ex115的图。便携电话ex115具有：与基站ex110之间收发电波用的天线ex201；CCD摄像机等可拍摄映像、静止图像的摄像机部ex203；显示由摄像机部ex203拍摄的映像、解码了由天线ex201接收的映像等的数据的液晶显示器等显示部ex202；由操作键ex204群构成的主体部；进行声音输出用的扬声器等声音输出部ex208；进行声音输入用的麦克风等声音输入部ex205；用于保存拍摄的动态图像或静止图像的数据、接收到的邮件的数据、动态图像的数据或静止图像的数据等被编码后的数据或被解码后的数据的记录媒体ex207；可将记录媒体ex207安装在便携电话ex115中用的插槽部ex206。记录媒体ex207在SD卡等塑料外壳内容纳作为可进行电改写或删除的非易失性存储器的EEPROM(Electrically Erasableand Programmable Read Only Memory)之一种的闪存元件。

下面，用图22来说明便携电话ex115。便携电话ex115经同步总线ex313将电源电路部ex310、操作输入控制部ex304、图像编码部ex312、摄像机接口部ex303、LCD(Liquid Crystal Display)控制部ex302、图像解码部ex309、复用分离部ex308、记录再生部ex307、调制解调电路部ex306及声音处理部ex305彼此连接到统一控制具备显示部ex202及操作键ex204的主体部各部的主控制部ex311上。

电源电路部ex310若通过用户的操作而在结束通话及电源键为导通状态时，通过从电池组向各部供电，将带摄像机的数字便携电话ex115启动到可动作的状态。

便携电话ex115根据由CPU、ROM及RAM等构成的主控制部ex311的控制，通过声音处理部ex305将声音通话模式时由声音输入部ex205集中的声音信号变换为数字声音数据，由调制解调电路部ex306进行扩频处理，并由收发信电路部ex301实施数模变换处理及频率变换处理后，经天线ex201发送。另外，便携电话机ex115放大声音通话模式时由天线ex201接收到的接收数据，实施频率变换处理及模数变换处理，并由调制解调电路部ex306进行反扩频处理，在由声音处理部ex305变换为模拟声音数据后，经声音输出部ex208将其输出。

并且，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键ex204的操作而被输入的电子邮件的文本数据经操作输入控制部ex304送出到主控制部ex311。主控制部ex311由调制解调电路部ex306对文本数据进行扩频处理，由收发信电路部ex301实施数模变换处理及频率变换处理后，经天线ex201发送到基站ex110。

在数据通信模式时发送图像数据的情况下，经摄像机接口部ex303将由摄像机部ex203拍摄到的图像数据提供给图像编码部ex312。另外，在不发送图像数据的情况下，也可经摄像机接口部ex303及LCD控制部ex302，将由摄像机部ex203拍摄到的图像数据直接显示在显示部ex202上。

图像编码部ex312是具备本申请中说明的动态图像编码装置的结构，通过按照用于上述实施方式所示的动态图像编码装置的编码方法压缩编码从摄像机部ex203提供的图像数据，来变换为编码图像数据，并将其发送到复用分离部ex308。另外，与此同时，便携电话机ex115将由摄像机部ex203在拍摄当中由声音输入部ex205集中到的声音，经声音处理部ex305作为数字的声音数据，送出到复用分离部ex308。

复用分离部ex308按预定的方式多路复用从图像编码部ex312提供的编码图像数据和从声音处理部ex305提供的声音数据，由调制解调电路部ex306对上述结果得到的多路复用数据进行扩频处理，并由收发信电路部ex301实施数模变换处理及频率变换处理后，经天线ex201发送。

在数据通信模式时，在接收被链接到主页等上的动态图像文件的数据的情况下，由调制解调电路部ex306反扩频处理经天线ex201从基站ex110接收到的接收数据，并将其结果得到的多路复用数据发送到复用分离部ex308。

另外，在解码经天线ex201接收到的多路复用数据中，复用分离部ex308通过分离多路复用数据，分成图像数据的比特流与声音数据的比特流，经同步总线ex313将该编码图像数据提供给图像解码部ex309，同时，将该声音数据提供给声音处理部ex305。

下面，图像解码部ex309是具备本申请中说明的动态图像解码装置的结构，通过由对应于上述实施方式所示的编码方法的解码方法来解码图像数据的比特流，来生成再生动态图像数据，并经LCD控制部ex302将其提供给显示部ex202，由此，显示例如被链接到主页上的动态图像文件中所包含的动态图像数据。与此同时，声音处理部ex305在将声音数据变换为模拟声音数据后，提供给声音输出部ex208，由此，再生例如被链接到主页上的动态图像文件中包含的声音数据。

另外，不限于上述系统实例，最近基于卫星、地面波的数字广播成为话题，如图23所示，也可在数字广播用系统中装入上述实施方式的至少动态图像编码装置或动态图像解码装置之一。具体而言，广播站ex409经由电波将映像信息的比特流传输到通信或广播卫星ex410。接收到上述比特流的广播卫星ex410发射广播用电波，具有卫星广播接收设备的家庭的天线ex406接收该电波，由电视(接收机)ex401或机顶盒(STB)ex407等装置来解码比特流并将其再生。另外，也可在读取记录在作为记录媒体的CD或DVD等存储媒体ex402中的比特流、并解码的再生装置ex403中安装上述实施方式中所示的动态图像解码装置。此时，将被再生的映像信号显示在监视器ex404中。另外，还考虑在连接于有线电视用电缆ex405或卫星/地面波广播的天线ex406上的机顶盒ex407内安装动态图像解码装置，由电视的监视器ex408来将其再生。此时，也可不是机顶盒，而在电视内装入动态图像解码装置。另外，也可以是具有天线ex411的汽车ex412从卫星ex410或基站ex107等接收信号，在汽车ex412具有的汽车导航系统ex413等的显示装置中再生动态图像。

并且，也可由上述实施方式所示的动态图像编码装置编码图像信号并记录在记录媒体中。作为具体例，有在DVD盘ex421中记录图像信号的DVD记录器、或在硬盘中记录图像信号的盘记录器等的记录器ex420。另外，也可记录在SD卡ex422中。若记录器ex420具备上述实施方式所示的动态图像解码装置，则可再生记录在DVD盘ex421或SD卡ex422中的图像信号并由监视器ex408进行显示。

另外，汽车导航系统ex413的结构考虑例如在图22所示结构中去除摄像机部ex203与摄像机接口部ex303、图像编码部ex312的结构，在计算机ex111或电视(接收机)ex401等中也作同样考虑。

另外，上述便携电话ex114等的终端除具有编码器、解码器双方的收发信型的终端外，还考虑仅有编码器的发送终端、仅有解码器的接收终端等3种安装形式。

这样，可将上述实施方式所示的动态图像编码方法或动态图像解码方法用于上述任一设备、系统中，从而可得到上述实施方式中说明的效果。

另外，本发明不限于上述实施方式，在不脱离本发明的范围下，可进行各种变形或修正。

产业上的可利用性

如上所述，根据本发明的动态图像编码方法和动态图像解码方法，例如可作为在便携电话、DVD装置和个人计算机等中编码构成动态图像的各图像从而生成编码串、或解码所生成的编码串用的方法。