运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置、及运动图像编解码装置

摘要

运动图像编码装置（100）具备：预测运动矢量候选计算部（114），计算预测运动矢量候选及可预测候选数；帧间预测控制部（111），选择最佳的预测运动矢量候选；以及可变长度编码部（116），将可预测候选数设定为预测运动矢量候选列表尺寸，对在运动矢量编码中使用的预测运动矢量索引分配与预测运动矢量候选列表尺寸相对应的比特串，并进行可变长度编码。

说明书

技术领域

本发明涉及运动图像编码方法及运动图像解码方法。 

背景技术

在运动图像编码处理中，一般利用运动图像所具有的空间方向及时间方向的冗余性来进行信息量的压缩。在此，一般来说，作为利用空间方向的冗余性的方法，使用向频域的变换。此外，作为利用时间方向的冗余性的方法，使用图片间预测（以后称为“帧间预测”）编码处理。在帧间预测编码处理中，在对某图片进行编码时，将相对于编码对象图片在显示时间顺序上处于前方或后方的已编码的图片作为参照图片使用。然后，通过检测编码对象图片相对于该参照图片的运动，导出运动矢量。然后，基于导出的运动矢量来进行运动补偿，并计算由此得到的预测图像数据和编码对象图片的图像数据的差分，从而除去时间方向的冗余性（例如参照非专利文献1）。在此，在运动检测中，计算编码图片内的编码对象块和参照图片内的块的差分值，将差分值最小的参照图片内的块决定为参照块。然后，使用编码对象块和参照块来检测运动矢量。 

在先技术文献 

非专利文献 

非专利文献1：ITU-T Recommendation H.264“Advanced video coding for generic audiovisual services”，2010年3月 

非专利文献2：JCT-VC，“WD3：Working Draft3of High-Efficiency Video Coding”，JCTVC-E603，March2011. 

发明的概要 

发明所要解决的课题 

但是，在上述以往的技术中，希望提高使用帧间预测的运动图像编码 及解码的容错性。 

发明内容

在此，本发明的目的在于，提供一种运动图像编码方法及运动图像解码方法，能够提高使用帧间预测的运动图像编码及解码的容错性。 

解决课题所采用的技术手段 

本发明的一个方式的运动图像编码方法，计算在将编码对象块的运动矢量编码时使用的预测运动矢量并对所述编码对象块进行编码，从而生成比特流，该运动图像编码方法包括以下步骤：决定步骤，决定成为所述预测运动矢量的候选的预测运动矢量候选的最大数；第1导出步骤，导出第1预测运动矢量候选；判定步骤，判定所述第1预测运动矢量候选的数量是否小于所述最大数；第2导出步骤，在判定为所述第1预测运动矢量候选的数量小于所述最大数的情况下，导出第2预测运动矢量候选；选择步骤，从所述第1预测运动矢量候选及第2预测运动矢量候选中，选择在所述编码对象块的所述运动矢量的编码中使用的所述预测运动矢量；以及编码步骤，使用所决定的所述最大数对用于确定所选择的所述预测运动矢量的索引进行编码，并将编码后的所述索引附加到所述比特流中。 

另外，这些全部或具体的方式可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM（Compact Disc Read Only Memory）等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。 

根据本发明的一个方式，能够提高使用帧间预测的运动图像编码及解码的容错性。 

附图说明

图1A是用于说明B图片中的参照图片列表的一例的图。 

图1B是表示B图片中的预测方向0的参照图片列表的一例的图。 

图1C是表示B图片中的预测方向1的参照图片列表的一例的图。 

图2是用于说明时间预测运动矢量模式下的运动矢量的图。 

图3是表示在预测运动矢量指定模式下使用的相邻块的运动矢量的一 例的图。 

图4是用于说明预测方向0的预测运动矢量候选列表的一例的图。 

图5是用于说明预测方向1的预测运动矢量候选列表的一例的图。 

图6是表示比特串向预测运动矢量索引的分配的一例的图。 

图7是表示使用预测运动矢量指定模式时的编码处理的一例的流程图。 

图8A是表示预测运动矢量的计算例的图。 

图8B是表示预测运动矢量的计算例的图。 

图9是表示使用预测运动矢量指定模式对运动图像进行编码的运动图像编码装置的构成的一例的框图。 

图10是表示使用预测运动矢量指定模式时的解码处理的一例的流程图。 

图11是表示对使用预测运动矢量指定模式编码的运动图像进行解码的运动图像解码装置的构成的一例的框图。 

图12是表示将预测运动矢量索引附加到比特流时的语法的图。 

图13是表示实施方式1的运动图像编码装置的构成的框图。 

图14是表示实施方式1的运动图像编码装置的处理动作的流程图。 

图15是表示实施方式1中的预测方向0的预测运动矢量候选列表的一例的图。 

图16是表示实施方式1中的预测方向1的预测运动矢量候选列表的一例的图。 

图17是表示实施方式1中的预测运动矢量候选及预测运动矢量候选列表尺寸的计算处理的流程图。 

图18是表示实施方式1中的可预测候选数的更新处理的流程图。 

图19是表示实施方式1中的新候选的追加处理的流程图。 

图20是表示与实施方式1中的预测运动矢量候选的选择有关的处理的流程图。 

图21是表示实施方式2的运动图像编码装置的构成的框图。 

图22是表示实施方式2的运动图像编码装置的处理动作的流程图。 

图23是表示实施方式3的运动图像解码装置的构成的框图。 

图24是表示实施方式3的运动图像解码装置的处理动作的流程图。 

图25是表示实施方式3中的可预测候选数的计算处理的流程图。 

图26是表示实施方式3中的预测运动矢量候选的计算处理的流程图。 

图27是表示将预测运动矢量索引附加到比特流时的语法的一例的图。 

图28是表示将预测运动矢量候选列表尺寸固定为预测运动矢量候选数的最大值时的语法的一例的图。 

图29是表示实施方式4的运动图像解码装置的构成的框图。 

图30是表示实施方式4的运动图像解码装置的处理动作的流程图。 

图31是实现内容分发服务的内容供给系统的整体结构图。 

图32是数字广播用系统的整体结构图。 

图33是表示电视机的结构例的模框图。 

图34是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模框图。 

图35是表示作为光盘的记录介质的构造例的图。 

图36A是表示便携电话的一例的图。 

图36B是表示便携电话的结构例的模框图。 

图37是表示复用数据的结构的图。 

图38是示意地表示各流在复用数据中怎样被复用的图。 

图39是更详细地表示在PES包序列中视频流怎样被保存的图。 

图40是表示复用数据的TS包和源包的构造的图。 

图41是表示PMT的数据结构的图。 

图42是表示复用数据信息的内部结构的图。 

图43是表示流属性信息的内部结构的图。 

图44是表示识别影像数据的步骤的图。 

图45是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模框图。 

图46是表示切换驱动频率的结构的图。 

图47是表示识别影像数据、切换驱动频率的步骤的图。 

图48是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。 

图49A是表示将信号处理部的模块共用的结构的一例的图。 

图49B是表示将信号处理部的模块共用的结构的另一例的图。 

具体实施方式

（本发明的基础知识） 

在已经标准化的被称为H.264的运动图像编码方式中，为了进行信息量的压缩，使用I图片、P图片、B图片这3种图片类型。 

I图片在帧间预测编码处理中不被编码。即，I图片在图片内预测（以后称为“帧内预测”）编码处理中被编码。P图片参照在显示时间顺序上位于编码对象图片的前方或后方的已编码的1个图片而进行帧间预测编码。B图片参照在显示时间顺序上位于编码对象图片的前方或后方的已编码的2个图片而进行帧间预测编码。 

在帧间预测编码中，生成用于确定参照图片的参照图片列表。参照图片列表是对在帧间预测中参照的已编码的参照图片分配了参照图片索引的列表。例如，在B图片中，能够参照2个图片来进行编码，所以生成2个参照图片列表（L0、L1）。 

图1A是用于说明B图片中的参照图片列表的一例的图。图1B表示双向预测中的预测方向0的参照图片列表0（L0）的一例。在此，在参照图片列表0中，参照图片索引0的值0被分配给显示顺序2的参照图片0。此外，参照图片索引0的值1被分配给显示顺序1的参照图片1。此外，参照图片索引0的值2被分配给显示顺序0的参照图片2。即，按照显示顺序，相对于编码对象图片在时间上越接近的参照图片，被分配具有越小的值的参照图片索引。 

另一方面，图1C表示双向预测中的预测方向1的参照图片列表1（L1）的一例。在此，在参照图片列表1中，参照图片索引1的值0被分配给显示顺序1的参照图片1。此外，参照图片索引1的值1被分配给显示顺序2的参照图片0。此外，参照图片索引2的值2被分配给显示顺序0的参照图片2。 

这样，对于各参照图片，能够按照每个预测方向分配不同的参照图片索引的值（图1A的参照图片0、1）或分配相同的参照图片索引的值（图1A的参照图片2）。 

此外，在被称为H.264的运动图像编码方式（非专利文献1）中，作为B图片中的各编码对象块的帧间预测的编码模式，使用运动矢量检测模式。在运动矢量检测模式中，对预测图像数据及编码对象块的图像数据的差分值和在预测图像数据生成中使用的运动矢量进行编码。此外，在运动矢量检测模式中，作为预测方向，能够选择双向预测和单向预测。在双向预测中，参照位于编码对象图片的前方或后方的已编码的2个图片来生成预测图像。在单向预测中，参照位于前方或后方的已编码的1个图片来生成预测图像。 

此外，在被称为H.264的运动图像编码方式中，在B图片的编码中，在导出运动矢量时，能够选择被称为时间预测运动矢量模式的编码模式。使用图2说明时间预测运动矢量模式中的帧间预测编码方法。 

图2是用于说明时间预测运动矢量模式下的运动矢量的图。具体地说，图2表示通过时间预测运动矢量模式来对图片B2的块a进行编码的情况。 

在此，利用位于图片B2的后方的参照图片即图片P3内的、位于与块a相同位置的块b（以下称为co-located块）的编码中使用的运动矢量vb。运动矢量vb是在参照图片P1对块b进行编码时使用的运动矢量。 

使用与运动矢量vb平行的运动矢量，根据作为前方向参照图片的图片P1和作为后方参照图片的图片P3，取得用于块a的2个参照块。然后，基于取得的2个参照块来进行2方向预测，从而将块a编码。即，对块a进行编码时使用的运动矢量，对于图片P1来说是运动矢量va1，对于图片P3来说是运动矢量va2。 

此外，作为对B图片或P图片中的各编码对象块的运动矢量进行编码的方法，考虑预测运动矢量指定模式（非专利文献2）。在预测运动矢量指定模式下，根据对编码对象块的相邻块进行编码时使用的运动矢量来生成预测运动矢量候选。然后，从预测运动矢量候选中选择预测运动矢量，进行编码对象块的运动矢量的编码。这时，在比特流中附加所选择的预测运动矢量的索引等。由此，在解码时，也能够选择与在编码时使用的预测运动矢量相同的预测运动矢量。参照图3说明具体例。 

图3是表示在预测运动矢量指定模式中使用的相邻块的运动矢量的一例的图。在图3中，相邻块A是编码对象块的左相邻的已编码块。相邻块B 是编码对象块的上相邻的已编码块。相邻块C是编码对象块的右上相邻的已编码块。相邻块D是编码对象块的左下相邻的已编码块。 

此外，在图3中，进行运动检测等的结果，编码对象块作为针对预测方向0的参照图片索引RefL0所示的参照图片的运动矢量而具有预测方向0的运动矢量MvL0，作为针对预测方向1的参照图片索引RefL1所示的参照图片的运动矢量而具有预测方向1的运动矢量MvL1，是通过双向预测而编码的块。在此，MvL0指的是参照由参照图片列表0（L0）确定的参照图片的运动矢量。此外，MvL1指的是参照由参照图片列表1（L1）确定的参照图片的运动矢量。 

此外，相邻块A是通过预测方向0的单向预测而编码的块。相邻块A作为针对预测方向0的参照图片索引RefL0_A所示的参照图片的运动矢量而具有预测方向0的运动矢量MvL0_A。此外，相邻块B是通过预测方向1的单向预测而编码的块。相邻块B作为针对预测方向1的参照图片索引RefL1_B所示的参照图片的运动矢量而具有预测方向1的运动矢量MvL1_B。此外，相邻块C是通过帧内预测而编码的块。此外，相邻块D是通过预测方向0的单向预测而编码的块。相邻块D作为针对预测方向0的参照图片索引RefL0_D所示的参照图片的运动矢量而具有预测方向0的运动矢量MvL0_D。 

这种情况下，作为编码对象块的预测运动矢量，例如在根据相邻块A、B、C、D的运动矢量及使用co-located块求出的时间预测运动矢量模式的运动矢量而生成的预测运动矢量候选中，选择能够最有效地对编码对象块的运动矢量进行编码的预测运动矢量。然后，在比特流中附加表示所选择的预测运动矢量的预测运动矢量索引。例如，在对编码对象块的预测方向0的运动矢量MvL0进行编码时，作为预测运动矢量而选择了相邻块A的预测方向0的运动矢量MvL0_A时，如图4所示，在比特流中仅附加表示使用了从相邻块A生成的预测运动矢量候选的预测运动矢量索引的值“0”。由此，能够减少编码对象块的预测方向0的运动矢量MvL0的信息量。 

在此，图4是表示预测方向0的预测运动矢量候选列表的一例的图。此外，如图4所示，在预测运动矢量指定模式下，将无法生成预测运动矢量的候选（以下称为“不可预测候选”）或与其他预测运动矢量候选的值一 致的候选（以下称为“重复候选”）从预测运动矢量候选删除。这样，通过削减预测运动矢量候选数，削减对预测运动矢量索引分配的符号量。在此，无法生成预测运动矢量指的是，（1）相邻块是通过帧内预测而编码的块；（2）相邻块是包含编码对象块的切片（slice）或图片边界外的块；或者（3）相邻块是未编码的块等。 

在图4的例子中，相邻块C通过帧内预测而编码。因此，预测运动矢量索引的值为“3”的预测候选是不可预测候选，从预测运动矢量候选列表删除。此外，从相邻块D生成的预测方向0的预测运动矢量与从相邻块A生成的预测方向0的预测运动矢量的值一致，所以预测运动矢量索引的值为“4”的预测候选从预测运动矢量候选列表删除。其结果，最终预测方向0的预测运动矢量候选数成为3，预测方向0的预测运动矢量候选列表的列表尺寸被设定为3。 

此外，图5是表示预测方向1的预测运动矢量候选列表的一例的图。在图5所示的例子中，通过删除不可预测候选及重复候选，最终预测方向1的预测运动矢量候选数成为2，预测方向1的预测运动矢量候选列表的列表尺寸被设定为2。 

如图6所示，预测运动矢量索引根据预测运动矢量候选列表尺寸的大小而被分配比特串并进行可变长度编码。此外，预测运动矢量候选列表尺寸为1的情况下，在比特流中不附加预测运动矢量索引，在解码侧推测为值0。这样，在预测运动矢量指定模式中，使对预测运动矢量索引分配的比特串根据预测运动矢量候选列表尺寸的大小而变化，从而削减符号量。 

图7是表示使用预测运动矢量指定模式时的编码处理的一例的流程图。 

在步骤S1001中，根据相邻块及co-located块（以下称为“预测块候选”）计算预测方向X的预测运动矢量候选。在此，X取“0”或“1”的值，分别表示预测方向0或预测方向1。预测方向X的预测运动矢量候选sMvLX使用预测块候选的运动矢量MvLX_N和参照图片索引RefLX_N及编码对象块的参照图片索引RefLX而通过下式来计算。 

sMvLX＝ 

MvLX_N×(POC(RefLX)－curPOC)／(POC(RefLX_N)－curPOC)…（式1） 

在此，POC（RefLX）表示参照图片索引RefLX所示的参照图片的显示 顺序，POC（RefLX_N）表示参照图片索引RefLX_N所示的参照图片的显示顺序，curPOC表示编码对象图片的显示顺序。另外，在预测块候选不具有预测方向X的运动矢量MvLX_N的情况下，使用预测方向（1-X）的运动矢量MvL（1-X）_N和参照图片索引RefL（1-X）_N，通过式2来计算预测运动矢量sMvLX。 

sMvLX＝ 

MvL(1-X)_N×(POC(RefLX)－curPOC)／(POC(RefL(1-X)_N)－curPOC) 

…（式2） 

图8A、图8B是表示式1、式2的预测运动矢量的计算例的图。另外，如式1、式2所示，POC（RefLX）与POC（RefLX_N）的值相同的情况下，即参照同一图片的情况下，可以将调度省略。 

在步骤S1002中，将重复候选及不可预测候选从预测方向X的预测运动矢量候选删除。在步骤S1003中，将删除处理后的预测运动矢量候选数设定为预测运动矢量候选列表尺寸。在步骤S1004中，决定在编码对象块的预测方向X的运动矢量编码中使用的预测运动矢量索引。在步骤S1005中，使用由预测运动矢量候选列表尺寸决定的比特串，对所决定的预测运动矢量索引进行可变长度编码。 

图9是表示使用预测运动矢量指定模式对运动图像进行编码的运动图像编码装置1000的构成的一例的框图。 

如图9所示，运动图像编码装置1000具备：减法部1001、正交变换部1002、量化部1003、逆量化部1004、逆正交变换部1005、加法部1006、块存储器1007、帧存储器1008、帧内预测部1009、帧间预测部1010、帧间预测控制部1011、图片类型决定部1012、开关1013、预测运动矢量候选计算部1014、colPic存储器1015、可变长度编码部1016。 

在图9中，预测运动矢量候选计算部1014计算预测运动矢量候选。然后，预测运动矢量候选计算部1014将计算的预测运动矢量候选数发送给可变长度编码部1016。可变长度编码部1016将预测运动矢量候选数设定为作为编码参数的预测运动矢量候选列表尺寸。然后，可变长度编码部1016对编码中使用的预测运动矢量索引分配与预测运动矢量候选列表尺寸相应的比特串，并进行可变长度编码。 

图10是表示使用预测运动矢量指定模式时的解码处理的一例的流程图。 

在步骤S2001中，根据相邻块及co-located块（预测块候选）计算预测方向X的预测运动矢量候选。在步骤S2002中，将重复候选及不可预测候选从预测运动矢量候选删除。在步骤S2003中，将删除处理后的预测运动矢量候选数设定为预测运动矢量候选列表尺寸。在步骤S2004中，使用预测运动矢量候选列表尺寸，从比特流解码在解码对象块的解码中使用的预测运动矢量索引。在步骤S2005中，在解码后的预测运动矢量索引所示的预测运动矢量候选中加上差分运动矢量而计算运动矢量，使用计算出的运动矢量，生成预测图像并进行解码处理。 

图11是表示对使用预测运动矢量指定模式而编码的运动图像进行解码的运动图像解码装置的构成的一例的框图。 

如图11所示，运动图像解码装置2000具备：可变长度解码部2001、逆量化部2002、逆正交变换部2003、加法部2004、块存储器2005、帧存储器2006、帧内预测部2007、帧间预测部2008、帧间预测控制部2009、开关2010、预测运动矢量候选计算部2011、colPic存储器2012。 

在图11中，预测运动矢量候选计算部2011计算预测运动矢量候选。然后，预测运动矢量候选计算部2011将计算出的预测运动矢量候选数发送给可变长度解码部2001。可变长度解码部2001将预测运动矢量候选数设定为作为解码参数的预测运动矢量候选列表尺寸。然后，可变长度解码部2001使用预测运动矢量候选列表尺寸，将比特流中包含的预测运动矢量索引解码。 

图12是表示在比特流中附加预测运动矢量索引时的语法的图。在图12中，inter_pred_flag表示帧间预测的预测方向标志。mvp_idx表示预测运动矢量索引。NumMVPCand表示预测运动矢量候选列表尺寸。该NumMVPCand被设定为从预测运动矢量候选删除了不可预测候选及重复候选之后的预测运动矢量候选数。 

如以上那样，使用预测运动矢量指定模式对运动图像进行编码或解码。但是，在上述预测运动矢量指定模式中，将预测运动矢量候选数设定为在对预测运动矢量索引进行编码或解码时使用的预测运动矢量候选列表尺 寸。该预测运动矢量候选数是使用包含co-located块等的参照图片信息而将不可预测候选或重复候选删除之后得到的。因此，在运动图像编码装置和运动图像解码装置之间发生预测运动矢量候选数不一致的情况下等，在运动图像编码装置和运动图像解码装置之间，对预测运动矢量索引分配的比特串发生不一致。其结果，运动图像解码装置有时无法将比特流正确地解码。 

例如，由于在传送路等上发生的丢包等，作为co-located块而参照的参照图片的信息丢失的情况下，co-located块的运动矢量或参照图片索引不明。因此，从co-located块生成的预测运动矢量候选的信息不明。这种情况下，在解码时无法将不可预测候选及重复候选正确地从预测运动矢量候选删除。其结果，运动图像解码装置无法正确地求出预测运动矢量候选列表尺寸，无法将预测运动矢量索引正常地解码。 

在此，本发明的目的在于，提供一种运动图像编码方法，通过不依赖于包含co-located块等的参照图片信息的方法，计算对预测运动矢量索引进行编码或解码时使用的预测运动矢量候选列表尺寸，从而提高容错性。 

在此，本发明的一个方式的运动图像编码方法，计算在将编码对象块的运动矢量编码时使用的预测运动矢量并对所述编码对象块进行编码，从而生成比特流，该运动图像编码方法包括以下步骤：决定步骤，决定成为所述预测运动矢量的候选的预测运动矢量候选的最大数；第1导出步骤，导出第1预测运动矢量候选；判定步骤，判定所述第1预测运动矢量候选的数量是否小于所述最大数；第2导出步骤，在判定为所述第1预测运动矢量候选的数量小于所述最大数的情况下，导出第2预测运动矢量候选；选择步骤，从所述第1预测运动矢量候选及第2预测运动矢量候选中，选择在所述编码对象块的所述运动矢量的编码中使用的所述预测运动矢量；以及编码步骤，使用所决定的所述最大数对用于确定所选择的所述预测运动矢量的索引进行编码，并将编码后的所述索引附加到所述比特流中。 

由此，能够使用所决定的最大数来对用于确定预测运动矢量候选的索引进行编码。即，能够不依赖于实际导出的预测运动矢量候选的数量而对索引进行编码。因此，在预测运动矢量候选的导出所需的信息（例如co-located块等信息）丢失的情况下，也能够在解码侧对索引进行解码， 能够提高容错性。此外，在解码侧能够不依赖于实际导出的预测运动矢量候选的数量而对索引进行解码。即，在解码侧，能够不等待预测运动矢量候选的导出处理而进行索引的解码处理。即，能够生成可并行地进行预测运动矢量候选的导出处理和索引的解码处理的比特流。 

进而，由此，在判定为第1预测运动矢量候选的数量小于最大数的情况下，能够导出第2预测运动矢量候选。因此，能够在不超过最大数的范围内增加预测运动矢量候选的数量，能够提高编码效率。 

例如可以是，在所述第1导出步骤中，导出与已经导出了运动矢量的第1预测运动矢量候选不重复的预测运动矢量候选，作为所述第1预测运动矢量候选。 

由此，能够将重复的第1预测运动矢量候选删除。其结果，能够增加第2预测运动矢量候选的数量，能够增加可选择的运动矢量的种类。因此，能够进一步提高编码效率。 

例如可以是，在所述第1导出步骤中，基于空间上或时间上相邻于所述编码对象块的块的编码中使用的运动矢量来导出所述第1预测运动矢量候选。 

由此，能够基于空间上或时间上相邻于所述编码对象块的块的编码中使用的运动矢量来导出所述第1预测运动矢量候选。 

例如可以是，在所述第1导出步骤中，导出空间上相邻于所述编码对象块的块中的、除了下述三种块以外的块的编码中使用的运动矢量，作为所述第1预测运动矢量候选，上述三种块是通过帧内预测而编码的块、位于包含所述编码对象块的切片或图片边界外的块、以及未编码的块。 

由此，为了得到预测运动矢量候选，能够从适当的块导出第1预测运动矢量候选。 

例如可以是，在所述第2导出步骤中，导出运动矢量与所述第1预测运动矢量候选不同的预测运动矢量候选，作为所述第2预测运动矢量候选。 

由此，能够将运动矢量与第1预测运动矢量候选不同的预测运动矢量候选作为第2预测运动矢量候选而导出。因此，能够增加运动矢量不同的预测运动矢量候选，能够进一步提高编码效率。 

例如可以是，在所述编码步骤中，还在所述比特流中附加表示所决定 的所述最大数的信息。 

由此，能够在比特流中附加表示所决定的最大数的信息。因此，能够以适当的单位切换最大数，能够提高编码效率。 

例如也可以是，所述运动图像编码方法还包括以下步骤切换步骤，将编码处理切换为依据于第1规格的第1编码处理或依据于第2规格的第2编码处理；以及附加步骤，在所述比特流中附加表示被切换的所述编码处理所依据的所述第1规格或所述第2规格的识别信息；所述编码处理被切换为所述第1编码处理的情况下，作为所述第1编码处理，进行所述决定步骤、所述第1导出步骤、所述判定步骤、所述第2导出步骤、所述选择步骤、所述编码步骤。 

由此，能够切换依据于第1规格的第1编码处理和依据于第2规格的第2编码处理。 

此外，本发明的一个方式的运动图像解码方法，计算在对比特流中包含的解码对象块的运动矢量进行解码时使用的预测运动矢量，并对所述解码对象块进行解码，其特征在于，包括以下步骤：决定步骤，决定成为所述预测运动矢量的候选的预测运动矢量候选的最大数；第1导出步骤，导出第1预测运动矢量候选；判定步骤，判定所述第1预测运动矢量候选的数量是否小于所述最大数；第2导出步骤，在判定为所述第1预测运动矢量候选的数量小于所述最大数的情况下，导出第2预测运动矢量候选；解码步骤，使用所决定的所述最大数，对附加于所述比特流的编码后的索引且用于确定所述预测运动矢量的索引进行解码；以及选择步骤，基于解码后的所述索引，从所述第1预测运动矢量候选及所述第2预测运动矢量候选中选择在所述解码对象块的解码中使用的预测运动矢量。 

由此，能够使用所决定的最大数来对用于确定预测运动矢量候选的索引进行解码。即，能够不依赖于实际导出的预测运动矢量候选的数量而对索引进行解码。因此，在预测运动矢量候选的导出所需的信息（例如co-located块等的信息）丢失的情况下，也能够对索引进行解码，能够提高容错性。此外，能够不等待预测运动矢量候选的导出处理而进行索引的解码处理，能够并行地进行预测运动矢量候选的导出处理和索引的解码处理。 

此外，由此，在判定为第1预测运动矢量候选的数量小于最大数的情况下，能够导出第2预测运动矢量候选。因此，能够在不超过最大数的范围内增加预测运动矢量候选的数量，能够对提高了编码效率的编码图像进行解码。 

例如也可以是，在所述第1导出步骤中，导出与已经导出了运动矢量的第1预测运动矢量候选不重复的预测运动矢量候选，作为所述第1预测运动矢量候选。 

由此，能够将重复的第1预测运动矢量候选删除。其结果，能够增加第2预测运动矢量候选的数量，能够增加可选择的运动矢量的种类。因此，能够对进一步提高了编码效率的编码图像进行解码。 

例如可以是，在所述第1导出步骤中，基于空间上或时间上相邻于所述解码对象块的块的解码中使用的运动矢量，来导出所述第1预测运动矢量候选。 

由此，能够基于空间上或时间上相邻于所述解码对象块的块的解码中使用的运动矢量来导出所述第1预测运动矢量候选。 

例如可以是，在所述第1导出步骤中，导出空间上相邻于所述解码对象块的块候选中的、除了下述三种块以外的块的解码中使用的运动矢量，作为所述第1预测运动矢量候选，上述三种块是通过帧内预测而解码的块、位于包含所述解码对象块的切片或图片边界外的块、以及未解码的块。 

由此，为了得到预测运动矢量候选，能够从适当的块导出第1预测运动矢量候选。 

例如可以是，在所述第2导出步骤中，导出运动矢量与所述第1预测运动矢量候选不同的预测运动矢量候选，作为所述第2预测运动矢量候选。 

由此，能够导出运动矢量与所述第1预测运动矢量候选不同的预测运动矢量候选，作为所述第2预测运动矢量候选。因此，能够增加运动矢量不同的预测运动矢量候选，能够对进一步提高了编码效率的编码图像进行解码。 

例如可以是，在所述决定步骤中，基于附加于所述比特流的表示最大数的信息，来决定所述最大数。 

由此，能够基于附加于比特流的信息来决定最大数。因此，能够以适 当的单位来切换最大数，从而对编码后的图像进行解码。 

例如可以是，所述运动图像解码方法还根据附加于所述比特流的表示第1规格或第2规格的识别信息，在依据于所述第1规格的第1解码处理或依据于所述第2规格的第2解码处理中包含切换解码处理的切换步骤，在所述解码处理被切换为第1解码处理的情况下，作为所述第1解码处理而进行所述决定步骤、所述第1导出步骤、所述判定步骤、所述第2导出步骤、所述解码步骤、所述选择步骤。 

由此，能够切换依据于第1规格的第1解码处理和依据于第2规格的第2解码处理。 

另外，这些全部或具体的方式可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。 

以下，参照附图具体说明本发明的一个方式的运动图像编码装置及运动图像解码装置。 

另外，以下说明的实施方式都只是本发明的一具体例。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等只是一例，不意图限定本发明。此外，对于以下的实施方式的构成要素中的、未记载于表示最上位概念的独立权利要求的构成要素，作为任意的构成要素来说明。 

（实施方式1） 

图13是表示实施方式1的运动图像编码装置100的构成的框图。 

如图13所示，运动图像编码装置100具备：减法部101、正交变换部102、量化部103、逆量化部104、逆正交变换部105、加法部106、块存储器107、帧存储器108、帧内预测部109、帧间预测部110、帧间预测控制部111、图片类型决定部112、开关113、预测运动矢量候选计算部114、colPic存储器115、及可变长度编码部116。 

减法部101按照每个块从输入图像列中包含的输入图像数据减去预测图像数据，从而预测误差数据。正交变换部102对生成的预测误差数据进行从图像区域向频域的变换。量化部103对变换为频域的预测误差数据进行量化处理。 

逆量化部104对由量化部103进行量化处理后的预测误差数据进行逆量化处理。逆正交变换部105对逆量化处理后的预测误差数据进行从频域向图像区域的变换。 

加法部106按照每个编码对象块将预测图像数据和由逆正交变换部105逆量化处理后的预测误差数据相加，从而生成重构图像数据。在块存储器107中以块为单位保存有重构图像数据。在帧存储器108中以块为单位保存有重构图像数据。 

图片类型决定部112决定以I图片、B图片及P图片的哪个图片类型对输入图像数据进行编码。然后，图片类型决定部112生成图片类型信息。帧内预测部109使用保存在块存储器107中的块单位的重构图像数据来进行帧内预测，从而生成编码对象块的帧内预测图像数据。帧间预测部110使用保存在帧存储器108中的帧单位的重构图像数据和通过运动检测等导出的运动矢量来进行帧间预测，从而生成编码对象块的帧间预测图像数据。 

开关113在编码对象块被进行帧内预测编码的情况下，将由帧内预测部109生成的帧内预测图像数据作为编码对象块的预测图像数据输出至减法部101及加法部106。另一方面，开关113在编码对象块被进行帧间预测编码的情况下，将由帧间预测部110生成的帧间预测图像数据作为编码对象块的预测图像数据输出至减法部101及加法部106。 

预测运动矢量候选计算部114使用编码对象块的相邻块的运动矢量等、以及存放在colPic存储器115中的co-located块的运动矢量等colPic信息，导出预测运动矢量指定模式的预测运动矢量候选。然后，预测运动矢量候选计算部114通过后述的方法，计算可预测候选数。此外，预测运动矢量候选计算部114对导出的预测运动矢量候选分配预测运动矢量索引的值。然后，预测运动矢量候选计算部114将预测运动矢量候选和预测运动矢量索引发送给帧间预测控制部111。此外，预测运动矢量候选计算部114将计算出的可预测候选数发送给可变长度编码部116。 

帧间预测控制部111对帧间预测部110进行控制，以使用利用由运动检测导出的运动矢量而生成的帧间预测图像来进行帧间预测编码。此外，帧间预测控制部111通过后述的方法选择对在帧间预测编码中使用的运动矢量的编码来说最合适的预测运动矢量候选。然后，帧间预测控制部111 将与选择的预测运动矢量候选对应的预测运动矢量索引和预测的误差信息（差分运动矢量）发送给可变长度编码部116。进而，帧间预测控制部111将包含编码对象块的运动矢量等的colPic信息传送给colPic存储器115。 

可变长度编码部116对量化处理后的预测误差数据、预测方向标志、图片类型信息及差分运动矢量进行可变长度编码处理，从而生成比特流。此外，可变长度编码部116将可预测候选数设定为预测运动矢量候选列表尺寸。然后，可变长度编码部116对在运动矢量编码中使用的预测运动矢量索引分配与预测运动矢量候选列表尺寸对应的比特串，进行可变长度编码。 

图14是表示实施方式1的运动图像编码装置100的处理动作的流程图。 

在步骤S101中，帧间预测控制部111通过运动检测，决定编码对象块的预测方向、参照图片索引及运动矢量。在此，在运动检测中，例如计算编码图片内的编码对象块与参照图片内的块的差分值，将差分值最小的参照图片内的块决定为参照块。然后，使用求出运动矢量的方法等，根据编码对象块位置和参照块位置求出运动矢量。此外，帧间预测控制部111对预测方向0和预测方向1的参照图片分别进行运动检测，例如通过R-D最优化模型的下式等来计算是否选择预测方向0或预测方向1或双向预测。 

Cost＝D＋λ×R…（式3） 

在式3中，D表示编码失真，使用利用以某运动矢量生成的预测图像对编码对象块进行编码及解码而得到的像素值与编码对象块的原来的像素值的差分绝对值和等。此外，R表示发生符号量，使用对预测图像生成中使用的运动矢量进行编码时所需的符号量等。此外，λ是拉格朗日不定乘数。 

在步骤S102中，预测运动矢量候选计算部114从编码对象块的相邻块及co-located块导出预测运动矢量候选。此外，预测运动矢量候选计算部114通过后述的方法，计算预测运动矢量候选列表尺寸。 

例如在图3的情况下，预测运动矢量候选计算部114作为编码对象块的预测运动矢量候选，例如选择相邻块A、B、C及D所具备的运动矢量。进而，预测运动矢量候选计算部114计算从co-located块的运动矢量通过时间预测模式计算的运动矢量等，作为预测运动矢量候选。 

预测运动矢量候选计算部114如图15（a）及图16（a）所示，对预测 方向0及预测方向1的预测运动矢量候选分配预测运动矢量索引。然后，预测运动矢量候选计算部114通过后述的方法进行不可预测候选及重复候选的删除及新候选追加，从而计算图15（b）及图16（b）那样的预测运动矢量候选列表及预测运动矢量候选列表尺寸。 

预测运动矢量索引的值越小，则被分配越短的符号。即，预测运动矢量索引的值较小的情况下，预测运动矢量索引所需的信息量变少。另一方面，若预测运动矢量索引的值变大，则预测运动矢量索引所需的信息量变大。因此，如果对于成为精度更高的预测运动矢量的可能性较高的预测运动矢量候选分配值较小的预测运动矢量索引，则提高了编码效率。 

在此，可以是，预测运动矢量候选计算部114例如按照每个预测运动矢量候选，计测被选为预测运动矢量的次数，对于该次数较多的预测运动矢量候选，分配值较小的预测运动矢量索引。具体地说，预先确定在相邻块中被选择的预测运动矢量，在对象块的编码时，减小针对所确定的预测运动矢量候选的预测运动矢量索引的值。 

另外，相邻块不具有运动矢量等信息的情况下（是通过帧内预测而编码的块的情况、是位于图片或切片的边界外等的块的情况、以及是未编码的块的情况等），无法作为预测运动矢量候选来利用。 

在本实施方式中，将无法作为预测运动矢量候选来利用称为不可预测候选。此外，将能够作为预测运动矢量候选来利用称为可预测候选。此外，在多个预测运动矢量候选中，将与其他任一预测运动矢量的值一致的候选称为重复候选。 

在图3的情况下，相邻块C是通过帧内预测而编码的块，所以作为不可预测候选。此外，从相邻块D生成的预测方向0的预测运动矢量sMvL0_D与从相邻块A生成的预测方向0的预测运动矢量MvL0_A的值一致，所以作为重复候选。 

在步骤S103中，帧间预测控制部111通过后述的方法决定在预测方向X的运动矢量编码中使用的预测运动矢量索引的值。 

在步骤S104中，可变长度编码部116对于在预测方向X的运动矢量编码中使用的预测运动矢量候选的预测运动矢量索引分配与图6所示那样的预测运动矢量候选列表尺寸相对应的比特串，并进行可变长度编码。 

在本实施方式中，如图15（a）及图16（a）所示，作为与相邻块A对应的预测运动矢量索引的值而分配“0”。此外，作为与相邻块B对应的预测运动矢量索引的值而分配“1”。此外，作为与co-located块对应的预测运动矢量索引的值而分配“2”。此外，作为与相邻块C对应的预测运动矢量索引的值而分配“3”。此外，作为与相邻块D对应的预测运动矢量索引的值而分配“4”。 

另外，预测运动矢量索引的值的分配方法并不限于该例。例如也可以是，可变长度编码部116使用后述的方法来追加新候选的情况下等，对原来的预测运动矢量候选分配较小的值，对新候选分配较大的值。即，可变长度编码部116可以对原来的预测运动矢量候选优先分配较小的值的预测运动矢量索引。 

此外，预测运动矢量候选并不限于相邻块A、B、C、D的位置。例如也可以将位于左下相邻块D之上的相邻块等作为预测运动矢量候选来使用。此外，并不是必须将全部相邻块作为预测运动矢量候选来使用。例如，也可以仅将相邻块A、B作为预测运动矢量候选来使用。或者也可以是，如果相邻块D为不可预测候选，则使用相邻块A等，依次扫描相邻块。 

此外，在本实施方式中，在图14的步骤S104中，可变长度编码部116在比特流中附加预测运动矢量索引，但并不是必须在比特流中附加预测运动矢量索引。例如也可以是，可变长度编码部116在预测运动矢量候选列表尺寸为1的情况下，不在比特流中附加预测运动矢量索引。由此，能够削减预测运动矢量索引的信息量。 

图17是表示图14的步骤S102的详细处理的流程图。具体地说，图17表示计算预测运动矢量候选及预测运动矢量候选列表尺寸的方法。以下说明图17。 

在步骤S111中，预测运动矢量候选计算部114通过后述的方法判定预测块候选［N］是否为可预测候选。然后，预测运动矢量候选计算部114按照判定结果更新可预测候选数。 

在此，N是用于表示各预测块候选的索引值。在本实施方式中，N取0～4的值。具体地说，对预测块候选［0］分配图3的相邻块A。此外，对预测块候选［1］分配图3的相邻块B。此外，对预测块候选［2］分配co-located 块。此外，对预测块候选［3］分配图3的相邻块C。此外，对预测块候选［4］分配图3的相邻块D。 

在步骤S112中，预测运动矢量候选计算部114根据预测块候选［N］，使用上述的式1、式2计算预测方向X的预测运动矢量候选，并追加到预测运动矢量候选列表中。 

在步骤S113中，预测运动矢量候选计算部114如图15及图16所示，从预测运动矢量候选列表检索不可预测候选及重复候选并删除。 

在步骤S114中，预测运动矢量候选计算部114通过后述的方法在预测运动矢量候选列表中追加新候选。在此可以是，在追加新候选时，预测运动矢量候选计算部114像原来对某预测运动矢量候选优先分配较小的预测运动矢量索引那样，进行预测运动矢量索引的值的再分配。即，预测运动矢量候选计算部114可以像对新候选分配值较大的预测运动矢量索引那样，进行预测运动矢量索引的值的再分配。由此，能够削减预测运动矢量索引的符号量。 

在步骤S115中，预测运动矢量候选计算部114将在步骤S111中计算出的可预测候选数设定为预测运动矢量候选列表尺寸。在图15及图16的例子，通过后述的方法，预测方向0的可预测候选数计算为“4”，对预测方向0的预测运动矢量候选列表尺寸设定“4”。此外，预测方向1的可预测候选数计算为“4”，对预测方向1的预测运动矢量候选列表尺寸设定“4”。 

另外，步骤S114中的新候选指的是，通过后述的方法而预测运动矢量候选数未达到可预测候选数的情况下，对预测运动矢量候选新追加的候选。例如可以是，新候选是从位于图3的左下相邻块D之上的相邻块生成的预测运动矢量。此外，新候选例如也可以是从与co-located块的相邻块A、B、C、D对应的块生成的预测运动矢量。此外，新候选例如可以是根据参照图片的画面整体或一定区域的运动矢量的统计等计算的预测运动矢量。这样，在预测运动矢量候选数未达到可预测候选数的情况下，预测运动矢量候选计算部114通过将新的预测运动矢量作为新候选而追加，能够提高编码效率。 

图18是表示图17的步骤S111的详细处理的流程图。具体地说，图18是表示判定预测块候选［N］是否为可预测候选并更新可预测候选数的方法。 以下说明图18。 

在步骤S121中，预测运动矢量候选计算部114判定预测块候选［N］是否为（1）通过帧内预测而编码的块、或（2）位于包含编码对象块的切片或图片边界外的块、或（3）尚未编码的块。 

在此，如果步骤S121的判定结果为真（S121：是），则在步骤S122中，预测运动矢量候选计算部114将预测块候选［N］设定为不可预测候选。另一方面，如果步骤S121的判定结果为伪（S121：否），则在步骤S123中，预测运动矢量候选计算部114将预测块候选［N］设定为可预测候选。 

在步骤S124中，预测运动矢量候选计算部114判定预测块候选［N］是否为可预测候选或是否为co-located块候选。在此，如果步骤S124的判定结果为真（S124：是），则在步骤S5中，预测运动矢量候选计算部114对可预测候选数加1，更新预测运动矢量候选数。另一方面，如果步骤S124的判定结果为伪（S124：否），则预测运动矢量候选计算部114不更新可预测候选数。 

这样，预测块候选为co-located块的情况下，预测运动矢量候选计算部114不论co-located块是可预测候选还是不可预测候选，都对可预测候选数加1。由此，即使在丢包等co-located块的信息丢失的情况下，在运动图像编码装置和运动图像解码装置之间也不会发生可预测候选数不一致。 

该可预测候选数在图17的步骤S115中被设定为预测运动矢量候选列表尺寸。此外，在图14的S104中，预测运动矢量候选列表尺寸用于预测运动矢量索引的可变长度编码。由此，即使在丢失了包含co-located块等的参照图片信息的情况下，运动图像编码装置100也能够生成能够正确解码预测运动矢量索引的比特流。 

图19是表示图17的步骤S114的详细处理的流程图。具体地说，图19表示追加新候选的方法。以下说明图19。 

在步骤S131中，预测运动矢量候选计算部114判定预测运动矢量候选数是否小于可预测候选数。即，预测运动矢量候选计算部114判定预测运动矢量候选数是否未达到可预测候选数。 

在此，如果步骤S131的判定结果为真（S131：是），则在步骤S132中， 预测运动矢量候选计算部114判定是否存在能够作为预测运动矢量候选追加到预测运动矢量候选列表中的新候选。在此，如果步骤S132的判定结果为真（S132：是），则在步骤S133中，预测运动矢量候选计算部114对新候选分配预测运动矢量索引的值，将新候选追加到预测运动矢量候选列表中。此外，在步骤S134中，预测运动矢量候选计算部114对预测运动矢量候选数加1。 

另一方面，如果步骤S131或步骤S132的判定结果为伪（S131或S132：否），则结束新候选追加处理。即，在预测运动矢量候选数达到可预测候选数的情况下、或不存在新候选的情况下，结束新候选追加处理。 

图20是表示图14的步骤S103的详细处理的流程图。具体地说，图20表示与预测运动矢量候选的选择有关的处理。以下说明图20。 

在步骤S141中，帧间预测控制部111作为初始化而对预测运动矢量候选索引mvp_idx设定0，对最小差分运动矢量设定值的最大值。 

在步骤S142中，帧间预测控制部111判定预测运动矢量候选索引mvp_idx的值是否小于预测运动矢量候选数。即，帧间预测控制部111判定是否已计算了全部预测运动矢量候选的差分运动矢量。 

在此，如果仍残留有预测运动矢量候选（S142：是），则在步骤S143中，帧间预测控制部111从通过运动检测求出的运动矢量（运动检测结果矢量）减去预测运动矢量候选，从而计算差分运动矢量。 

在步骤S144中，帧间预测控制部111判定由步骤S143求出的差分运动矢量的值是否小于最小差分运动矢量。 

在此，如果步骤S144的判定结果为真（S144：是），则在步骤S145中，帧间预测控制部111更新最小差分运动矢量及预测运动矢量索引的值。另一方面，如果步骤S144的判定结果为伪（S144：否），则帧间预测控制部111不更新最小差分运动矢量及预测运动矢量索引的值。 

在步骤S146中，帧间预测控制部111通过＋1来更新预测运动矢量候选索引，返回步骤S142并判定是否存在下一预测运动矢量候选。 

另一方面，在步骤S2中，如果判定为已经对于全部预测运动矢量候选计算了差分运动矢量（S142：否），则在步骤S147中，帧间预测控制部111确定最终设定的最小差分运动矢量及预测运动矢量索引。 

这样，根据本实施方式的运动图像编码装置100，能够通过不依赖于包含co-located块等的参照图片信息的方法，计算在对预测运动矢量索引进行编码或解码时使用的预测运动矢量候选列表尺寸。由此，运动图像编码装置100能够提高容错性。 

更具体地说，本实施方式的运动图像编码装置100无论co-located块是否为可预测候选，只要预测块候选是co-located块，总是对可预测候选数加1。并且，运动图像编码装置100使用这样计算的可预测候选数，决定对预测运动矢量索引分配的比特串。由此，运动图像编码装置100即使在丢失了包含co-located块的参照图片信息的情况下，也能够生成能够正确解码预测运动矢量索引的比特流。 

此外，本实施方式的运动图像编码装置100在预测运动矢量候选数未达到可预测候选数的情况下，作为预测运动矢量候选而追加具备新的预测运动矢量的新候选，从而能够提高编码效率。 

另外，在本实施方式中，运动图像编码装置100在预测运动矢量候选数未达到可预测候选数的情况下，作为预测运动矢量候选而追加具备新的预测运动矢量的新候选，但是不限于此。例如也可以是，运动图像编码装置100在制作预测运动矢量候选列表时，作为预测运动矢量候选列表上的全部预测运动矢量候选的初始值而预先设定具备新的预测运动矢量的新候选。这种情况下，运动图像编码装置100计算预测运动矢量候选并追加到预测运动矢量候选列表中时，将作为初始值的新候选覆盖。并且，运动图像编码装置100在将计算出的预测运动矢量候选追加到预测运动矢量候选列表之前，进行预测运动矢量候选是否为不可预测候选或重复候选的判定。由此，在存在不可预测候选或重复候选的情况下，在预测运动矢量候选列表中残留有作为初始值的新候选。通过这样的方法，也能够将新候选作为预测运动矢量候选而追加。 

此外，在本实施方式中，示出了使用预测运动矢量指定模式的例子，该预测运动矢量指定模式指的是，从编码对象块的相邻块生成预测运动矢量候选，并进行编码对象块的运动矢量的编码，但是不限于此。例如，也可以使用直接模式或跳过模式。在直接模式或跳过合并模式中，可以如图15（b）及图16（b）那样，从制作的预测运动矢量候选选择预测运动矢量， 将选择的预测运动矢量作为运动矢量而生成直接预测图像，从而不在比特流中附加运动矢量差分。 

（实施方式2） 

在上述实施方式1中，运动图像编码装置无论co-located块是否为可预测候选，只要预测块候选是co-located块就总是加1，并使用由此计算的可预测候选数来决定对预测运动矢量索引分配的比特串，但是不限于此。例如也可以是，运动图像编码装置在图18的步骤S124中，对co-located块以外的预测块候选也总是加1，并使用由此计算的可预测候选数来决定对预测运动矢量索引分配的比特串。即，也可以是，运动图像编码装置使用固定为预测运动矢量候选数的最大值N的预测运动矢量候选列表尺寸，对预测运动矢量索引分配比特串。即，也可以是，运动图像编码装置将全部预测块候选看做可预测候选，将预测运动矢量候选列表尺寸固定为预测运动矢量候选数的最大值N，并对预测运动矢量索引进行编码。 

例如可以是，在上述实施方式1中，预测运动矢量候选数的最大值N为5（相邻块A、相邻块B、co-located块、相邻块C、相邻块D），所以运动图像编码装置始终将预测运动矢量候选列表尺寸设定为5，并对预测运动矢量索引进行编码。此外，例如可以是，在预测运动矢量候选数的最大值N为4（相邻块A、相邻块B、相邻块C、相邻块D）的情况下，运动图像编码装置始终将预测运动矢量候选列表尺寸设定为4，并对预测运动矢量索引进行编码。 

这样，运动图像编码装置可以根据预测运动矢量候选数的最大值来决定预测运动矢量候选列表尺寸。由此，运动图像解码装置的可变长度解码部能够生成不参照相邻块或co-located块的信息就能够将比特流中的预测运动矢量索引解码的比特流，能够削减可变长度解码部的处理量。 

以下，作为实施方式2的运动图像编码装置，具体说明这样的运动图像编码装置的特征性构成。 

图21是表示实施方式2的运动图像编码装置200的构成的框图。该运动图像编码装置200通过按照每个块对图像进行编码，生成比特流。运动图像编码装置200具备：预测运动矢量候选导出部210、预测控制部220、编码部230。 

预测运动矢量候选导出部210对应于上述实施方式1中的预测运动矢量候选计算部114。预测运动矢量候选导出部210导出预测运动矢量候选。然后，预测运动矢量候选导出部210生成例如将导出的各预测运动矢量候选与用于确定该预测运动矢量候选的索引（以下称为“预测运动矢量索引”）建立了对应的预测运动矢量候选列表。 

预测运动矢量候选指的是，成为在编码对象块的编码中使用的预测运动矢量的候选的运动矢量。 

如图21所示，预测运动矢量候选导出部210具备：决定部211、第1导出部212、确定部213、判定部214、第2导出部215。 

决定部211决定预测运动矢量候选的最大数。即，决定部211决定预测块候选数的最大值N。 

例如，决定部211基于输入图像列（序列、图片、切片、或块等）的特征，决定预测运动矢量候选的最大数。此外，例如也可以是，决定部211将预先决定的数决定为预测运动矢量候选的最大数。 

第1导出部212导出第1预测运动矢量候选。具体地说，第1导出部212以第1预测运动矢量候选的数量不超过最大数的方式导出第1预测运动矢量候选。更具体地说，第1导出部212例如基于空间上或时间上相邻于编码对象块的块的编码中使用的运动矢量，导出第1预测运动矢量候选。然后，第1导出部212例如将这样导出的第1预测运动矢量候选与预测运动矢量索引建立对应，并登录到预测运动矢量候选列表中。 

空间上相邻的块指的是包含编码对象块的图片内的块且相邻于编码对象块的块。具体地说，空间上相邻的块例如是图3所示的相邻块A～D。 

时间上相邻的块指的是与包含编码对象块的图片不同的图片中包含的块且与编码对象块对应的块。具体地说，时间上相邻的块例如是co-located块。 

另外，时间上相邻的块并不必须是与编码对象块相同位置的块（co-located块）。例如，时间上相邻的块也可以是与co-located块相邻的块。 

另外，也可以是，第1导出部212例如将空间上相邻于编码对象块的块中的、除了不可预测候选的块以外的块的编码中使用的运动矢量作为第1 预测运动矢量候选而导出。不可预测候选的块指的是通过帧内预测而编码的块、位于包含编码对象块的切片或图片边界外的块、或尚未编码的块。由此，为了得到预测运动矢量候选，能够从适当的块导出第1预测运动矢量候选。 

确定部213在导出了多个第1预测运动矢量候选的情况下，确定运动矢量与其他第1预测运动矢量候选重复的第1预测运动矢量候选（重复候选）。然后，确定部213将确定的重复候选从预测运动矢量候选列表删除。 

判定部214判定第1预测运动矢量候选的数量是否小于所决定的最大数。在此，判定部214判定除了确定的重复的第1预测运动矢量候选以外的第1预测运动矢量候选的数量是否小于所决定的最大数。 

第2导出部215在判定为第1预测运动矢量候选的数量小于所决定的最大数的情况下，导出第2预测运动矢量候选。具体地说，第2导出部215以第1预测运动矢量候选的数量与第2预测运动矢量候选的数量之和不超过最大数的方式导出第2预测运动矢量候选。在此，第2导出部215以除了重复候选之外的第1预测运动矢量候选的数量与第2预测运动矢量候选的数量之和不超过最大数的方式导出第2预测运动矢量候选。 

该第2预测运动矢量候选相当于实施方式1中的新候选。因此，第2导出部215例如可以基于在于第1预测运动矢量候选不同的相邻块的编码中使用的运动矢量，导出第2预测运动矢量候选。 

此外，例如也可以是，第2导出部215将运动矢量与第1预测运动矢量候选不同的预测运动矢量候选作为第2预测运动矢量候选而导出。由此，能够增加运动矢量不同的预测运动矢量候选，能够进一步提高编码效率。 

另外，第2导出部215并不是必须将与第1预测运动矢量候选不重复的预测运动矢量候选作为第2预测运动矢量候选导出。即，第2导出部215从结果来说，也可以将与第1预测运动矢量候选重复的预测运动矢量候选作为第2预测运动矢量候选而导出。 

然后，第2导出部215例如将这样导出的第2预测运动矢量候选与预测运动矢量索引建立对应并登录到预测运动矢量候选列表中。这时，第2导出部215与实施方式1同样，可以将第2预测运动矢量候选登录到预测运动矢量候选列表中，以对第1预测运动矢量候选分配值比第2预测运动 矢量候选更小的预测运动矢量索引。由此，运动图像编码装置200在第1预测运动矢量候选与第2预测运动矢量候选相比更可能被选择为编码中使用的预测运动矢量候选的情况下，能够削减符号量，能够提高编码效率。 

另外，第2导出部215并不是必须以第1预测运动矢量候选的数量和第2预测运动矢量候选的数量之和与决定的最大数一致的方式导出第2预测运动矢量候选。第1预测运动矢量候选的数量和第2预测运动矢量候选的数量之和小于所决定的最大数的情况下，例如可以存在未与预测运动矢量候选建立对应的预测运动矢量索引的值。 

预测控制部220从第1预测运动矢量候选及第2预测运动矢量候选中选择在编码对象块的编码中使用的预测运动矢量。即，预测控制部220从预测运动矢量候选列表选择在编码对象块的编码中使用的预测运动矢量。 

编码部230使用所决定的最大数，对用于确定所选择的预测运动矢量候选的索引（预测运动矢量索引）进行编码。具体地说，编码部230如图6所示，将对选择的预测运动矢量候选的索引值分配的比特串进行可变长度编码。此外，编码部230将编码后的索引附加到比特流中。 

在此，编码部230也可以还将表示由决定部211决定的最大数的信息附加到比特流中。具体地说，编码部230可以将表示最大数的信息例如写入切片头等。由此，能够以适当的单位切换最大数，能够提高编码效率。 

另外，编码部230并不是必须将表示最大数的信息附加到比特流中。例如，由标准规定了最大数的情况下、或最大数与既定值相同的情况下等，编码部230也可以不在比特流中附加表示最大数的信息。 

接下来说明以上那样构成的运动图像编码装置200的各种动作。 

图22是表示实施方式2的运动图像编码装置200的处理动作的流程图。 

首先，决定部211决定预测运动矢量候选的最大数（S201）。第1导出部212导出第1预测运动矢量候选（S202）。确定部213在导出了多个第1预测运动矢量候选的情况下，确定运动矢量与其他第1预测运动矢量候选重复的第1预测运动矢量候选（S203）。 

判定部214判定除了重复候选之外的第1预测运动矢量候选的数量是否小于所决定的最大数（S204）。在此，判定为除了重复候选之外的第1预测运动矢量候选的数量小于所决定的最大数的情况下（S204：是），第2导 出部215导出第2预测运动矢量候选（S205）。另一方面，未判定为除了重复候选之外的第1预测运动矢量候选的数量小于所决定的最大数的情况下（S204：否），第2导出部215不导出第2预测运动矢量候选。这些步骤S204及步骤S205相当于实施方式1中的步骤S114。 

预测控制部220从第1预测运动矢量候选及第2预测运动矢量候选中选择在编码对象块的编码中使用的预测运动矢量（S206）。例如，预测控制部220与实施方式1同样，从预测运动矢量候选列表选择差分运动矢量为最小的预测运动矢量。 

编码部230使用所决定的最大数，对用于确定所选择的预测运动矢量候选的索引进行编码（S207）。此外，编码部230将编码后的索引附加到比特流中。 

如以上那样，根据本实施方式的运动图像编码装置200，能够使用所决定的最大数，对用于确定所选择的预测运动矢量候选的索引进行编码。即，能够不依赖于实际导出的预测运动矢量候选的数量而对索引进行编码。因此，即使在预测运动矢量候选的导出所需的信息（例如co-located块等的信息）丢失的情况下，也能够在解码侧对索引进行解码，能够提高容错。此外，在解码侧，能够不依赖于实际导出的预测运动矢量候选的数量而对索引进行解码。即，在解码侧，能够不等待预测运动矢量候选的导出处理而进行索引的解码处理。即，能够生成能够并行地进行预测运动矢量候选的导出处理和索引的解码处理的比特流。 

此外，根据本实施方式的运动图像编码装置200，在判定为第1预测运动矢量候选的数量小于最大数的情况下，能够导出第2预测运动矢量候选。因此，能够在不超过最大数的范围内增加预测运动矢量候选的数量，能够提高编码效率。 

此外，根据本实施方式的运动图像编码装置200，能够根据除了重复的第1预测运动矢量候选之外的第1预测运动矢量候选的数量来导出第2预测运动矢量候选。其结果，能够增加第2预测运动矢量候选的数量，能够增加可选择的运动矢量的种类。因此，能够进一步提高编码效率。 

另外，在本实施方式中，运动图像编码装置200具备确定部213，但并不是必须具备确定部213。即，在图22所示的流程图中，并不是必须包含 步骤S203。这种情况下，运动图像编码装置200也能够使用所决定的最大数，对用于确定所选择的预测运动矢量候选的索引进行编码，所以能够提高容错性。 

此外，在本实施方式中，如图22所示，在第1导出部212导出第1预测运动矢量候选之后，由确定部213确定重复候选，但并不是必须按照这样的顺序来处理。例如也可以是，第1导出部212在导出第1预测运动矢量候选的过程中确定重复候选，以所确定的重复候选不包含于第1预测运动矢量候选的方式导出第1预测运动矢量候选。即，第1导出部212可以将与已经导出了运动矢量的第1预测运动矢量候选不重复的预测运动矢量候选作为第1预测运动矢量候选而导出。更具体地说，例如可以是，基于左相邻块的预测运动矢量候选已经作为第1预测运动矢量候选被导出的情况下，如果基于上相邻块的预测运动矢量候选与基于左相邻块的预测运动矢量候选不重复，则将基于第1导出部212上相邻块的预测运动矢量候选作为第1预测运动矢量候选导出。 

（实施方式3） 

图23是表示实施方式3的运动图像解码装置300的构成的框图。 

运动图像解码装置300如图23所示，具备：可变长度解码部301、逆量化部302、逆正交变换部303、加法部304、块存储器305、帧存储器306、帧内预测部307、帧间预测部308、帧间预测控制部309、开关310、预测运动矢量候选计算部311、及colPic存储器312。 

可变长度解码部301对输入的比特流进行可变长度解码处理，生成图片类型信息、预测方向标志、量化系数及差分运动矢量。此外，可变长度解码部301使用后述的可预测候选数，进行预测运动矢量索引的可变长度解码处理。 

逆量化部302对通过可变长度解码处理得到的量化系数进行逆量化处理。逆正交变换部303将通过逆量化处理得到的正交变换系数从频域变换为图像区域，从而生成预测误差数据。在块存储器305中，以块为单位保存有通过将预测误差数据和预测图像数据相加而生成的解码图像数据。在帧存储器306中以帧为单位保存有解码图像数据。 

帧内预测部307使用保存在块存储器305中的块单位的解码图像数据 来进行帧内预测，从而生成解码对象块的预测图像数据。帧间预测部308使用保存在帧存储器306中的帧单位的解码图像数据来进行帧间预测，从而生成解码对象块的预测图像数据。 

开关310在解码对象块被进行帧内预测解码的情况下，将由帧内预测部307生成的帧内预测图像数据作为解码对象块的预测图像数据输出至加法部304。另一方面，开关310在解码对象块被进行帧间预测解码的情况下，将由帧间预测部308生成的帧间预测图像数据作为解码对象块的预测图像数据输出至加法部304。 

预测运动矢量候选计算部311使用解码对象块的相邻块的运动矢量等及存放在colPic存储器312中的co-located块的运动矢量等colPic信息，通过后述的方法导出预测运动矢量指定模式的预测运动矢量候选。此外，预测运动矢量候选计算部311对导出的各预测运动矢量候选分配预测运动矢量索引的值。然后，预测运动矢量候选计算部311将预测运动矢量候选和预测运动矢量索引发送给帧间预测控制部309。 

帧间预测控制部309基于解码后的预测运动矢量索引，从预测运动矢量候选选择用于帧间预测的预测运动矢量。然后，帧间预测控制部309根据预测运动矢量及差分运动矢量计算解码对象块的运动矢量。然后，帧间预测控制部309使用计算出的运动矢量，使帧间预测部308生成帧间预测图像。此外，帧间预测控制部309将包含解码对象块的运动矢量等的colPic信息传送给colPic存储器312。 

最后，加法部304通过将预测图像数据和预测误差数据相加，生成解码图像数据。 

图24是表示实施方式3的运动图像解码装置300的处理动作的流程图。 

在步骤S301中，可变长度解码部301对预测方向标志及参照图片索引进行解码。然后，根据解码后的预测方向标志来决定预测方向X的值，进行以下的步骤S302至步骤S305的处理。 

在步骤S302中，预测运动矢量候选计算部311通过后述的方法计算可预测候选数。然后，预测运动矢量候选计算部311将计算出的可预测候选数设定为预测运动矢量候选列表尺寸。 

在步骤S303中，可变长度解码部301使用计算出的预测运动矢量候选 列表尺寸，对比特流中的预测运动矢量索引进行可变长度解码。在步骤S304中，预测运动矢量候选计算部311通过后述的方法，从解码对象块的相邻块及co-located块生成预测运动矢量候选。在步骤S305中，帧间预测控制部309将解码后的预测运动矢量索引所示的预测运动矢量候选与解码后的差分运动矢量相加，计算运动矢量。然后，帧间预测控制部309使用计算出的运动矢量，使帧间预测部308生成帧间预测图像。 

另外，也可以是，由步骤S302计算的预测运动矢量候选列表尺寸为“1”的情况下，预测运动矢量索引不解码而推定为0。 

图25是表示图24的步骤S302的详细处理的流程图。具体地说，图25表示判定预测块候选［N］是否为可预测候选并计算可预测候选数的方法。以下说明图25。 

在步骤S311中，预测运动矢量候选计算部311判定预测块候选［N］是否为（1）通过帧内预测而解码的块、或（2）位于包含解码对象块的切片或图片边界外的块、或（3）尚未解码的块。 

在此，如果步骤S311的判定结果为真（S311：是），则在步骤S312中，预测运动矢量候选计算部311将预测块候选［N］设定为不可预测候选。另一方面，如果步骤S311的判定结果为伪（S311：否），则在步骤S313中，预测运动矢量候选计算部311将预测块候选［N］设定为可预测候选。 

在步骤S314中，预测运动矢量候选计算部311判定预测块候选［N］是否为可预测候选或co-located块候选。在此，如果步骤S314的判定结果为真（S314：是），则在步骤S5中，预测运动矢量候选计算部311将可预测候选数加1而将值更新。另一方面，如果步骤S314为伪（S314：否），则预测运动矢量候选计算部311不更新可预测候选数。 

这样，预测块候选为co-located块的情况下，预测运动矢量候选计算部311无论co-located块是可预测候选还是不可预测候选，都将可预测候选数加1。由此，即使在丢包等co-located块的信息丢失的情况下，在运动图像编码装置与运动图像解码装置之间也不发生可预测候选数不一致。 

在图24的步骤S302中，将可预测候选数设定为预测运动矢量候选列表尺寸。此外，在图24的S303中，预测运动矢量候选列表尺寸用于预测运动矢量索引的可变长度解码。由此，即使在丢失了包含co-located块等 的参照图片信息的情况下，运动图像解码装置300也能够将预测运动矢量索引正常地解码。 

图26是表示图24的步骤S304的详细处理的流程图。具体地说，图26表示计算预测运动矢量候选的方法。以下说明图26。 

在步骤S321中，预测运动矢量候选计算部311使用上述的式1、式2。根据预测块候选［N］计算预测方向X的预测运动矢量候选，并追加到预测运动矢量候选列表中。 

在步骤S322中，预测运动矢量候选计算部311如图15及图16所示，从预测运动矢量候选列表检索不可预测候选及重复候选并删除。 

在步骤S323中，预测运动矢量候选计算部311通过与图19同样的方法，在预测运动矢量候选列表中追加新候选。 

图27是表示在比特流中附加预测运动矢量索引时的语法的一例的图。在图27中，inter_pred_flag表示预测方向标志，mvp_idx表示预测运动矢量索引。NumMVPCand表示预测运动矢量候选列表尺寸，在本实施方式中，设定通过图25的处理流程计算的可预测候选数。 

这样，根据本实施方式的运动图像解码装置300，能够通过不依赖于包含co-located块等的参照图片信息的方法，来计算在对预测运动矢量索引进行编码或解码时使用的预测运动矢量候选列表尺寸。由此，运动图像解码装置300能够将提高了容错性的比特流适当地解码。 

更具体地说，本实施方式的运动图像解码装置300无论co-located块是否为可预测候选，只要预测块候选是co-located块，就总是将可预测候选数加1。并且，运动图像解码装置300使用这样计算的可预测候选数来决定对预测运动矢量索引分配的比特串。由此，运动图像解码装置300即使在丢失了包含co-located块的参照图片信息的情况下，也能够将预测运动矢量索引正常地解码。 

此外，本实施方式的运动图像解码装置300，在预测运动矢量候选数为达到可预测候选数的情况下，将具备新的预测运动矢量的新候选作为预测运动矢量候选而追加，从而能够将提高了编码效率的比特流适当地解码。 

另外，在本实施方式中，运动图像解码装置300在预测运动矢量候选数未达到可预测候选数的情况下，将具备新的预测运动矢量的新候选作为 预测运动矢量候选而追加，但是不限于此。例如也可以是，与上述实施方式1同样，运动图像解码装置300制作预测运动矢量候选列表时，作为预测运动矢量候选列表上的全部预测运动矢量候选的初始值而设定具备新的预测运动矢量的新候选。 

（实施方式4） 

在上述实施方式3中，运动图像解码装置无论co-located块是否为可预测候选，只要预测块候选是co-located块，就总是加1，并使用由此计算的可预测候选数来决定对预测运动矢量索引分配的比特串，但是不限于此。例如也可以是，运动图像解码装置在图25的步骤S314中，对co-located块以外的预测块候选也总是加1，并使用由此计算的可预测候选数来决定对预测运动矢量索引分配的比特串。即，也可以是，运动图像解码装置使用固定为预测运动矢量候选数的最大值N的预测运动矢量候选列表尺寸，对预测运动矢量索引分配比特串。即，也可以是，运动图像解码装置将全部预测块候选看作可预测候选，将预测运动矢量候选列表尺寸固定为预测运动矢量候选数的最大值N，并对预测运动矢量索引进行解码。 

例如可以是，在上述实施方式3中，预测运动矢量候选数的最大值N为5（相邻块A、相邻块B、co-located块、相邻块C、相邻块D），所以运动图像解码装置始终将预测运动矢量候选列表尺寸设定为5而对预测运动矢量索引进行解码。由此，运动图像解码装置的可变长度解码部能够不参照相邻块或co-located块的信息而将比特流中的预测运动矢量索引解码。其结果，例如能够省略图25的步骤S314及步骤S315的处理等，能够削减可变长度解码部的处理量。 

图28是表示将预测运动矢量候选列表尺寸固定为预测运动矢量候选数的最大值的情况下的语法的一例的图。如图28所示，将预测运动矢量候选列表尺寸固定为预测运动矢量候选数的最大值的情况下，能够将NumMVPCand从语法删除。 

以下作为实施方式4的运动图像解码装置，具体说明运动图像解码装置的特征性构成。 

图29是表示实施方式4的运动图像解码装置400的构成的框图。该运动图像解码装置400按照每个块对比特流中包含的编码图像进行解码。具 体地说，运动图像解码装置400例如按照每个块对由实施方式2的运动图像编码装置200生成的比特流中包含的编码图像进行解码。运动图像解码装置400具备：预测运动矢量候选导出部410、解码部420、预测控制部430。 

预测运动矢量候选导出部410对应于上述实施方式3中的预测运动矢量候选计算部311。预测运动矢量候选导出部410导出预测运动矢量候选。然后，预测运动矢量候选导出部410生成例如将导出的各预测运动矢量候选与用于确定该预测运动矢量候选的索引（预测运动矢量索引）建立了对应的预测运动矢量候选列表。 

如图29所示，预测运动矢量候选导出部410具备：决定部411、第1导出部412、确定部413、判定部414、第2导出部415。 

决定部411决定预测运动矢量候选的最大数。即，决定部211决定预测块候选数的最大值N。 

例如，决定部411通过与实施方式2中的决定部211同样的方法，决定预测运动矢量候选的最大数。此外，例如也可以是，决定部411基于附加于比特流的表示最大数的信息来决定最大数。 

另外，在此，决定部411设置在预测运动矢量候选导出部410中，但是也可以设置在解码部420中。 

第1导出部412导出第1预测运动矢量候选。具体地说，第1导出部412与实施方式2中的第1导出部212同样地导出第1预测运动矢量候选。例如，第1导出部412以第1预测运动矢量候选的数量不超过最大数的方式导出第1预测运动矢量候选。更具体地说，第1导出部412例如基于空间上或时间上相邻于解码对象块的块的解码中使用的运动矢量来导出第1预测运动矢量候选。然后，第1导出部412例如将这样导出的第1预测运动矢量候选与预测运动矢量索引建立对应，并登录到预测运动矢量候选列表中。 

另外，也可以是，第1导出部412例如将空间上相邻于解码对象块的块中的、除了不可预测候选的块以外的块的解码中使用的运动矢量作为第1预测运动矢量候选而导出。由此，为了得到预测运动矢量候选，能够从适当的块导出第1预测运动矢量候选。 

确定部413在导出了多个第1预测运动矢量候选的情况下，确定运动 矢量与其他第1预测运动矢量候选重复的第1预测运动矢量候选（重复候选）。然后，确定部413将确定的重复候选从预测运动矢量候选列表删除。 

判定部414判定第1预测运动矢量候选的数量是否小于所决定的最大数。在此，判定部414判定除了所确定的重复的第1预测运动矢量候选以外的第1预测运动矢量候选的数量是否小于所决定的最大数。 

第2导出部415在判定为第1预测运动矢量候选的数量小于所决定的最大数的情况下，导出第2预测运动矢量候选。具体地说，第2导出部415与实施方式2中的第2导出部215同样地导出第2预测运动矢量候选。 

例如可以是，第2导出部415将运动矢量与第1预测运动矢量候选不同的预测运动矢量候选作为第2预测运动矢量候选而导出。由此，能够增加运动矢量不同的预测运动矢量候选，能够对进一步提高了编码效率的编码图像进行解码。 

此外，第2导出部415例如与实施方式2中的第2导出部215同样，将这样导出的第2预测运动矢量候选与预测运动矢量索引建立对应，并登录到预测运动矢量候选列表中。 

解码部420使用所决定的最大数，对附加于比特流的编码后的索引且用于确定预测运动矢量候选的索引进行解码。 

预测控制部430基于解码后的索引，从第1预测运动矢量候选及第2预测运动矢量候选中选择在解码对象块的解码中使用的预测运动矢量。即，预测控制部430从预测运动矢量候选列表选择在解码对象块的解码中使用的预测运动矢量。 

接着，说明以上那样构成的运动图像解码装置400的各种动作。 

图30是表示实施方式4的运动图像解码装置400的处理动作的流程图。 

首先，决定部411决定预测运动矢量候选的最大数（S401）。第1导出部412导出第1预测运动矢量候选（S402）。确定部413在导出了多个第1预测运动矢量候选的情况下，确定运动矢量与其他第1预测运动矢量候选重复的第1预测运动矢量候选（S403）。 

判定部414判定除了重复候选以外的第1预测运动矢量候选的数量是否小于所决定的最大数（S404）。在此，判定为除了重复候选之外的第1预测运动矢量候选的数量小于所决定的最大数的情况下（S404：是），第2导 出部415导出第2预测运动矢量候选（S405）。另一方面，未判定为除了重复候选之外的第1预测运动矢量候选的数量小于所决定的最大数的情况下（S404：否），第2导出部415不导出第2预测运动矢量候选。 

解码部420使用所决定的最大数，对附加于比特流的编码后的索引且用于确定预测运动矢量候选的索引进行解码（S406）。 

预测控制部430基于解码后的索引，从第1预测运动矢量候选及第2预测运动矢量候选中选择在解码对象块的解码中使用的预测运动矢量（S407）。 

另外，在此，索引的解码处理（S406）在导出预测运动矢量候选之后进行，但是并不是必须按照个顺序进行。例如，也可以在索引的解码处理（S406）之后进行预测运动矢量候选的导出处理（S402～S405）。此外，也可以并行地进行索引的解码处理（S406）和预测运动矢量候选的导出处理（S402～S405）。由此，能够提高解码的处理速度。 

如以上所述，根据本实施方式的运动图像解码装置400，能够使用所决定的最大数来对用于确定预测运动矢量候选的索引进行解码。即，能够不依赖于实际导出的预测运动矢量候选的数量而对索引进行解码。因此，即使在预测运动矢量候选的导出所需的信息（例如co-located块等的信息）丢失的情况下，也能够对索引进行解码，能够提高容错性。此外，能够不等待预测运动矢量候选的导出处理而进行索引的解码处理，还能够并行地进行预测运动矢量候选的导出处理和索引的解码处理。 

此外，根据本实施方式的运动图像解码装置400，在判定为第1预测运动矢量候选的数量小于最大数的情况下，能够导出第2预测运动矢量候选。因此，能够在不超过最大数的范围内增加预测运动矢量候选的数量，能够对提高了编码效率的编码图像进行解码。 

此外，根据本实施方式的运动图像解码装置400，能够根据除了重复的第1预测运动矢量候选之外的第1预测运动矢量候选的数量来导出第2预测运动矢量候选。其结果，能够增加第2预测运动矢量候选的数量，能够增加可选择的预测方向、运动矢量及参照图片索引的组合的种类。因此，能够对进一步提高了编码效率的编码图像进行解码。 

另外，在本实施方式中，运动图像解码装置400具备确定部413，但是 与实施方式2同样，并不是必须具备确定部413。即，在图30所示的流程图中并不是必须包括步骤S403。这种情况下，运动图像解码装置400也能够使用所决定的最大数来对用于确定预测运动矢量候选的索引进行解码，所以能够提高容错性。 

此外，在本实施方式中，如图30所示，在由第1导出部412导出第1预测运动矢量候选之后，由确定部413确定重复候选，但是并不是必须按照这样的顺序来进行。例如，第1导出部412也可以将与已经导出了运动矢量的第1预测运动矢量候选不重复的预测运动矢量候选作为第1预测运动矢量候选而导出。 

以上基于实施方式说明了本发明的1个或多个方式的运动图像编码装置及运动图像解码装置，但是本发明不限于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域技术人员能够想到的各种变形而得到的发明、以及将不同的实施方式中的构成要素组合而构成的方式也包含在本发明的1个或多个方式的范围内。 

另外，在上述各实施方式中，各构成要素可以由专用的硬件构成，也可以通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等的程序执行部读出并执行硬盘或半导体存储器等记录介质中记录的软件程序来实现。在此，实现上述各实施方式的运动图像编码装置或运动图像解码装置等的软件是如下的程序。 

即，该程序使计算机执行运动图像编码方法，该运动图像编码方法计算在将编码对象块的运动矢量编码时使用的预测运动矢量并对所述编码对象块进行编码，从而生成比特流，该运动图像编码方法包括以下步骤：决定步骤，决定成为所述预测运动矢量的候选的预测运动矢量候选的最大数；第1导出步骤，导出第1预测运动矢量候选；判定步骤，判定所述第1预测运动矢量候选的数量是否小于所述最大数；第2导出步骤，在判定为所述第1预测运动矢量候选的数量小于所述最大数的情况下，导出第2预测运动矢量候选；选择步骤，从所述第1预测运动矢量候选及第2预测运动矢量候选中，选择在所述编码对象块的所述运动矢量的编码中使用的所述预测运动矢量；以及编码步骤，使用所决定的所述最大数对用于确定所选择的所述预测运动矢量的索引进行编码，并将编码后的所述索引附加到所 述比特流中。 

或者，该程序使计算机执行运动图像解码方法，该运动图像解码方法计算在对比特流中包含的解码对象块的运动矢量进行解码时使用的预测运动矢量，并对所述解码对象块进行解码，其特征在于，包括以下步骤：决定步骤，决定成为所述预测运动矢量的候选的预测运动矢量候选的最大数；第1导出步骤，导出第1预测运动矢量候选；判定步骤，判定所述第1预测运动矢量候选的数量是否小于所述最大数；第2导出步骤，在判定为所述第1预测运动矢量候选的数量小于所述最大数的情况下，导出第2预测运动矢量候选；解码步骤，使用所决定的所述最大数，对附加于所述比特流的编码后的索引且用于确定所述预测运动矢量的索引进行解码；以及选择步骤，基于解码后的所述索引，从所述第1预测运动矢量候选及所述第2预测运动矢量候选中选择在所述解码对象块的解码中使用的预测运动矢量。 

（实施方式5） 

通过将用来实现上述各实施方式所示的运动图像编码方法（图像编码方法）或运动图像解码方法（图像解码方法）的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。 

进而，这里说明在上述各实施方式中示出的运动图像编码方法（图像编码方法）及运动图像解码方法（图像解码方法）的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。 

图31是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。 

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA（Personal Digital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等 的各设备。 

但是，内容供给系统ex100并不限定于图31那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。 

照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM（Global System for Mobile Communications）方式、CDMA（Code Division Multiple Access）方式、W－CDMA（Wideband－Code Division Multiple Access）方式、或LTE（Long Term Evolution）方式、HSPA（High Speed Packet Access）的便携电话机、或PHS（Personal Handyphone System）等，是哪种都可以。 

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容（例如音乐会现场的影像等）如在上述各实施方式中说明那样进行编码处理（即，作为本发明的一个方式的图像编码装置发挥作用），向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现（即，作为本发明的一个方式的图像解码装置发挥作用）。 

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。 

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500 中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质（CD－ROM、软盘、硬盘等）中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。 

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。 

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。 

另外，并不限定于内容供给系统ex100的例子，如图32所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置（图像编码装置）或运动图像解码装置（图像解码装置）的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据（即，通过本发明的一个方式的图像编码装置编码后的数据）。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机（接收机）ex300或机顶盒（STB）ex217等的装置将接收到的复用数据解码并将其再现（即，作为本发明的一个方式的图像解码装置发挥作用）。 

此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内 安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。 

图33是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。 

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305（即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用）的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。 

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。 此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。 

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。 

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。 

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图34中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215 中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。 

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。 

在图35中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。 

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。 

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图33所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114 等中也可以考虑同样的结构。 

图36A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。 

进而，使用图36B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD（Liquid Crystal Display：液晶显示器）控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。 

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。 

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。 

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部 ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。 

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码（即，作为本发明的一个方式的图像编码装置发挥作用），将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。 

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部（调制/解调电路部）ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。 

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码（即，作为本发明的一个方式的图像解码装置发挥作用），经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。 

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200 中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。 

这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。 

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。 

（实施方式6） 

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。 

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。 

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。 

图37是表示复用数据的结构的图。如图37所示，复用数据通过将视频流、音频流、演示图形流（PG）、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流（IG）表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。 

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中 使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。 

图38是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。 

图39更详细地表示在PES包序列中怎样保存视频流。图39的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图39的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS（Presentation Time-Stamp）及作为图片的解码时刻的DTS（Decoding Time-Stamp）。 

图40表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS（Arrival_Time_Stamp）等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图40下段所示排列，从复用数据的开头起递增的号码被称作SPN（源包号）。 

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT（Program Association Table）、PMT（Program Map Table）、PCR（Program Clock Reference）等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数 据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC（Arrival Time Clock）与作为PTS及DTS的时间轴的STC（System Time Clock）的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。 

图41是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息（帧速率、纵横比等）的流描述符构成。流描述符存在复用数据中存在的流的数量。 

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。 

复用数据信息文件如图42所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。 

复用数据信息如图42所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。 

流属性信息如图43所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。 

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流 类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。 

此外，在图44中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。 

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。 

（实施方式7） 

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图45中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。 

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。 被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。 

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。 

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。 

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。 

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（Field Programmable Gate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。 

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。 

（实施方式8） 

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。 

为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图46表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。 

更具体地讲，驱动频率切换部ex803由图45的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图45的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式6中记载的识别信息。关于识别信息，并不限定于在实施方式6中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图48所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。 

图47表示实施本实施方式的方法的步骤。首先，在步骤exS200中， 在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。 

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。 

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。 

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理 中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。 

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。 

（实施方式9） 

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。 

为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图49A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明在运动补偿方面具有特征，因此可以考虑例如对于运动补偿使用专用的解码处理部ex901，对于除此之外的熵解码、逆量化、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。 

此外，用图49B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部 ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。 

这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。 

工业实用性 

本发明的运动图像编码方法及运动图像解码方法能够应用于所谓多媒体数据，能够提高运动图像编码及解码的容错性，例如作为使用便携电话、DVD装置、及个人计算机等的储存、传送、通信等中的运动图像编码方法及运动图像解码方法是有用的。 

符号的说明： 

100、200 运动图像编码装置 

101 减法部 

102 正交变换部 

103 量化部 

104、302 逆量化部 

105、303 逆正交变换部 

106、304 加法部 

107、305 块存储器 

108、306 帧存储器 

109、307 帧内预测部 

110、308 帧间预测部 

111、309 帧间预测控制部 

112 图片类型决定部 

113、310 开关 

114、311 预测运动矢量候选计算部 

115、312colPic 存储器 

116 可变长度编码部 

210、410 预测运动矢量候选导出部 

211、411 决定部 

212、412 第1导出部 

213、413 确定部 

214、414 判定部 

215、415 第2导出部 

220、430 预测控制部 

230 编码部 

300、400 运动图像解码装置 

301 可变长度解码部 

420 解码部 。