图像编码方法和图像解码方法、图像编码装置以及图像解码装置、以及图像编码比特流及记录介质

摘要

在对3个颜色分量使用4∶0∶0格式进行了编码处理的情况下，可以将一幅图片部分的数据包含在一个存取单元中，同时还可以在各自颜色分量间使时间信息一致、使编码模式一致。在对多个颜色分量组成的输入图像信号进行压缩处理的图像编码方式中，将通过对各自颜色分量的输入图像信号独立地进行编码处理而得到的编码数据、和表示上述编码数据是针对哪个颜色分量的参数多路复用于比特流。另外，在将多个颜色分量组成的图像信号经过压缩的比特流作为输入来进行解码处理的图像解码方式中，使用表示是针对哪个颜色分量的编码数据的参数来进行各自颜色分量的编码数据的解码处理。

说明书

技术领域

本发明涉及对多个颜色分量组成的输入图像信号进行压缩处理的图像编码方法和装置以及输入对多个颜色分量组成的图像信号进行了压缩的比特流并进行解码处理的图像解码方法和装置、以及图像编码比特流及记录介质。

背景技术

以往，在MPEG或ITU-TH.26x等国际标准视频图像编码方式中，主要以被称之为“4:2:0”格式的输入信号格式的使用作为前提。4:2:0格式是指将RGB等彩色图像信号变换成亮度分量(Y)和两个色差分量(CB、CR)，并使色差分量的采样数相对于亮度分量的采样数在水平方向/垂直方向上均削减了一半的格式。由于在人们的视觉特性上、色差分量与亮度分量相比识别性较差，所以在以往的国际标准视频图像编码方式中，以通过在进行编码之前减少色差分量的采样数来削减编码对象的信息量作为前提。

另一方面，伴随着近年来的视频显示器的高析像度化/高灰度等级化，还探讨研究关于不用对色差分量进行下降采样而是以与亮度分量的同一采样来进行编码的方式。亮度分量与色差分量相同的采样数的格式被称之为“4:4:4”。而且，作为输入4:4:4格式的编码方式正在制定“high 444 profile”(例如，参照非专利文献1(ISO/IEC14496-10|ITU-TH.264规格(Advanced Video Coding：AVC))。

在以往的4:2:0格式中以色差分量的下降采样作为前提，仅仅限定于Y、CB、CR之类的颜色空间，相对于此在4:4:4格式中在颜色分量间没有采样比的区别，所以可以除Y、CB、CR外直接使用R，G，B，或者定义除此以外的颜色空间进行利用。

若采用ISO/IEC14496-10|ITU-TH.264(2005)规格(以下、称之为AVC)中定义的high 444 profile，则与以往的编码方式同样需要进行以宏块为单位的编码处理/解码处理。

即，在一个宏块之中包含有3个颜色分量的数据，因此就以宏块单位按顺序对各自颜色分量的数据进行处理，所以不利于使编码/解码处理并行化之类的目的。

另一方面，在AVC中定义有4:0:0格式。其原本是仅仅以亮度分量的图像、即单色图像的编码处理作为对象。还能够采用利用该4:0:0格式对4:4:4格式的3个颜色分量分别以4:0:0格式进行编码处理，由此生成3个独立的编码数据之类的方法。在此情况下，由于对各自颜色分量独立地进行处理，所以并行处理成为可能。

但是，由于对各自颜色分量独立地进行处理，所以以现在的标准规格实现在各自颜色分量间使时间信息一致、或者使编码模式一致这样的处理是不可能的。因此，就会发生随机存取再生(快进或后退等)和图片单位的编辑处理等无法容易地实现之类的问题。

进一步对这一问题进行说明。AVC中所定义的各种数据以存取单元定界符(AUD)、序列参数组(SPS)、图片参数组(PPS)、图片数据的顺序得以配置。此外，对于与本发明没有关系的数据在这里省略说明。

另外，在AVC中一个存取单元(AU)被定义为由一个图片(相当于1帧或者1半帧(field))所构成。存取单元的边界能够利用存取单元定界符(AUD)来表示。例如，如果是AVC的Baseline profile，则在各图片的边界配置存取单元定界符，所以通过检测存取单元定界符就能够独立且简单地取出一个存取单元，并可以对一个图片部分的数据进行解码。

另一方面，在采用现在的AVC方式以4:0:0格对3个颜色分量进行了编码的情况下，就按各自颜色分量逐个定义存取单元，一个图片就是由3个存取单元所构成。因此，仅通过检测存取单元定界符就无法取出一个图片部分的数据，随机存取再生和图片单位的编辑处理等就变得无法容易地实现。另外，由于按各自颜色分量逐个独立地进行编码处理，所以使时间信息一致，或者使编码模式一致就变得困难。

发明内容

因而，本发明的目的是提供一种图像编码方法及图像解码方法、图像编码装置及图像解码装置、以及图像编码比特流及记录介质，通过扩展AVC，即便在对4:4:4格式的3个颜色分量使用4:0:0格式分别进行了编码处理的情况下也可以将一幅图片部分的数据包含在一个存取单元中，同时还可以在各自颜色分量间使时间信息一致、或者使编码模式一致。

与本发明有关的图像编码方法的特征是在对多个颜色分量组成的输入图像信号进行压缩处理的图像编码方式中，将通过对各自颜色分量的输入图像信号独立地进行编码处理而得到的编码数据、和表示上述编码数据是针对哪个颜色分量的参数多路复用于比特流。

另外，与本发明有关的图像解码方法的特征是在将多个颜色分量组成的图像信号经过压缩的比特流作为输入来进行解码处理的图像解码方式中，使用表示是针对哪个颜色分量的编码数据的参数来进行各自颜色分量的编码数据的解码处理。

另外，与本发明有关的图像编码装置的特征是在对多个颜色分量组成的输入图像信号进行压缩处理的图像编码装置中，具备将通过对各自颜色分量的输入图像信号独立地进行编码处理而得到的编码数据、和表示上述编码数据是针对哪个颜色分量的数据的参数多路复用于比特流的多路复用部件。

另外，与本发明有关的图像解码装置的特征是在将多个颜色分量组成的图像信号经过压缩的比特流作为输入来进行解码处理的图像解码装置中，具备检测表示是针对哪个颜色分量的编码数据的参数的检测部件。

另外，与本发明有关的图像编码比特流作为对多个颜色分量组成的输入图像信号进行压缩编码的结果而生成的比特流，其特征是按片单位构成各颜色分量的图像信号的压缩数据，在该片的首标区域中多路复用了表示该片数据是否包含某个颜色分量的压缩数据的参数。

进而，与本发明有关的记录介质记录了图像编码比特流，该图像编码比特流作为对多个颜色分量组成的输入图像信号进行压缩编码的结果而生成的比特流，按片单位构成各颜色分量的图像信号的压缩数据，并在该片的首标区域中多路复用了表示该片数据是否包含某个颜色分量的压缩数据的参数。

根据本发明，就可以使用AUD容易地执行随机存取再生或图片单位的编辑处理，即便在对3个颜色分量使用4:0:0格式分别进行了编码处理的情况下也可以将一幅图片部分的数据包含在一个存取单元中，同时还可以在各自颜色分量间使时间信息一致、或者使编码模式一致。

附图说明

图1是从本发明的图像编码装置生成的编码比特流的语法之中、抽选出与本发明有关的部分的图。

图2是作为确保与现有规格的互换性的其他方法，有关参数colour_id之定义的说明图。

图3是在AUD与AUD之间使构成一幅图片的全部颜色分量的数据包含于一个存取单元(AU)的说明图。

图4是将颜色分量的数据在一个存取单元之中用Delimiter按各颜色分量区分并汇总在一起排列的说明图。

图5是将4:0:0格式和4:4:4格式的编码模式以任意的单位切换的说明图。

图6是本发明实施方式7中的共通编码处理的说明图。

图7是本发明实施方式7中的独立编码处理的说明图。

图8是表示本发明实施方式7的编码装置/解码装置中的、图片间的时间方向的活动预测参照关系的图。

图9是表示本发明实施方式7在编码装置所生成、解码装置设为输入/解码处理的对象的比特流之构造的一例的图。

图10是表示本发明实施方式7中的共通编码处理、独立编码处理各自情况下的片数据的比特流构成的图。

图11是表示本发明实施方式7所涉及的编码装置之概略构成的框图。

图12是利用图11所示的多路复用部105经过多路复用而输出的比特流106的说明图。

图13是表示图11所示的第1图片编码部102之内部构成的框图。

图14是表示图11所示的第2图片编码部104之内部构成的框图。

图15是表示本发明的实施方式7所涉及的解码装置之概略构成的框图。

图16是表示图15所示的第1图片解码部302之内部构成的框图。

图17是表示图15所示的第2图片解码部304之内部构成的框图。

图18是表示图11所示的编码装置之变形例的框图。

图19是表示图11所示的编码装置之其他变形例的框图。

图20是表示与图18所示的编码装置对应的解码装置的框图。

图21是表示与图19所示的编码装置对应的解码装置的框图。

图22是表示以往的YUV4:2:0格式的比特流所包含的宏块首标信息的编码数据之构成的图。

图23是表示确保对于以往的YUV4:2:0格式的比特流的互换性的第1图片解码部302的预测部311之内部构成的图。

图24是表示比特流的构造的其他例子的图。

图25是表示比特流的构造的进一步其他例子的图。

具体实施方式

实施方式1.

图1是从本发明的图像编码装置生成的编码比特流的语法之中、抽选出与本发明有关的部分的图。在图1中，(a)是NAL(网络抽象层)单元的首标信息的语法、(b)是SPS(序列参数组)的语法、(c)是PPS(图片参数组)的语法、(d)是片首标的语法。阴影部分以外是现有的AVC规格中所规定的语法，阴影部分是虽然在现有的AVC规格中有规定但由本发明重新追加功能的语法或者在现有的AVC规格中没有规定而由本发明新追加的语法。

以下，就AVC中所定义的参数简单地记述。

在图1(a)中，NAL单元的nal_re_idc是表示NAL单元的数据是否为预测参照所使用的图像数据的参数。另外，nal_unit_type是表示NAL单元的数据为片数据、SPS、PPS、存取单元定界符(AUD)中的哪一个的参数。

在图1(b)中，SPS的profile_idc表示编码序列的profile，在AVC中定义有base line、main、high、high 444等。另外，seq_paremeter_set_id是表示SPS的ID，在一个编码序列之中定义多个SPS并用ID分别管理。进而，chroma_format_idc仅在high 444profile时被使用，是表示编码序列是4:0:0、4:2:0、4:2:2、4:4:4中的某种格式的参数。

在图1(c)中，PPS的pic_paremter_set_id表示PPS的ID，在一个编码序列之中定义多个PPS并用ID分别管理。PPS中的seq_paremeter_set_id是表示该PPS属于哪个SPS的参数。

在图1(d)中，片首标的first_mb_in_slice是表示片数据的开头宏块数据处于画面内的哪个位置的参数。另外，slice_type是表示片数据为帧内编码、单向预测编码、双预测编码中的某一种的参数。进而，pic_parameter_set_id是表示片数据属于哪个PPS的参数。

其次就动作进行说明。

在对3个颜色分量的图像信号采用4:0:0格式将各自颜色分量独立地进行编码处理的情况下，在图1(b)所示的SPS中包含的参数之一的profile_idc上重新设置表示是采用4:0:0格式将3个颜色分量的数据独立地进行编码的处理的数据，同时在图1(d)所示的片首标上重新设置colour_id的参数，以表示片数据中包含的编码数据是3个颜色分量中的某个。

在以现有的4:0:0格式(单色图像)、4:2:0格式、4:2:2格式、4:4:4格式进行编码处理的情况下，不使用图1(d)所示的参数colour_id，仅在采用由该发明重新定义的4:0:0格式将3个颜色分量的数据独立地进行编码的模式时，才使用参数colour_id，由此就能够不对现有的规格带来影响。

通过在采用由该发明重新定义的4:0:0格式将3个颜色分量的数据独立地进行编码的模式时，使用参数colour_id，就如图3那样，使3个颜色分量的数据包含于一个存取单元(AU)，并在AUD与AUD间放入构成一幅图片的全部颜色分量的数据。

另外，作为确保与现有规格的互换性的其他方法，还可以将参数colour_id采用如图2那样的定义。通过这样定义colour_id，就可以在colour_id＝0的情况下表示是如现有规格那样以在一个宏块之中包含3个颜色分量的数据的形式经过编码的片数据。在其他值的情况下表示是以采用本实施方式1中所述的4:0:0格式将3个颜色分量的数据独立地进行编码的处理经过编码的片数据。

由此，就能够构成包含现有方式与本实施方式1中所述的方式双方的比特流，在保证与现有方式的互换性这一点上有用。另外，在片数变多、参数colour_id自身的代码量的附加给编码效率带来影响之类的情况下，还可以构成为基于现有方式与本实施方式1中所述的方式中的哪个更易于被选择之类的判断基准来进行适当的可变长度编码，以降低colour_id自身的代码量。

这样一来，在对多个颜色分量组成的输入图像信号进行压缩处理的图像编码方式中，通过将对各自颜色分量的输入图像信号独立地进行编码处理而得到的编码数据、和表示上述编码数据是针对哪个颜色分量的数据的参数多路复用于比特流，就可以使用AUD容易地执行随机存取再生和图片单位的编辑处理等。

在输入多个颜色分量组成的图像信号经过压缩的比特流并进行解码处理的图像解码方式中，能够使用表示是针对哪个颜色分量的编码数据的参数容易地进行各自颜色分量的编码数据的解码处理。

另外，由于3个颜色分量的数据被包含在一个存取单元中，所以3个颜色分量的数据就同时作为IDR(Instantaneous Devoding Refresh)图片而得以编码。

IDR图片是在AVC中所定义的、如果来自IDR图片就可以即刻进行正常的解码处理的图片，是假定作为随机存取再生的开头来利用而设置的。

另外，在仅仅想取出3个颜色分量之中的一个颜色分量的情况下，通过仅抽取具有特定值的colour_id的片数据就能够容易地实现。

此外，虽然在图1中将colour_id参数设置在片首标的开头，但无需一定配置在开头，只有包含在片首标之中就可以获得同样的效果。

实施方式2.

与实施方式1同样，在一个存取单元之中放入3个颜色分量的编码数据，但图3所示的实施方式1是将各自颜色分量的数据(R，B，G)按顺序进行了排列，相对于此还能够如图4所示那样，采取将仅R、仅B、仅G颜色分量汇集起来进行排列的方法。进而，还可以采取通过放入在现在的AVC中未被定义的“Delimiter”，而仅仅将规定的颜色分量的数据简单地取出这样的构成。

通过这样进行处理，就能够容易地实现例如按各自颜色分量分配不同处理器并行地进行处理。此外，该发明所示的“Delimiter”还可以通过扩展AVC的SEI(Supplemental Enhancement Information)消息有效负载，而不会对现有的规格带来影响地实现。当然、通过除此以外的其他的方法来定义“Delimiter”也可以取得同样的效果。

实施方式3.

通过取代片首标的colour_id而在NAL单元的一部分中放入表示颜色分量的参数也能够获得与实施方式1相同的效果。由于在AVC中片首标以及后续于片首标的片数据被定义为NAL单元的有效负载，所以扩展NAL单元的nal_unit_type参数以在该参数之中表示NAL单元的有效负载所包含的视频图像数据是哪个颜色分量。进而，通过使3个颜色分量的数据包含于一个存取单元(AU)中，而在AUD与AUD之间放入构成一幅图片的全部数据。

通过这样进行处理，与实施方式1同样，就能够容易地执行随机存取再生或图片单位的编辑处理，同时在仅想取出3个颜色分量之中的一个分量的情况下，只用NAL单元的首标数据进行抽取而不用解析到片首标。

实施方式4.

在实施方式1～3时，进一步对3个颜色分量的数据经过编码的片首标的first_mb_in_slice参数设置制约条件以使其始终为同一值。first_mb_in_slice参数表示片数据的开头数据的位置处于画面内的哪里。

在以往的AVC的编码方式中，片的构造可以采取任意的形式，所以可以在各颜色分量中使片的构造不同，但通过设置这一制约，就可以将三个具有同一first_mb_in_slice的值的片数据汇集起来，由此解码/显示具有正确的颜色状态的图像的一部分。

在不设置制约的情况下若因first_mb_in_slice的值在各自颜色分量中不同故无法使用一画面的全部片数据来解码画面全体则无法合成3个颜色分量而获得正确的解码图像，但通过这样进行处理，在想显示画面的特定部分、例如仅中央部分之类的情况下，就可以不用一画面全部而仅使用一部分片数据来进行解码/显示处理。另外，在使用各个处理器对各个颜色分量的数据进行并行处理的情况下，由于各片数据从同一位置起开始，所以并行处理的管理就变得容易。

实施方式5.

相对于实施方式4，进一步对各颜色分量的片首标的slice_type参数设置制约条件以使其始终为同一值。slice_type参数表示后续于片首标的片数据是帧内编码、单向预测编码、双预测编码中的哪一个等。如果是帧内编码则不使用帧间预测处理，所以可以即刻进行解码/显示处理。

因而，就处于画面上同一位置的片数据而言通过将编码的类型对全部颜色分量设为共通来进行同一编码处理，就可以在解码装置中，在随机存取再生时通过仅对帧内编码的片进行解码处理而高速地进行解码/显示处理。

实施方式6.

通过采用如前述的实施方式1～5那样的构成，就能够以任意的单位来切换使用新定义的4:0:0格式将3个颜色分量的数据独立地进行编码的模式、和4:4:4格式的编码模式。

例如，如图5那样通过对于SPS的seq_parameter_set_id＝1设定新定义的4:0:0格式的参数，而对于seq_parameter_set_id＝2则设定4:4:4格式的参数，以使与各自的seq_parameter_set_id对应的SPS持有不同的seq_parameter_set_id来进行设定，就可以以图片单位来切换两者。

通过这样进行处理，就可以选择编码效率更好的一方来进行编码处理，或者根据应用选择合适的一方来进行编码处理。

此外，虽然在本实施方式5中，设以图片单位来切换两者进行了说明，但在AVC的规格上，还可以通过相同处理来进行片单位下的切换。

另外，虽然在该发明中使用作为活动图像编码方式的国际标准的AVC进行了说明，当然使用其他的编码方式也可以获得同样的效果。

实施方式7.

在本实施方式7中，根据具体的附图来说明一边以1帧(或1半帧)的单位来区分是将3个颜色分量信号用共通的宏块首标来编码还是用个别的宏块首标来编码一边进行编码/解码的装置构成/动作。以下，只要没有特别解释，在记载为“1帧”的情况下就视为1帧或1半帧的数据单位。

本实施方式7中的宏块首标包括宏块类型/子宏块类型/内部预测模式等编码/预测模式信息、参照图像识别编号/活动矢量等活动预测信息、针对变换系数的量化参数、变换块大小指示标志、8×8块单位下的有效变换系数有无判定标志等、变换系数数据以外的宏块附加信息。

以后，将用共通的宏块首标来编码1帧的3个颜色分量信号的处理记为“共通编码处理”，将用个别的独立宏块首标来编码1帧的3个颜色分量信号的处理记为“独立编码处理”。同样，将从1帧的3个颜色分量信号用共通的宏块首标经过编码的比特流来解码帧图像数据的处理记为“共通解码处理”，将从1帧的3个颜色分量信号用个别的独立宏块首标经过编码的比特流来解码帧图像数据的处理记为“独立解码处理”。

在本实施方式7中的共通编码处理中，如图6所示那样，将1帧部分的输入视频图像信号分割成把C0分量、C1分量、C2分量这3个颜色分量汇集起来形式的作为共通编码处理之对象的宏块。另一方面，在独立编码处理中，如图7所示那样，将1帧部分的输入视频图像信号分离成C0分量、C1分量、C2分量这3个颜色分量，并将它们分割成由单一颜色分量组成的宏块、也就是作为每个C0分量、C1分量、C2分量的独立编码处理之对象的各宏块。

即，作为共通编码处理之对象的宏块包含C0、C1、C2这3个颜色分量的采样，但作为独立编码处理之对象的宏块仅包含C0或C1或C2分量之中某一个分量的采样。

在图8中，表示本实施方式7的编码装置/解码装置中的、图片间的时间方向的活动预测参照关系。在该例子中，将粗竖直线所示的数据单位设为图片，用包围虚线来表示图片与存取单元的关系。共通编码/解码处理的情况下，一幅图片是表示3个颜色分量混在一起的1帧部分的视频图像信号的数据，在独立编码/解码处理的情况下，一幅图片为某一个颜色分量的1帧部分的视频图像信号。

存取单元是对视频图像信号赋予以与音频/声音信息等的同步等为目的的时间标记的最小数据单位，在共通编码/解码处理的情况下，在一个存取单元中包含一幅图片部分的数据。

另一方面，独立编码/解码处理的情况下，在一个存取单元中包含3个图片。这是因为在独立编码/解码处理的情况下，所有3个颜色分量的同一显示时刻的图片齐备后才可得到1帧部分的再生视频图像信号的缘故。此外，在各图片的上部赋予的编号表示图片的时间方向的编码/解码处理顺序(作为活动图像数据的压缩编码方式之标准的AVC：Advanced Video Coding的frame_num)。

在图8中，图片间的箭头表示活动预测的参照方向。即，在独立编码/解码处理的情况下，同一存取单元所包含的图片之间的活动预测参照、以及不同颜色分量间的活动预测参照不进行，将C0、C1、C2的各颜色分量的图片限定于同一颜色分量的信号一边进行预测参照一边进行编码/解码。

通过采用这种构成，在本实施方式7中的独立编码/解码处理的情况下，就能够使各颜色分量的编码/解码完全不依赖于其他颜色分量的编码/解码处理地执行，并行处理就变得容易。

此外，在AVC中自身进行内部编码，同时设定活动补偿预测所用的参照图像存储器的内容的IDR(instantaneous decoder refresh)图片被定义。由于IDR图片可以对其他什么样的图片都不依赖地进行解码所以作为随机存取点而得以利用。

共通编码处理的情况下的存取单元是一个存取单元＝一幅图片，但在独立编码处理的情况下的存取单元中一个存取单元由多个图片所构成，在某颜色分量图片是IDR图片的情况下其他剩余的颜色分量图片也作为IDR图片，并定义IDR存取单元，以确保随机存取功能。

以下，在本实施方式7中将表示是进行基于共通编码处理的编码、还是进行基于独立编码处理的编码的识别信息(中间预测模式共通化识别标志或宏块首标共通化识别标志相当的信息)称为共通编码/独立编码识别信号。

在图9中表示本实施方式7的编码装置所生成、本实施方式7的解码装置作为输入/解码处理对象的比特流的构造之一例。该图表示从序列到帧层级的比特流构成，首先，在序列层级的高位首标(在AVC的情况下为SPS(sequence parameter set)等)上多路复用共通编码/独立编码识别信号。

各个帧以存取单元为单位得以编码。AUD是表示在AVC中用于识别存取单元的缝隙的独特的NAL单元即Access Unit DelimiterNAL单元。在共通编码/独立编码识别信号表示“基于共通编码处理的图片编码”的情况下，在存取单元中包含一幅图片部分的编码数据。

此时的图片是表示如前述那样3个颜色分量混在一起的1帧部分的视频图像信号的数据。此时，第i个存取单元的编码数据作为片数据Slice(i，j)的集合而构成。j是一幅图片内的片数据的索引。

另一方面，在共通编码/独立编码识别信号表示“基于独立编码处理的图片编码”的情况下，一幅图片是某一个颜色分量的1帧部分的视频图像信号。此时，第p个存取单元的编码数据作为存取单元内的第q个图片的片数据Slice(p，q，r)的集合而构成。r是一幅图片内的片数据的索引。在如RGB那样颜色分量由3分量所构成的视频图像信号的情况下，q是0，1，2中的某一个。

另外，在除3原色组成的视频图像信号以外例如还将用于字母混合的透过率信息这样的附加数据设为同一存取单元进行编码/解码的情况、或将4分量以上的颜色分量(例如，彩色印刷中所使用的YMCK等)构成的视频图像信号进行编码/解码等情况下，能够设q＞3来进行处理。

本实施方式7中的编码装置/解码装置，如果选择独立编码处理则完全独立地对构成视频图像信号的各颜色分量进行编码，所以在原理上能够自由地变更颜色分量的片数而不用变更编码/解码处理。具有即便在将来，用于视频图像信号的颜色表现的信号形式被变更的情况下也可以用本实施方式7中的独立编码处理来进行对应的效果。

为了实现这种构成，在本实施方式7中，共通编码/独立编码识别信号用“包含在1存取单元内，各自不相互进行活动预测参照而独立地进行编码的图片的个数”之类的形式来表现。

共通编码/独立编码识别信号3以后称为num_pictures_in_au。也就是说，num_pictures_in_au＝1表示“共通编码处理”，num_pictures_in_au＝3表示本实施方式7中的“独立编码处理”。在颜色分量为4以上的情况下，设定成num_pictures_in_au＞3的值即可。

通过进行这种信号传输，如果解码装置对num_pictures_in_au进行解码、参照则不仅能够进行基于共通编码处理的编码数据和基于独立编码处理的编码数据的区别，还能够同时得知在一个存取单元内存在多少片单一颜色分量图片，将来的视频图像信号的颜色表现扩展的对应也可以进行，同时还可以在比特流中无缝地处理共通编码处理和独立编码处理。

在图10中表示共通编码处理、独立编码处理各自情况下的片数据的比特流构成。在通过独立编码处理而编码的比特流中，为了达到后述的效果，在片数据开头的首标区域赋予颜色分量识别标志(color_channel_idc)以便可以识别解码装置接收到的片数据是属于存取单元内的哪个颜色分量的图片的片。

color_channel_idc将其值相同的片成组化。也就是说，在color_channel_idc的值不同的片间，使其什么样的编码/解码的依赖性(例如，活动预测参照、CABAC(Context-Adaptive Binary ArithmeticCoding)的上下文建模/发生概率学习等)都不具有。此外，由于color_channel_idc与图1(d)所示的实施方式1的color_id相同，所以是相同语义的信息。

通过这样进行规定，独立编码处理的情况下的存取单元内的各个图片的独立性就得以确保。另外，关于各片首标上多路复用的frame_num(片所属的图片的编码/解码处理顺序)，在1存取单元内的全部颜色分量图片中设为同一值。

图11中表示与本实施方式7有关的编码装置的概略构成。在同图中，共通编码处理在第1图片编码部102中得以执行，独立编码处理在第2图片编码部104(准备3个颜色分量分)中得以执行。输入视频图像信号1通过开关(SW)100被供给第1图片编码部102或颜色分量分离部103以及每个颜色分量的第2图片编码部104的某一个。开关100由共通编码/独立编码识别信号101而驱动，将输入视频图像信号1向所指定的总线供给。

下面，就共通编码/独立编码识别信号(num_pictures_in_au)101在输入视频图像信号为4:4:4格式的情况下被多路复用于序列参数组，而作为以序列为单位来选择共通编码处理和独立编码处理的信号的情况进行说明。

由于在使用了共通编码处理的情况下，需要在解码装置侧执行共通解码处理，在使用了独立编码处理的情况下，需要在解码装置侧执行独立解码处理，所以共通编码/独立编码识别信号101需要作为对其指定的信息而多路复用于比特流。因此，共通编码/独立编码识别信号101输入到多路复用部105。该共通编码/独立编码识别信号101的多路复用单位是序列内的若干图片群组成的GOP(Group Of Pictures)的单位等、只要是比图片更高位层次则怎样的单位均可。

在第1图片编码部102中，为了执行共通编码处理，将输入视频图像信号1分割成如图6所示那样汇集了3个颜色分量的采样的形式的宏块，并以其为单位推进编码处理。第1图片编码部102中的编码处理后述。

在独立编码处理被选择的情况下，输入视频图像信号1在颜色分量分离部103中被分离成C0、C1、C2的1帧部分的数据，并分别供给对应的第2图片编码部104。在第2图片编码部104中，将按颜色分量所分离的1帧部分的信号分割成图7所示的形式的宏块，并以其为单位推进编码处理。第2图片编码部中的编码处理进行后述。

在第1图片编码部102上被输入3个颜色分量组成的一幅图片部分的视频图像信号，编码数据作为比特流133而输出。在第2图片编码部104上被输入单一颜色分量组成的一幅图片部分的视频图像信号，编码数据作为比特流233a～c而输出。

这些比特流基于共通编码/独立编码识别信号101的状态在多路复用部105中被多路复用成比特流106的形式并输出。即，多路复用部105将通过独立地编码各自颜色分量的输入图像信号而得到的编码数据、和表示编码数据是针对哪个颜色分量的数据的参数多路复用于比特流。

在比特流106的多路复用之际，在经过独立编码处理时的存取单元中可以将片数据的比特流中的多路复用顺序、传送顺序在存取单元内的图片(各颜色分量)间进行交错。

即，图12表示存取单元内的片交错不可进行的情况(a)和片交错可以进行的情况(b)。片在交错不可进行的情况下(a)，在C0分量的编码完成以前C1分量的图片数据不能多路复用于比特流，在C0，C1分量的编码完成以前C2分量的图片数据不能多路复用于比特流，但在片交错可以进行的情况下(b)，只要C0分量的1片部分被多路复用于比特流，C1分量就可以立刻多路复用，只要C0，C1分量的1片部分被多路复用于比特流，C2分量就可以立即多路复用。

在此情况下，在解码装置侧需要识别接收到的片数据是属于存取单元内的哪个颜色分量的片。因此，在片数据开头的首标区域如图10那样利用将要多路复用的颜色分量识别标志。此外，这里所记载的图12的片交错的概念与图3所公开的概念等价。

通过设为这种构成，在编码装置如图11的编码装置那样对3个颜色分量的图片分别3组使用独立的第2图片编码部6，并通过并行处理来进行编码的情况下，只要自身的图片的片数据能够准备好就可以立刻送出编码数据，而不用等待其他颜色分量图片的编码数据的完成。

在AVC中能够将一个图片分割成多个片数据来进行编码，对于片数据长度或片内所包含的宏块的个数，能够依照编码条件灵活地使其变化。

在图像空间上相邻的片之间，确保片解码处理的独立性，所以内部预测或算术编码等附近上下文无法利用，因此使片数据长度尽量长的话编码效率较高。

另一方面，当在传送或记录的过程中错误混入比特流的情况下，片数据长度越短从错误的恢复就越早，越易于抑制品质劣化。若不多路复用颜色分量识别标志而是使片的长度或构成、颜色分量的顺序等固定下来，则在编码装置中比特流的生成条件将被固定化，就无法灵活地对应多种多样的编码要求条件。

另外，如果能够如图12那样构成比特流，则能够在编码装置中减少传送所需要的发送缓冲器大小、即能够减小编码装置侧的处理延迟。

图11中表示其情形。若在跨越图片的片数据的多路复用不被许可的情况下，编码装置就需要在某特定颜色分量的图片的编码结束之前的期间、使其他图片的编码数据缓冲起来。这就意味着发生图片层级下的延迟。

另一方面，如同图最下部所示那样，如果可以在片层级上进行交错，某特定颜色分量的图片编码部就能够以片数据为单位将编码数据输出到多路复用部，并能够抑制延迟。

此外，既可以在一个颜色分量图片内，使其中所包含的片数据以宏块的光栅扫描(raster scan)顺序进行传送，还可以构成为在一个图片内也进行交错传送。

以下，对第1图片编码部102以及第2图片编码部104的动作详细地进行说明。

第1图片编码部102的动作概要

图13中表示第1图片编码部102的内部构成。在该图中设输入视频图像信号1以4:4:4格式、且以图6形式的3个颜色分量汇集起来的宏块为单位被输入。

首先，在预测部110中，从存储器111所保存的活动补偿预测参照图像数据之中选择参照图像，并以该宏块为单位进行活动补偿预测处理。在存储器111中保存着涉及多个时刻的、3个颜色分量所构成的多幅参照图像数据，在预测部110从它们之中以宏块为单位选择最佳的参照图像来进行活动预测。

存储器111内的参照图像数据的配置既可以对每个颜色分量以面顺序分开保存，也可以将各颜色分量的采样以点顺序进行保存。进行活动补偿预测的块大小准备了7种，首先，对宏块单位能够选择16×16、16×8、8×16、8×8中的某种大小。进而，在8×8被选择的情况下，能够对各8×8块逐个选择8×8、8×4、4×8、4×4中的某种大小。

在预测部110中对于16×16、16×8、8×16、8×8的全部或者一部分块大小/8×8、8×4、4×8、4×4的子块大小、和规定搜索范围的活动矢量以及可以利用的1幅以上的参照图像按宏块逐个执行活动补偿预测处理，并通过活动矢量和预测中所用的参照图像识别信息112和减法器113，获得作为活动补偿预测单位的每个块的预测差分信号114。

预测差分信号114在编码模式判定部115中对其预测效率进行评价，并从预测部110所执行的预测处理之中输出获得对于预测对象的宏块最佳的预测效率的宏块类型/子宏块类型116和活动矢量/参照图像识别信息112。

宏块类型、子宏块类型、参照图像索引、活动矢量等宏块首标信息全部作为对3个颜色分量共通的首标信息而决定，被使用于编码并多路复用于比特流。

在预测效率的最佳性的评价时，既可以以抑制运算量的目的而仅仅评价针对某规定颜色分量(例如RGB之中的G分量、YUV之中的Y分量等)的预测误差量，也可以虽然运算量大但为了获得最佳的预测性能而综合评价关于所有颜色分量的预测误差量。另外，在最终宏块类型/子宏块类型116的选定时，有时还添加通过编码控制部117的判断而确定的针对各类型的权重系数118。

同样，在预测部110还执行内部预测。在内部预测执行时信号112上输出内部预测模式信息。以后，在不特别对内部预测、活动补偿预测进行区别的情况下，输出信号112将内部预测模式信息、活动矢量情报、参照图像识别编号汇集起来称为预测附加信息。对于内部预测也是既可以评价仅规定颜色分量的预测误差量，还可以综合评价关于全部颜色分量的预测误差量。最后，将宏块类型设成内部预测还是设成中间预测，在编码模式判定部115中根据预测效率或者编码效率来评价并选定。

将所选定的宏块类型/子宏块类型116、和通过基于预测附加信息112的内部预测/活动补偿预测而得到的预测差分信号114输出到变换部119。变换部119对所输入的预测差分信号114进行变换并作为变换系数输出到量化部120。此时，还可以从4×4或8×8中的某一个选择作为进行变换的单位的块的大小。在可以选择变换块大小的情况下，将编码时所选择的块大小反映在变换块大小指定标志134的值上，并将同一标志多路复用于比特流。

量化部120基于由编码控制部117确定的量化参数121对所输入的变换系数进行量化，并作为已量化变换系数122输出到可变长度编码部123。已量化变换系数122包含3个颜色分量部分的信息，并在可变长度编码部123中通过霍夫曼编码或算术编码等手段而进行熵编码。

另外，已量化变换系数122经逆量化部124、逆变换部125被复原成局部解码预测差分信号126，并通过将所选定的宏块类型/子宏块类型116与基于预测附加信息112所生成的预测图像127在加法器128进行相加而生成局部解码图像129。局部解码图像129在用解块滤波器130实施了块失真除去处理后，为了在以后的活动补偿预测处理中使用而被保存到存储器111。

在可变长度编码部123上还输入表示是否对该宏块实施解块滤波(de-blocking filter)的解块滤波器控制标志131。

可变长度编码部123上所输入的已量化变换系数122、宏块类型/子宏块类型116、预测附加信息112、量化参数121按照预定的规则(语法)作为比特流被排列/整形，并作为以图6形式的宏块1个或多个汇集起来的片数据为单位经过NAL单元化的编码数据被输出到发送缓冲器132。

在发送缓冲器17中与编码装置所连接的传送线路的频带和记录介质的读出速度相吻合使比特流平滑化并作为视频流133进行输出。另外，依照发送缓冲器133中的比特流储存状况向编码控制部117实施反馈，以控制以后的视频图像帧的编码中的发生代码量。

此外，第1图片编码部102的输出是将3分量汇集在一起的单位的片，与将存取单元汇集在一起的单位下的代码量等价，所以发送缓冲器132还可以原封不动配置在多路复用部105内。

在本实施方式7中的第1图片编码部102中，根据共通编码/独立编码识别信号101可以识别序列中的所有片数据是C0，C1，C2混合片(即，3个颜色分量的信息混在一起的片)，所以在片首标上颜色分量识别标志不多路复用。

第2图片编码部104的动作概要

图14中表示第2图片编码部104的内部构成。沿用557769JPO3的图1的说明来创建图H的说明草稿，具有图号为图1那样的地方。在该图中，设输入视频图像信号1a以图7形式的单一颜色分量的采样组成的宏块为单位被输入。

首先，在预测部210中，从存储器211所保存的活动补偿预测参照图像数据之中选择参照图像，并以该宏块为单位进行活动补偿预测处理。在存储器211中将涉及多个时刻的、单一颜色分量单一颜色分量设为编码处理对象是要点。图H与图I的外部不同的是存储器16的面数。能够保存所构成的多幅参照图像数据，在预测部210中从它们之中以宏块为单位选择最佳的参照图像来进行活动预测。

还可以使存储器211以将3个颜色分量部分汇集在一起的单位与存储器111共享。在进行活动补偿预测的块大小上准备了7种，首先，对宏块单位能够选择16×16、16×8、8×16、8×8中的某种大小。进而，在选择了8×8的情况下，能够对各8×8块逐个选择8×8、8×4、4×8、4×4中的某种大小。

在预测部210中对于16×16、16×8、8×16、8×8的全部或者一部分块大小/8×8、8×4、4×8、4×4的子块大小、和规定搜索范围的活动矢量以及可以利用的1幅以上的参照图像按宏块逐个执行活动补偿预测处理，并通过活动矢量和预测中所用的参照图像索引212和减法器213，获得作为活动补偿预测单位的每个块的预测差分信号214。

预测差分信号214在编码模式判定部215中对其预测效率进行评价，并从预测部210所执行的预测处理之中输出获得对于预测对象的宏块最佳的预测效率的宏块类型/子宏块类型216和活动矢量/参照图像索引212。宏块类型(macro-block types)、子宏块类型(sub-macro-block types)、参照图像索引(reference image indexes)、活动矢量(motion vectors)等宏块首标信息全部作为对于输入视频图像信号1a的单一颜色分量信号的首标信息而决定，被使用于编码并多路复用于比特流。

在预测效率的最佳性的评价时，仅评价对于作为编码处理对象的单一颜色分量的预测误差量。另外，在最终宏块类型/子宏块类型216的选定时，有时还添加通过编码控制部217的判断而确定的针对各类型的权重系数218。

同样，在预测部210还执行内部预测。将预测部110设为执行内部、中间预测双方的块。在内部预测执行时信号112上输出内部预测模式信息。以后，在不特别对内部预测、活动补偿预测进行区别的情况下，信号112称为预测附加信息。对于内部预测也是仅评价对于作为编码处理对象的单一颜色分量的预测误差量。最后，将宏块类型设成内部预测还是设成中间预测，根据预测效率或者编码效率来评价并选定。

将所选定的宏块类型/子宏块类型216、和根据预测附加信息212而得到的预测差分信号214输出到变换部219。变换部219对所输入的预测差分信号214进行变换并作为变换系数输出到量化部220。此时，还可以从4×4或8×8中的某一个选择作为进行变换的单位的块的大小。在可以选择的情况下，将编码时所选择的块大小反映在变换块大小指定标志234的值上，并将同一标志多路复用于比特流。

量化部220基于由编码控制部217确定的量化参数221对所输入的变换系数进行量化，并作为已量化变换系数222输出到可变长度编码部223。已量化变换系数222包含单一颜色分量部分的信息，并在可变长度编码部223中通过霍夫曼编码或算术编码等手段而进行熵编码。

另外，已量化变换系数222经逆量化部224、逆变换部225被复原成局部解码预测差分信号226，并通过将所选定的宏块类型/子宏块类型216与基于预测附加信息212所生成的预测图像227在加法器228进行相加而生成局部解码图像229。

局部解码图像229在用解块滤波器230实施了块失真除去处理后，为了在以后的活动补偿预测处理中使用而被保存到存储器211。在可变长度编码部223上还输入表示是否对该宏块实施解块滤波的解块滤波器控制标志231。

可变长度编码部223上所输入的已量化变换系数222、宏块类型/子宏块类型216、预测附加信息212、量化参数221按照预定的规则(语法(syntax))作为比特流被排列/整形，并作为以图7形式的宏块1个或多个汇集起来的片数据为单位经过NAL单元化的编码数据被输出到发送缓冲器232。

在发送缓冲器232中与编码装置所连接的传送线路的频带和记录介质的读出速度相吻合使比特流平滑化并作为视频流233进行输出。另外，依照发送缓冲器232中的比特流储存状况向编码控制部217实施反馈，以控制以后的视频图像帧的编码中的发生代码量。

此外，还可以构成为在第2图片编码部104的输出是仅单一颜色分量的数据组成的片，而需要以将存取单元汇集起来的单位进行代码量控制的情况下，在多路复用部105内设置将全部颜色分量的片进行多路复用的单位的共通发送缓冲器，并基于该缓冲器的占有量对各颜色分量的编码控制部217实施反馈。

另外，此时既可以仅使用全部颜色分量的发生信息量来进行编码控制，还可以增添各颜色分量的发送缓冲器232的状态来进行编码控制。在仅使用全部颜色分量的发生信息量来进行编码控制的情况下，还能够采用将与发送缓冲器232相当的功能用多路复用部105内的共通发送缓冲器来实现，并省略发送缓冲器232的构成。

在本实施方式7中的第2图片编码部104中，可以根据共通编码/独立编码识别信号101来识别序列中的所有片数据是单一颜色分量片(即，C0片或者C1片或者C2片)，所以在片首标中始终多路复用颜色分量识别标志，并在解码装置侧识别哪个片符合存取单元内的哪个图片数据。

因此，各第2图片编码部104能够将来自各自的发送缓冲器232的输出在积攒了1片部分的数据的时刻送出，而不用积攒一幅图片部分。

此外，第1图片编码部102与第2图片编码部104仅仅是将宏块首标信息作为3分量共通的信息来处理还是作为单一颜色分量的信息来处理上不同，以及片数据的比特流构成不同。图13或图14中的预测部和变换部/逆变换部、量化部/逆量化部、解块滤波器等基本的处理块大多仅仅在是与3个颜色分量的信息汇集进行处理还是只处理单一颜色分量的信息上不同，在第1图片编码部102和第2图片编码部104上还能够用共通的功能块来实现。

从而，不仅能够作为如图11那样的完全独立的编码处理部，还能够将图13或图14的基本构成要素适宜组合起来实现多种多样的编码装置的实装。另外，只要按面顺序持有第1图片编码部102中的存储器111的配置，就能够在第1图片编码部102与第2图片编码部104中使参照图像保存存储器的构成共通地实现。

另外，虽然没有图示，在本实施方式中的编码装置中，设想对按照图9、图10的排列的视频流106进行缓冲的假想流缓冲器(编码图片缓冲器)、和对解码图像313a、313b进行缓冲的假想帧存储器(解码图片缓冲器)的存在，并生成视频流106以使得没有编码图片缓冲器的上溢/下溢、解码图片缓冲器的破绽。该控制主要在编码控制部117、217进行。

这样一来，在解码装置中，在按照编码图片缓冲器与解码图片缓冲器的动作(假想缓冲器模型)对视频流106进行解码的情况下，保证在解码装置中不发生破绽。下面规定假想缓冲器模型。

编码图片缓冲器的动作以存取单元单位来进行。如上述那样，在进行共通解码处理的情况下在1个存取单元中包含一幅图片部分的编码数据，而进行独立解码处理的情况下在1个存取单元包含颜色分量数部分的图片(如果是3分量则是3图片部分)的编码数据。

对于编码图片缓冲器所规定的动作，是存取单元的最初比特和最后比特被输入编码图片缓冲器的时刻和存取单元的比特从编码图片缓冲器被读出的时刻。此外，从编码图片缓冲器的读出规定为瞬时进行，并设存取单元的所有比特在同一时刻从编码图片缓冲器读出。

当存取单元的比特从编码图片缓冲器读出，就被输入到高位首标解析部，如上述那样，在第1图片解码部或者第2图片解码部进行解码处理，并作为按存取单元单位经过整顿的彩色视频图像帧而得以输出。此外，从编码图片缓冲器读出比特，并作为存取单元单位的彩色视频图像帧输出之前的处理在假想缓冲器模型的规定上设为瞬时进行。

按存取单元单位所构成的彩色视频图像帧被输入到解码图片缓冲器，并计算出从解码图片缓冲器的输出时刻。从解码图片缓冲器的输出时刻是将规定的延迟时间加在从编码图片缓冲器的读出时刻上的值。

这一延迟时间可以多路复用于比特流以对解码装置进行控制。在延迟时间为0的情况、即从解码图片缓冲器的输出时刻等于从编码图片缓冲器的读出时刻的情况下，在彩色视频图像帧被输入到解码图片缓冲器的同时从解码图片缓冲器被输出。

在除此以外的情况、即从解码图片缓冲器的输出时刻迟于从编码图片缓冲器的读出时刻的情况下，直到成为从解码图片缓冲器的输出时刻之前彩色视频图像帧被保存在解码图片缓冲器中。如上述那样，按存取单元单位来规定从解码图片缓冲器的动作。

图15表示本实施方式7的解码装置的概略构成。在该图中共通解码处理在第1图片解码部302中得以执行，独立解码处理在颜色分量判定部303与第2图片解码部304(准备3个颜色分量部分)中得以执行。

比特流106在高位首标解析部300中被分割成NAL单元单位，序列参数组和图片参数组等高位首标信息直接进行解码并保存到解码装置内的第1图片解码部302、颜色分量判定部303、第2图片解码部304可以参照的规定存储区。按序列单位被多路复用的共通编码/独立编码识别信号(num_pictures_in_au)作为高位首标信息的一部分进行解码/保持。

经过解码的num_pictures_in_au被供给开关(SW)301，开关301如果num_pictures_in_au＝1就将每个图片的片NAL单元供给第1图片解码部302，如果num_pictures_in_au＝3就供给颜色分量判定部303。

即，如果num_pictures_in_au＝1就由第1图片解码部302进行共通解码处理，如果num_p1ictures_in_au＝3就由3个第2图片解码部304进行独立解码处理。第1及第2图片解码部的详细动作后面叙述。

颜色分量判定部303构成对表示是针对哪个颜色分量的编码数据的参数进行检测的检测手段，根据图10中所示的颜色分量识别标志的值来识别片NAL单元相当于现在的存取单元内的哪个颜色分量图片，并向适当的第2图片解码部304分配供给。

根据这种解码装置的构成就具有即便接收如图12那样在存取单元内片交错得以编码的比特流，也能够容易地判别哪个片属于哪个颜色分量图片并正确地进行解码的效果。

第1图片解码部302的动作概要

图16中表示第1图片解码部302的内部构成。第1图片解码部302以C0、C1、C2混和片的单位接收从图11的编码装置输出的按照图9，图10的排列的比特流106，并以图6所示的3个颜色分量的采样组成的宏块为单位来进行解码处理，将输出视频图像帧复原。

可变长度解码部310将比特流106作为输入，按照规定的规则(语法)对比特流106进行解读，抽取出在3分量部分的已量化变换系数122、以及3分量中共通使用的宏块首标信息(宏块类型/子宏块类型116、预测附加信息112、变换块大小指定标志134、量化参数121)。已量化变换系数122与量化参数121一起被输入到与第1图片编码部102进行同样处理的逆量化部124，进行逆量化处理。

接着，该输出被输入到与第1图片编码部102进行同样处理的逆变换部125，向局部解码预测差分信号126复原(如果变换块大小指定标志134存在于比特流106中，则在逆量化、逆变换处理过程中对其进行参照)。

另一方面，预测部311在第1图片编码部102中的预测部110之中、仅仅包含参照预测附加信息112而生成预测图像127的处理，对预测部311输入宏块类型/子宏块类型116、预测附加信息112，得到3分量部分的预测图像127。

在宏块类型表示内部预测的情况下，按照内部预测模式信息从预测附加信息112得到3分量部分的预测图像127，在宏块类型表示中间预测的情况下，按照活动矢量、参照图像索引从预测附加信息112得到3分量部分的预测图像127。

局部解码预测差分信号126与预测图像127通过加法器128进行加法运算，得到3分量部分的暂定解码图像129。暂定解码图像129被用于以后宏块的活动补偿预测，所以在与第1图片编码部102进行同样处理的解块滤波器130中对3分量部分的暂定解码图像采样实施了块失真除去处理以后，作为解码图像313得以输出，同时被保存到存储器312。

此时，基于由可变长度解码部310经过解读的解块滤波器控制标志131的指示使解块滤波器处理作用于暂定解码图像129。在存储器312中保存涉及多个时刻的、用3个颜色分量构成的多幅参照图像数据。

在预测部311中，从它们之中选择以宏块单位从比特流抽取出的参照图像索引所示的参照图像并生成预测图像生成。存储器312内的参照图像数据的配置既可以对每个颜色分量按面顺序分开进行保存，也可以将各颜色分量的采样按点顺序进行保存。解码图像313包含3个颜色分量，原封不动成为构成共通解码处理中的存取单元313a的彩色视频图像帧。

第2图片解码部304的动作概要

图17中表示第2图片解码部304的内部构成。第2图片解码部304以颜色分量判定部303中分成的C0或、C1或、C2片NAL单元450的单位接收从图11的编码装置输出的按照图9，图10的排列的比特流106，并以图7所示的单一颜色分量的采样组成的宏块为单位来进行解码处理，将输出视频图像帧复原。

可变长度解码部410将比特流450作为输入，按照规定的规则(语法)对比特流405进行解读，抽取出单一颜色分量的已量化变换系数222、以及适用于单一颜色分量的宏块首标信息(宏块类型/子宏块类型216、预测附加信息212、变换块大小指定标志234、量化参数221)。

已量化变换系数222与量化参数221一起被输入到与第2图片编码部104进行同样处理的逆量化部224，进行逆量化处理。接着，该输出被输入到与第2图片编码部104进行同样处理的逆变换部225，向局部解码预测差分信号226复原(如果变换块大小指定标志234存在于比特流450中，则在逆量化、逆变换处理过程中对其进行参照)。

另一方面，预测部311在第2图片编码部104中的预测部210之中、仅仅包含参照预测附加信息212而生成预测图像227的处理，对预测部411输入宏块类型/子宏块类型216、预测附加信息212，得到单一颜色分量的预测图像227。

在宏块类型表示内部预测的情况下，按照内部预测模式信息从预测附加信息212得到单一颜色分量的预测图像227，在宏块类型表示中间预测的情况下，按照活动矢量、参照图像索引从预测附加信息212得到单一颜色分量的预测图像227。

局部解码预测差分信号226与预测图像227通过加法器228进行加法运算，得到单一颜色分量宏块的暂定解码图像229。暂定解码图像229被用于以后宏块的活动补偿预测，所以在与第2图片编码部104进行同样处理的解块滤波器230中对单一颜色分量的暂定解码图像采样实施了块失真除去处理以后，作为解码图像451得以输出，同时被保存到存储器412。

此时，基于由可变长度解码部410经过解读的解块滤波器控制标志231的指示使解块滤波器处理作用于暂定解码图像229。解码图像410仅包含单一颜色分量的采样，通过将图15中其他经过并行处理的第2图片解码部304各自的输出按存取单元313b的单位进行整顿，作为彩色视频图像帧而得以构成。

如根据以上说明就可明白那样，第1图片解码部302和第2图片解码部304仅仅是将宏块首标信息作为3分量共通的信息来处理还是作为单一颜色分量的信息来处理上不同，以及片数据的比特流构成不同，图13或图14中的活动补偿预测处理和逆变换、逆量化等基本的解码处理块的大多能够在第1图片解码部302和第2图片解码部304上用共通的功能块来实现。

从而，不仅作为如图15那样完全独立的编码处理部，还能够将图16或图17的基本构成要素适宜组合起来而实现多种多样的解码装置的实装。虽然在当前时刻具体的装置构成没有记述彻底...另外，只要按面顺序具有第1图片解码部302中的存储器312的配置，就能够使存储器312、存储器412的构成在第1图片解码部302与第2图片解码部304中共通采用。

此外，图15的解码装置当然还可以接收从作为图11的编码装置的其他形态，将共通编码/独立编码识别信号3始终固定化成“独立编码处理”，根本不使用第1图片编码部102地对全帧进行独立编码这样构成的编码装置所输出的比特流并进行解码。

另外，作为图15的解码装置的其他形态，还可以在以共通编码/独立编码识别信号3始终被固定化成“独立编码处理”为前提的利用形态下，作为省略了开关301和第1图片解码部302的仅仅进行独立解码处理的解码装置而构成。

进而，如果使第1图片解码部302具备将以往的YUV(用亮度信号(Y)、亮度信号与蓝色分量之差(U)、亮度信号与红色分量之差(V)这3个信息来表现颜色的形式的信号)4:2:0格式作为对象并汇集3分量而经过编码的AVC high profile基准的比特流的解码功能，并采用在高位首标解析部300中，参照从比特流106解码的profile标识符来判定是以哪种格式经过编码的比特流，并将判定结果作为共通编码/独立编码识别信号3的信号线的一部分信息传给开关301和第1图片解码部302的构成，则还能够构成确保针对以往的YUV4:2:0格式的比特流的互换性的解码装置。

此外，在本实施方式7中的第1图片编码部102中，由于3个颜色分量的信息混和存在于片数据，且对3个颜色分量实施完全相同的内部/中间预测处理，所以有时候在预测误差信号空间残留着颜色分量间的信号相关性。

作为将其除去的努力，例如，还可以构成为对预测误差信号实施颜色空间变换处理。在图18，图19中表示具有这种构成的第1图片编码部102的例子。此外，在图18，图19中，颜色空间变换部及逆颜色空间变换部以外与图13共通。

图18是以进行变换处理之前的像素层级来实施颜色空间变换处理的例子，将颜色空间变换部150a配置在变换部之前，并将逆颜色空间变换部151a配置在逆变换部之后。

图19是一边适宜选择处理对象的频率分量一边对经过变换处理后所得到的系数数据实施颜色空间变换处理的HHI提出的例子，将颜色空间变换部150b配置在变换部之后，并将逆颜色空间变换部151b配置在逆变换部之前。通过限定实施颜色空间变换的频率分量，就具有能够抑制特定颜色分量中所包含的高频噪声分量传播给不太包含噪声的其它颜色分量的效果。

在可以适应性选择作为颜色空间变换处理的对象的频率分量的情况下，将在解码侧用于判断编码时的选择的信号传输信息152aa、152b多路复用于比特流。

颜色空间变换处理即可以依照编码对象的图像信号的性质按宏块单位切换使用多个变换方式，也可以构成为以宏块为单位来判定有无变换。还能够构成为以序列层级等指定好可选择的变换方式的类别，并以图片、片、宏块等为单位来指定从它们之中选择哪个。另外，还可构成为可以选择是在正交变换之前进行实施还是在之后进行实施。

在进行这些适应性编码处理情况下，能够构成为对于可选择的所有选择项，用编码模式判定部115或者215进行编码效率的评价以选择编码效率最高的选项。在实施这些适应性编码处理的情况下，将在解码侧用于判断编码时的选择的信号传输信息152a、152b多路复用于比特流。这种信号传输还可以在与片、图片、GOP、序列等宏块不同的层级进行指定。

在图20，图21中表示与图18，图19编码装置对应的解码装置。此外，在图20，图21中，逆颜色空间变换部以外与图16共通。图20是对由图18的编码装置在变换处理前进行颜色空间变换而经过编码的比特流进行解码的解码装置。

可变长度解码部从比特流中解码出选择是否在逆颜色空间变换部151a中进行变换的有无变换的信息、和选择在逆颜色空间变换部中可以执行的变换方式的信息152aa，并向逆颜色空间变换部151a供给。图20的解码装置，在逆颜色空间变换部151a中基于这些信息实施针对逆变换后的预测误差信号的颜色空间变换处理。

另外，图21是对由图19的编码装置通过在变换处理后选择处理对象的频率分量进行颜色空间变换而经过编码的比特流进行解码的解码装置。可变长度解码部从比特流中解码出选择是否在逆颜色空间变换部151b中进行变换的有无变换的信息、选择在逆颜色空间变换部中所执行的变换方式的信息、和包含确定实施颜色空间变换的频率分量的信息等的识别信息152b并供给逆颜色空间变换部151b。图21的解码装置，在逆颜色空间变换部151b中基于这些信息对逆量化后的变换系数数据实施颜色空间变换处理。

图20、图21的解码装置与图15的解码装置相同，如果使第1图片解码部302具备将以往的YUV4:2:0格式作为对象并汇集3分量而经过编码的AVC high profile基准的比特流的解码功能，并采用在高位首标解析部300中，参照从比特流106解码的profile标识符来判定是以哪种格式经过编码的比特流，并将判定结果作为共通编码/独立编码识别信号101的信号线的一部分信息传给开关10和第1图片解码部302的构成，则还能够构成确保针对以往的YUV4:2:0格式的比特流的互换性的解码装置。

图22中表示以往的YUV4:2:0格式的比特流所包含的宏块首标信息的编码数据的构成。在宏块类型为内部预测时包含内部色差预测模式500的编码数据。在宏块类型为中间预测时使用宏块首标信息所包含的参照图像识别编号、活动矢量信息以与亮度分量不同的方法生成色差分量的活动矢量。

就确保针对以往的YUV4:2:0格式的比特流的互换性的解码装置的动作进行说明。如上述那样，设第1图片解码部302具备以往的YUV4:2:0格式的比特流的解码功能。第1图片解码部的内部构成与图16同样。

对具备以往的YUV4:2:0格式的比特流的解码功能的第1图片解码部302的可变长度解码部310的动作进行说明。当视频流106被输入可变长度解码部310时，对色差格式指示标志进行解码。色差格式指示标志是被包含在视频流106的序列参数首标中，表示输入视频图像格式为4:4:4、4:2:2、4:2:0、4:0:0中的哪种格式的标志。

视频流106的宏块首标信息的解码处理根据色差格式指示标志之值来进行切换。在宏块类型表示内部预测的情况下，色差格式指示标志表示4:2:0或4:2:2的情况下从比特流对内部色差预测模式进行解码。在色差格式指示标志表示4:4:4的情况下跳过内部色差预测模式的解码。在色差格式指示标志表示4:0:0的情况下，由于是输入视频图像信号仅由亮度信号所构成的格式(4:0:0格式)，所以跳过内部色差预测模式的解码。

内部色差预测模式以外的宏块首标信息的解码处理，与不具备以往的YUV4:2:0格式的比特流的解码功能的第1图片解码部302的可变长度解码部310相同。

通过以上处理，当视频流106被输入可变长度解码部310时，就抽取出色差格式指示标志(未图示)、3分量部分的已量化变换系数、宏块首标信息(宏块类型/子宏块类型、预测附加信息、变换块大小指定标志、量化参数)。在预测部311上输入色差指示格式指示标志(未图示)与预测附加信息，并得到3分量部分的预测图像127。

图23中表示确保针对以往的YUV4:2:0格式的比特流的互换性的第1图片解码部302的预测部311的内部构成，并对其动作进行说明。

切换部501判别宏块类型，在宏块类型表示内部预测的情况下，在切换部502中判别色差格式指示标志之值。在色差格式指示标志之值表示4:2:0或4:2:2中的某一个的情况下，按照内部预测模式信息与内部色差预测模式信息从预测附加信息得到3分量部分的预测图像127。3分量之中、亮度信号的预测图像，按照内部预测模式信息通过亮度信号内部预测部而得以生成。

色差信号2分量的预测图像，按照内部色差预测模式信息通过进行与亮度分量不同处理的色差信号内部预测部而得以生成。在色差格式指示标志之值表示4:4:4的情况下，3分量所有的预测图像按照内部预测模式信息通过亮度信号内部预测部而得以生成。在色差格式指示标志之值表示4:0:0的情况下，由于4:0:0格式仅由亮度信号(1分量)所构成，所以仅亮度信号的预测图像按照内部预测模式信息通过亮度信号内部预测部而得以生成。

当在切换部501中宏块类型表示中间预测的情况下，通过切换部503对色差格式指示标志之值进行判别。在色差格式指示标志之值表示4:2:0或4:2:2中的某一个的情况下，对于亮度信号，通过亮度信号中间预测部从预测附加信息按照活动矢量、参照图像索引，并按照AVC规格按照所确定的亮度信号的预测图像生成方法得以预测图像。

关于色差信号2分量的预测图像，通过色差信号中间预测部，基于色差格式对从预测附加信息得到的活动矢量进行比例变换而生成色差活动矢量，并从根据预测附加信息得到的参照图像索引指示的参照图像，基于上述色差活动矢量按照AVC规格所确定的方法而生成预测图像。在色差格式指示标志之值表示4:0:0的情况下，由于4:0:0格式仅由亮度信号(1分量)所构成，所以仅亮度信号的预测图像按照活动矢量、参照图像索引通过亮度信号中间预测部而得以生成。

如以上那样，由于设置生成以往的YUV4:2:0格式的色差信号的预测图像的部件，并依照从比特流经过解码的色差格式指示标志之值切换3分量的预测图像的生成所用的部件，所以能够构成确保针对以往的YUV4:2:0格式的比特流的互换性的解码装置。

此外，如果对供给图20，图21的解码装置的比特流106，以序列参数组等单位赋予表示是否是如图15的解码装置那样不支持颜色空间变换处理的解码装置也可以解码的比特流的信息，则图20，图21、图15的任意解码装置都可以进行依照各自的解码性能的比特流的解码，具有易于确保比特流的互换性的效果。

实施方式8.

在本实施方式8中，就在图11或图15等实施方式7的编码装置/解码装置中，仅作为其输入输出对象的比特流之构成不同的其它实施方式进行叙述。本实施方式8中的编码装置以图24所示的比特流构成来进行编码数据的多路复用。

在图9构成的比特流中，AUD NAL单元包含primary_pic_type之类的信息作为其要素。这如表所示那样表示在AUD NAL单元开始的存取单元内的图片数据被编码之际的图片编码类型的信息。

[表1]

Meaning of primary_pic_type(自规格摘录)

primary_pic_type    slice_type values that may be present    in the primary coded picture    0    I    1    I，P    2    I，P，B    3    SI    4    SI，SP    5    I，SI    6    I，SI，P，SP    7    I，SI，P，SP，B

例如，在primary_pic_type＝0的情况下，表示图片内全部进行内部编码。在primary_pic_type＝1的情况下，表示经过内部编码的片、和可以仅使用一个参照图片列表来进行活动补偿预测的片能够在图片内混和。由于primary_pic_type是规定一个图片能够使用怎样的编码模式来进行编码的信息，所以通过在编码装置侧对这一信息进行操作，就能够进行与输入视频图像信号的性质和随机存取功能等种种条件相适应的编码。

在实施方式7中，primary_pic_type每个存取单元只有一个，所以在进行独立编码处理的时的存取单元中设primary_pic_type在3个颜色分量图片上共通。在本实施方式8中，在进行各颜色分量图片的独立编码情况下，在图9的AUD NAL单元内依照num_pictures_in_au之值通过追加插入剩余2个颜色分量图片部分的primary_pic_type，还是如图24的比特流构成那样，从表示颜色分量图片之开始的NAL单元(Color Channel Delimiter)开始各颜色分量图片的编码数据这样来构成，并在此CCD NAL单元中中包含对应的图片的primary_pic_type信息这样来构成。此外，实施方式8的CCD NAL单元的概念与图4所公开的概念等价。

在这一构成中，由于各颜色分量图片的编码数据是一幅图片部分汇集起来进行多路复用，所以实施方式7中所述的颜色分量识别标志(color_channel_idc)包含在CCD NAL单元中而不是片首标。由此，就能够将需要针对各片的多路复用的颜色分量识别标志的信息总括在图片单位的数据中，具有能够削减附加信息的效果。

另外，检测作为字节串而构成的CCD NAL单元对每个颜色分量图片验证一次color_channel_idc即可，能够快速地找到颜色分量图片的开头而不用进行可变长度解码处理，所以在解码装置侧，因将解码对象的NAL单元对每个颜色分量分离，故即便不逐一验证片首标中的color_channel_idc也可，能够顺利地进行向第2图片解码部的数据供给。

另一方面，在这种构成中，如实施方式7的图12所述那样的、降低编码装置的缓冲器大小、处理延迟的效果减弱，所以还可以构成为在更高位的层级(序列或GOP)中对颜色分量识别标志按片单位进行多路复用、还是按颜色分量图片单位进行多路复用进行信号传输。通过采用这种比特流构成，编码装置就可以依照其利用形态进行灵活的实装。

实施方式9.

进而，作为其他实施方式，还可以通过图25所示的比特流构成来进行编码数据的多路复用。在该图中，图24中包含于CCD NAL单元的color_channel_idc，primary_pic_type包含在各AUD中。在本实施方式9中的比特流构成下，即便在独立编码处理的情况下也是在一个存取单元中包含一个(颜色分量)图片这样来构成。即，在图25中定义为1图片(1颜色分量)＝1存取单元。

即便在这种构成中，能够将颜色分量识别标志的信息总括在图片单位的数据中而带来的附加信息的削减效果，另外，检测作为字节串而构成的AUD NAL单元对每个图片验证一次color_channel_idc即可、并能够快速地找到颜色分量图片的开头而不用进行可变长度解码处理，所以在解码装置侧，因将解码对象的NAL单元对每个颜色分量分离，故能够顺利地进行向第2图片解码部的数据供给而不用逐一验证片首标中的color_channel_idc。

另一方面，由于1帧或1半帧的图像由3个存取单元所构成，所以需要指定3个存取单元是同一时刻的图像数据。因此，还能够在图25的比特流构成下，进而在AUD之中赋予各图片的序列编号(时间方向的编码/解码顺序等)这样来构成。

根据这种构成，在解码装置侧就可以验证各图片的解码/显示顺序或颜色分量属性、IDR的是非等而根本不用对片数据进行解码，可以高效率地进行比特流层级的编辑和特殊再生。

另外，在图9、图24或图25的比特流构成中，还可以构成为在AUD或CCD的区域保存指定一个颜色分量图片所包含的片NAL单元的个数的信息。

此外，对于上述所有的实施方式，变换处理、逆变换处理即可以是如DCT那样保证正交性的变换，也可以是如AVC那样的严格而言不是诸如DCT的正交变换而是与量化/逆量化处理组合起来近似正交性的变换。另外，还可以是不进行变换地将预测误差信号作为像素层级的信息来进行编码这样的构成。