图像编码装置、图像解码装置、编码流变换装置、图像编码方法以及图像解码方法

摘要

预测图像生成部在对能够随机访问的帧间图片进行编码的情况下，从多个能够随机访问的内部图片中设定参照图片，实施将该设定的参照图片用于预测处理的运动补偿预测，可变长度编码部(13)对表示该参照图片的位置的图片位置信息和表示能够随机访问的帧间图片能够随机访问的识别信息进行编码，将该图片位置信息和识别信息的编码数据复用到比特流中。

说明书

技术领域

本发明涉及高效地对图像进行编码的图像编码装置和图像编码方法、高效地对已编码的图像进行解码的图像解码装置和图像解码方法、以及编码流变换装置。

背景技术

例如，在下面的非专利文献1中记载的现有的图像编码装置中，将输入的彩色图像分割为规定大小的最大编码块，并进一步将最大编码块分层分割为更细小的编码块。

并且，通过将该编码块进一步分割为更细小的预测块，实施针对该预测块的画面内预测和/或运动补偿预测，由此生成预测误差。

并且，在编码块内将该预测误差分层地分割为变换块，对各自的变换系数进行熵编码，由此达成较高的压缩率。

在现有的图像编码装置中，为了实现利用时间相关性的高效编码，例如通过图30的(a)所示的编码构造，从已经编码的图片中搜索与编码对象块之间的相关性较高的块，进行利用将其搜索对象块作为预测值的运动补偿预测的编码。一般情况下，将此时的使用运动补偿预测的图片称作帧间图片，将运动补偿预测的搜索(参照)对象图片称作参照图片，将不使用运动补偿而仅根据编码对象图片内的已编码像素进行预测的图片称作内部图片。特别是如图30的(b)所示，公知参照显示顺序中过去和未来双方的图片的运动补偿即双向预测能够实现高精度的预测。但是，如这些例子那样，通过运动补偿使图片间具有参照关系，由此在各图片的解码中产生依赖性，无法从位于编码比特流(编码流)中途的图片起进行解码，无法进行视频的中途再现。

因此，在利用图30等的使用运动补偿预测的编码构造的情况下，有时要准备表示中途解码开始地点的随机访问点，使得即使从编码比特流的中途起进行解码也能够正确地再现。例如在图31中示出设定能够随机访问的图片(非专利文献1所述的Intra Random Access Point(IRAP)图片)时的例子。帧间图片允许参照在时间上比内部图片靠前的图片，但是，解码顺序(编码顺序)和显示顺序均比IRAP图片靠后的帧间图片无法跨过该IRAP图片而参照在时间上比IRAP图片靠前的图片。即，对于解码顺序和显示顺序均比IRAP图片靠后的图片，运动补偿预测的参照对象受到限制。该情况下，在从编码比特流的中途起开始解码时，如果从IRAP起进行解码，则显示顺序比IRAP图片靠后的图片始终能够正确解码，能够实现编码顺序的中途再现。

在非专利文献1中，作为IRAP图片，定义有IDR(Instantaneous Decoding Refresh)图片、CRA(Clean Random Access)图片、BLA(Broken Link Access)图片。在从IRAP图片进行随机访问时，在IDR图片的情况下，保证了解码顺序靠后的图片的正常解码，在CRA图片和BLA图片的情况下，保证了解码顺序和显示顺序均靠后的图片的正常解码。进而，在从IRAP图片进行随机访问时，为了能够再现显示顺序在IRAP图片以后的图片，显示顺序比IRAP图片靠后的图片的解码顺序必须比IRAP图片靠后。即，在任何IRAP图片中，显示顺序靠后的图片都能够正常解码，这点是共通的。

并且，在非专利文献2中也具有同样的随机访问功能。但是，在非专利文献2中，作为随机访问用的图片，仅定义有IDR图片。

现有技术文献

非专利文献

非专利文献1：ISO/IEC 23008-2/ITU-T H.265

非专利文献2：ISO/IEC 14496-10/ITU-T H.264

发明内容

发明要解决的课题

现有的图像编码装置如上所述构成，因此，能够实现如下的随机访问：即使从编码比特流的中途，通过从特定图片开始解码，也能够正确地对显示顺序中该图片以后的图片进行解码。但是，如图32所示，在随机访问间隔(IRAP图片间隔)较短的情况下，运动补偿预测中能够使用的帧间图片的比例减小，编码效率降低。另一方面，当为了提高编码效率而增大帧间图片的比例时，随机访问间隔相应变长。这样，在编码效率与随机访问间隔之间存在折衷的关系，存在很难在缩短随机访问间隔的状态下提高预测效率这样的课题。

本发明正是为了解决上述这种课题而完成的，其目的在于，得到能够在维持随机访问间隔的状态下提高编码效率的图像编码装置、图像解码装置、编码流变换装置、图像编码方法以及图像解码方法。

用于解决课题的手段

本发明的图像编码装置具有将输入图像分割为编码处理单位的块的块分割部以及针对由块分割部分割的块决定编码模式的编码模式决定部，按照由编码模式决定部决定的编码模式，对由块分割部分割后的块实施编码处理，输出该块的压缩数据，其中，所述图像编码装置具有：预测图像生成部，其生成由块分割部分割后的块的预测图像；差分图像生成部，其生成由块分割部分割后的块与由预测图像生成部生成的预测图像之间的差分图像；图像压缩部，其对由差分图像生成部生成的差分图像进行压缩，输出该差分图像的压缩数据；局域解码图像生成部，其对由图像压缩部压缩后的差分图像进行解压缩，对解压缩后的差分图像和由预测图像生成部生成的预测图像进行相加，生成局域解码图像；滤波处理部，其对由局域解码图像生成部生成的局域解码图像实施滤波处理；以及编码部，其对从图像压缩部输出的压缩数据和由编码模式决定部决定的编码模式进行编码，生成复用了该压缩数据和编码模式的编码数据的比特流，预测图像生成部在对能够随机访问的帧间图片进行编码的情况下，从多个能够随机访问的内部图片中设定参照图片，实施将该设定的参照图片用于预测处理的运动补偿预测，编码部对表示该参照图片的位置的图片位置信息和表示能够随机访问的帧间图片能够随机访问的识别信息进行编码，将该图片位置信息和识别信息的编码数据复用到比特流中。

并且，图像编码装置具有将输入图像分割为编码处理单位的块的块分割部以及针对由块分割部分割的块决定编码模式的编码模式决定部，按照由编码模式决定部决定的编码模式，对由块分割部分割后的块实施编码处理，输出该块的压缩数据，其中，所述图像编码装置具有：预测图像生成部，其生成由块分割部分割后的块的预测图像；差分图像生成部，其生成由块分割部分割后的块与由预测图像生成部生成的预测图像之间的差分图像；图像压缩部，其对由差分图像生成部生成的差分图像进行压缩，输出该差分图像的压缩数据；局域解码图像生成部，其对由图像压缩部压缩后的差分图像进行解压缩，对解压缩后的差分图像和由预测图像生成部生成的预测图像进行相加，生成局域解码图像；滤波处理部，其对由局域解码图像生成部生成的局域解码图 像实施滤波处理；以及编码部，其对从图像压缩部输出的压缩数据和由编码模式决定部决定的编码模式进行编码，生成复用了该压缩数据和编码模式的编码数据的比特流，预测图像生成部在对能够随机访问的帧间图片进行编码的情况下，将相对于能够随机访问的帧间图片的编码顺序，编码顺序靠前且编码顺序最近的能够随机访问的内部图片设定为参照图片，实施将该设定的参照图片用于预测处理的运动补偿预测，编码部对表示能够随机访问的帧间图片能够随机访问的识别信息进行编码，将该识别信息的编码数据复用到比特流中。

本发明的图像解码装置输入以块为单位对图像进行压缩编码后的比特流，生成解码图像，其中，所述图像解码装置具有：解码部，其从比特流解码出各个块的压缩数据和编码模式；预测图像生成部，其按照由解码部解码后的编码模式，参照已解码像素，对各个块生成预测图像；差分图像生成部，其对由解码部解码后的压缩数据进行解压缩，生成差分图像；解码图像生成部，其对由差分图像生成部生成的差分图像和由预测图像生成部生成的预测图像进行相加，生成解码图像；以及滤波处理部，其对由解码图像生成部生成的解码图像实施滤波处理，解码部对表示哪个帧间图片是能够随机访问的帧间图片的识别信息进行解码，并且，对表示能够随机访问的帧间图片的生成预测图像时参照的参照图片的位置的图片位置信息进行解码，预测图像生成部在对根据该识别信息识别出的能够随机访问的帧间图片进行解码的情况下，从多个能够随机访问的内部图片中，将图片位置信息所示的图片设定为参照图片，实施将该设定的参照图片用于预测处理的运动补偿预测。

并且，图像解码装置输入以块为单位对图像进行压缩编码后的比特流，生成解码图像，其中，所述图像解码装置具有：解码部，其从比特流解码出各个块的压缩数据和编码模式；预测图像生成部，其按照由解码部解码后的编码模式，参照已解码像素，对各个块生成预测图像；差分图像生成部，其对由解码部解码后的压缩数据进行解压缩而生成差分图像；解码图像生成部，其对由差分图像生成部生成的差分图像和由预测图像生成部生成的预测图像进行相加，生成解码图像；以及滤波处理部，其对由解码图像生成部生成的解码图像实施滤波处理，解码部对表示哪个帧间图片是能够随机访问的帧间图片的识别信息进行解码，预测图像生成部在对根据该识别信息识别出的能够随机访问的帧间图片进行解码的情况下，将相对于能够随机访问的帧间图片的解码顺序，解码顺序靠前且解码顺序最近的能够随机访问的内部图片设定为参照图片， 实施将该设定的参照图片用于预测处理的运动补偿预测。

本发明的编码流变换装置输入以块为单位对图像进行压缩编码后的比特流，输出重编码后的比特流，其中，所述编码流变换装置具有：图像解码部，其对比特流进行解码而生成解码图像，并且确定能够随机访问的内部图片；重编码设定部，其从该确定的能够随机访问的内部图片中，设定要重编码成能够随机访问的帧间图片的重编码对象内部图片；重编码部，其对该重编码对象内部图片进行重编码；以及比特流合成部，其对该比特流和由重编码部重编码后的重编码对象内部图片进行合成，输出重编码比特流，重编码部对表示被重编码成能够随机访问的帧间图片的图片能够随机访问的识别信息进行编码，将该识别信息的编码数据复用到重编码比特流中。

本发明的图像编码方法在块分割部将输入图像分割为编码处理单位的块，编码模式决定部针对由块分割部分割的块决定编码模式后，按照该编码模式，对由块分割部分割后的块实施编码处理，输出该块的压缩数据，其中，预测图像生成部生成由块分割部分割后的块的预测图像，差分图像生成部生成由块分割部分割后的块与由预测图像生成部生成的预测图像之间的差分图像，图像压缩部对由差分图像生成部生成的差分图像进行压缩，输出该差分图像的压缩数据，局域解码图像生成部对由图像压缩部压缩后的差分图像进行解压缩，对解压缩后的差分图像和由预测图像生成部生成的预测图像进行相加，生成局域解码图像，滤波处理部对由局域解码图像生成部生成的局域解码图像实施滤波处理，编码部对从图像压缩部输出的压缩数据和由编码模式决定部决定的编码模式进行编码，生成复用了该压缩数据和编码模式的编码数据的比特流，预测图像生成部在对能够随机访问的帧间图片进行编码的情况下，将相对于能够随机访问的帧间图片的编码顺序，编码顺序靠前且编码顺序最近的能够随机访问的内部图片设定为参照图片，实施将该设定的参照图片用于预测处理的运动补偿预测，编码部对表示能够随机访问的帧间图片能够随机访问的识别信息进行编码，将该识别信息的编码数据复用到比特流中。

本发明的图像解码方法，输入以块为单位对图像进行压缩编码后的比特流，生成解码图像，其中，解码部从比特流解码出各个块的压缩数据和编码模式，预测图像生成部按照由解码部解码后的编码模式，参照已解码像素，对各个块生成预测图像，差分图像生成部对由解码部解码后的压缩数据进行解压缩，生成差分图像，解码图像生成部对由差分图像生成部生成的差分图像和由预测图像生成部生成的预测图像进行 相加而生成解码图像，滤波处理部对由解码图像生成部生成的解码图像实施滤波处理，解码部对表示哪个帧间图片是能够随机访问的帧间图片的识别信息进行解码，预测图像生成部在对根据该识别信息识别出的能够随机访问的帧间图片进行解码的情况下，将相对于能够随机访问的帧间图片的解码顺序，解码顺序靠前且解码顺序最近的能够随机访问的内部图片设定为参照图片，实施将该设定的参照图片用于预测处理的运动补偿预测。

发明效果

根据本发明的图像编码装置，预测图像生成部在对能够随机访问的帧间图片进行编码的情况下，从多个能够随机访问的内部图片中设定参照图片，实施将该设定的参照图片用于预测处理的运动补偿预测，编码部对表示该参照图片的位置的图片位置信息和表示能够随机访问的帧间图片能够随机访问的识别信息进行编码，将该图片位置信息和识别信息的编码数据复用到比特流中，因此，在帧间图片中也能够进行随机访问，具有能够在维持随机访问间隔的状态下提高编码效率的效果。

并且，根据本发明的其它图像编码装置和图像编码方法，预测图像生成部在对能够随机访问的帧间图片进行编码的情况下，将相对于能够随机访问的帧间图片的编码顺序，编码顺序靠前且编码顺序最近的能够随机访问的内部图片设定为参照图片，实施将该设定的参照图片用于预测处理的运动补偿预测，编码部对表示能够随机访问的帧间图片能够随机访问的识别信息进行编码，将该识别信息的编码数据复用到比特流中，因此，不需要用于识别能够随机访问的帧间图片参照的内部图片的信息，具有能够削减要编码的信息的编码量的效果。

并且，根据本发明的图像解码装置和图像解码方法，解码部对表示哪个帧间图片是能够随机访问的帧间图片的识别信息进行解码，并且，对表示能够随机访问的帧间图片的生成预测图像时参照的参照图片的位置的图片位置信息进行解码，预测图像生成部在对根据该识别信息识别出的能够随机访问的帧间图片进行解码的情况下，从多个能够随机访问的内部图片中，将图片位置信息所示的图片设定为参照图片，实施将该设定的参照图片用于预测处理的运动补偿预测，因此，具有能够正确地对包含能够随机访问的帧间图片的编码比特流进行解码的效果。

并且，根据本发明的编码流变换装置，重编码部对表示被重编码成能够随机访问的帧间图片的图片能够随机访问的识别信息进行编码，将该识别信息的编码数据复用 到重编码比特流中，因此，具有能够生成编码量比由图像编码装置等生成的编码比特流少的编码比特流的效果。

附图说明

图1是示出本发明的实施方式1的图像编码装置的结构图。

图2是示出本发明的实施方式1的图像编码装置的处理内容(图像编码方法)的流程图。

图3是示出本发明的实施方式1的图像解码装置的结构图。

图4是示出本发明的实施方式1的图像解码装置的处理内容(图像解码方法)的流程图。

图5是示出最大编码块分层地分割为多个编码块的例子的说明图。

图6的(a)是示出分割后的编码块和预测块的分布的说明图，(b)是示出通过分层分割来分配编码模式m(Bn)的状况的说明图。

图7是示出编码块Bn内的各预测块Pin能够选择的内部预测模式的一例的说明图。

图8是示出在l_iⁿ＝m_iⁿ＝4的情况下生成预测图像生成块内的像素的预测值时使用的像素的一例的说明图。

图9是示出将预测图像生成块内的左上像素作为原点的相对坐标的说明图。

图10是示出量化矩阵的一例的说明图。

图11是示出本发明的实施方式1的图像编码装置的环路滤波部中使用多个环路滤波处理的情况下的结构例的说明图。

图12是示出本发明的实施方式1的图像解码装置的环路滤波部中使用多个环路滤波处理的情况下的结构例的说明图。

图13是示出编码比特流的一例的说明图。

图14是示出像素自适应偏移处理的类别分类方法的索引的说明图。

图15是示出16×16像素尺寸的正交变换中的变换系数的编码顺序的说明图。

图16是示出16×16像素尺寸的正交变换中的变换系数的分布的一例的说明图。

图17是示出平均值预测时的滤波处理中的滤波器的切换区域的说明图。

图18是示出平均值预测时的滤波处理的参照像素配置的说明图。

图19是示出实施YUV4：2：0格式的信号中的亮度信号和色差信号的压缩处理时的变换块尺寸的说明图。

图20是示出实施YUV4：2：2格式的信号中的亮度信号和色差信号的压缩处理时的变换块尺寸的说明图。

图21是示出实施YUV4：4：4格式的信号中的亮度信号和色差信号的压缩处理时的变换块尺寸的说明图。

图22是示出色差信号的内部预测参数和色差内部预测模式的对应例的说明图。

图23是示出不使用LM模式的情况下的色差信号的内部预测参数和色差内部预测模式的对应例的说明图。

图24是示出YUV4：4：4格式与YUV4：2：2格式之间的关系的说明图。

图25是示出与在YUV4：4：4格式的信号中在亮度信号和色差信号中使用相同方向性预测等效的、YUV4：2：2格式的方向性预测的例子的说明图。

图26是示出YUV4：2：2格式的信号的方向性预测的预测方向矢量的说明图。

图27是示出方向性预测与角度之间的关系的说明图。

图28是示出在YUV4：2：2格式的信号中亮度信号的内部预测模式索引与色差信号的内部预测模式索引之间的关系的说明图。

图29是示出内部预测模式索引与tanθ之间的关系的说明图。

图30是示出利用运动补偿预测的编码的一例的说明图。

图31是示出使用IRAP图片的能够随机访问的编码的一例的说明图。

图32是示出随机访问间隔与编码效率的折衷关系的说明图。

图33是示出非专利文献1和2的随机访问实现例和实施方式1的随机访问实现例的说明图。

图34是示出一并使用不是长期参照图片的IRAP图片的实施方式1的随机访问实现例的说明图。

图35是示出基于能够随机访问的帧间图片的随机访问的实现例的说明图。

图36是利用从识别能够随机访问的帧间图片的信息起的移动字节数来表示随机访问时使用参照图片的位置的情况下的说明图。

图37是利用从编码比特流的起始起的移动字节数来表示随机访问时使用参照图片的位置的情况下的说明图。

图38是示出以IRAP图片为起始依次参照能够随机访问的帧间图片的随机访问的实现例的说明图。

图39是示出本发明的实施方式5的编码流变换装置的结构图。

具体实施方式

实施方式1

图1是示出本发明的实施方式1的图像编码装置的结构图。另外，本发明的特征在于，在图1的结构中，主要使用运动补偿预测部5、运动补偿预测帧存储器12和可变长度编码部13，在帧间图片中也能够进行随机访问。这里，块分割部1和片分割部14构成权利要求书所述的块分割部，编码控制部2构成编码模式决定部，切换开关3、内部预测部4、运动补偿预测部5构成预测图像生成部。

并且，减法部6构成差分图像生成部，变换/量化部7构成图像压缩部，逆量化/逆变换部8和加法部9构成局域解码图像生成部。

进而，环路滤波部11构成滤波处理部，可变长度编码部13构成编码部。

被该实施方式1的图像编码装置作为处理对象的视频信号是视频帧由水平/垂直的二维数字采样(像素)串构成的任意的视频信号，包含由亮度信号和2个色差信号构成的YUV信号、从数字摄像元件输出的RGB信号等任意颜色空间的彩色视频信号、单色图像信号、红外线图像信号等。

各像素的灰度可以是8位，也可以是10位、12位等的灰度。

并且，由于静态图像信号能够被解释为仅由1帧构成的视频信号，因此当然输入信号也可以不是视频信号而是静态图像信号。

在下面的说明中，为了方便起见，在没有特别指定的情况下，设输入的视频信号是如下格式的信号：相对于亮度成分Y，2个色差成分U、V在纵横方向上均被子采样为1/2的YUV4:2:0格式；相对于亮度成分Y，2个色差成分U、V在横向上被子采样为1/2的YUV4:2:2格式；或者2个色差成分U、V与亮度成分Y采样数相同的YUV4:4:4格式。并且，关于由红色(R)、绿色(G)、蓝色(B)这三原色的信号构成的RGB4:4:4格式的信号，将各个信号视为YUV4:4:4格式的信号而进行与YUV4:4:4格式相同的编码。但是，关于RGB4:4:4格式的各信号(RGB)如何与YUV4:4:4格式的各信号(YUV)对应并不作限定(可以任意设定)。并且，在YUV4： 4：4格式信号或RGB4：4：4格式信号的情况下，也可以将各信号视为单色图像信号而分别独立地进行单色(YUV4：0：0)编码并生成比特流。这样，能够以各信号并列的方式进行编码处理。

另外，将与视频的各帧对应的处理数据单位称为“图片(picture)”，在该实施方式1中，“图片”作为被依次扫描(图像顺序扫描(progressive scan))的视频帧的信号进行说明。但是，在视频信号为隔行(interlace)信号的情况下，“图片”也可以是作为构成视频帧的单位的场(field)图像信号。

在图1中，片分割部14在输入视频信号作为输入图像时，实施依照由编码控制部2决定的片分割信息将该输入图像分割为一个以上的被称为“片(slice)”的部分图像的处理。片的分割单位能够细小至后文叙述的编码块单位。

每当输入由片分割部14分割得到的片时，块分割部1实施如下处理：将该片分割为由编码控制部2决定的最大尺寸的编码块即最大编码块，并且将该最大编码块分层分割为各个编码块，直至达到由编码控制部2决定出的上限层数。

即，块分割部1实施根据由编码控制部2决定的分割将片分割为各个编码块并输出该编码块的处理。并且，各个编码块被分割为作为预测处理单位的一个或多个预测块。

编码控制部2实施如下处理：决定作为实施编码处理时的处理单位的编码块的最大尺寸，并且决定分层分割最大尺寸的编码块时的上限分层数，由此决定各个编码块的尺寸。

另外，编码控制部2实施从可选择的一个以上的编码模式(表示预测处理单位的预测块的尺寸等不同的一个以上的内部编码模式、预测块的尺寸等不同的一个以上的帧间(Inter)编码模式)中选择适用于从块分割部1输出的编码块的编码模式的处理。作为选择方法的例子，有从可选择的一个以上的编码模式中选择对从块分割部1输出的编码块的编码效率最高的编码模式的方法。

另外，编码控制部2实施如下处理：在编码效率最高的编码模式是内部编码模式的情况下，按照每个预测块决定以该内部编码模式对编码块实施内部预测处理时使用的内部预测参数，其中，该预测块是上述内部编码模式所示的预测处理单位；在编码效率最高的编码模式是帧间编码模式的情况下，按照每个预测块决定以该帧间编码模式对编码块实施帧间预测处理时使用的帧间预测参数，其中，该预测块是上述帧间编 码模式所示的预测处理单位。

另外，编码控制部2实施决定提供给变换/量化部7以及逆量化/逆变换部8的预测差分编码参数的处理。预测差分编码参数包含表示编码块中的成为正交变换处理单位的变换块的分割信息的变换块分割信息、规定进行变换系数量化时的量化步阶大小的量化参数等。

在此，图19是示出实施YUV4:2:0格式的信号中的亮度信号以及色差信号的压缩处理(变换处理、量化处理)时的变换块尺寸的说明图。

如图19所示，变换块尺寸由以四叉树(Quadtree)状对编码块进行分层分割的情况来决定。

例如，根据在分割变换块的情况下和不分割变换块的情况下的编码量、考虑到编码误差的评价尺度等，来决定是否分割变换块以使评价值最小，由此能够从编码量和编码误差折衷的观点出发来决定最佳的变换块的分割形状。

关于亮度信号，例如，如图19所示，构成为编码块被分层分割为一个或多个正方形的变换块。

关于色差信号，如图19所示，在输入信号格式为YUV4:2:0信号的情况下，与亮度信号同样地，构成为编码块被分层分割为一个或多个正方形的变换块。

在该情况下，色差信号的变换块尺寸在纵横方向上均为对应的亮度信号的变换块的一半的尺寸。

如图20所示，在输入信号格式为YUV4:2:2信号的情况下，进行与亮度信号同样的四叉树状的分层分割。并且，分割后的块的形状成为垂直方向的像素数为水平方向的像素数的2倍的长方形，因此通过进一步在上下方向上对分割后的块一分为二，成为由2个与YUV4:2:0信号的色差信号相同块尺寸(纵横方向上均为亮度信号的变换块的一半的尺寸)的变换块构成。

另外，如图21所示，在输入信号格式为YUV4:4:4信号的情况下，色差信号的变换块始终进行与亮度信号的变换块同样的分割，构成为相同尺寸的变换块。

亮度信号的变换块的分割信息例如作为表示是否按照每层进行分割的变换块分割标志输出给可变长度编码部13。

切换开关3实施如下处理：如果由编码控制部2决定的编码模式为内部编码模式，则将从块分割部1输出的编码块输出给内部预测部4，如果由编码控制部2决定的编 码模式为帧间编码模式，则将从块分割部1输出的编码块输出给运动补偿预测部5。

内部预测部4实施如下处理：在编码控制部2选择内部编码模式作为与从切换开关3输出的编码块对应的编码模式的情况下，参照存储在内部预测用存储器10中的局域解码图像，实施利用由编码控制部2决定的内部预测参数的内部预测处理(帧内预测处理)，生成内部预测图像。另外，内部预测部4构成内部预测单元。

即，内部预测部4对于亮度信号实施使用亮度信号的内部预测参数的内部预测处理(帧内预测处理)，生成亮度信号的预测图像。

另一方面，对于色差信号，在色差信号的内部预测参数示出使用与针对亮度信号的内部预测模式相同的预测模式的情况下(内部预测参数示出亮度色差公共内部预测模式(DM模式)的情况下)，实施与亮度信号相同的帧内预测，生成色差信号的预测图像。

另外，在色差信号的内部预测参数示出垂直方向预测模式或水平方向预测模式的情况下，实施针对色差信号的方向性预测，生成色差信号的预测图像。

另外，在色差信号的内部预测参数示出利用与亮度的相关性的色差信号预测模式(LM模式)的情况下，使用与预测图像的生成对象块的上侧和左侧相邻的多个像素的亮度信号和色差信号，计算示出亮度信号与色差信号之间的相关性的相关性参数，使用该相关性参数和与作为预测处理对象的色差信号的块对应的亮度信号，生成色差信号的预测图像。

另外，也可以构成为：在输入信号格式为YUV4:4:4信号的情况下，实施上述DM模式或者上述LM模式的处理而不选择其它预测模式。

在YUV4:4:4信号的情况下，亮度信号的边缘位置与色差信号的边缘位置之间存在较高的相关性关系，因此禁止对色差信号应用与亮度信号不同的预测模式，由此能够削减该色差信号的内部预测模式的信息量，提高编码效率。

另外，在输入信号格式为YUV4:2:2信号的情况下，如图24所示，如果亮度信号为正方形的块，则色差信号成为与亮度信号相比水平方向的像素数为亮度信号的1/2的长方形的块。因此，如图25所示，当在YUV4:4:4信号上亮度信号和色差信号示出同一方向的预测的情况下，通过将YUV4:4:4信号变换为YUV4:2:2信号，在垂直方向预测和水平方向预测以外的方向性预测的情况下，色差信号的预测方向将不同于亮度信号的预测方向。

具体而言，如图26所示，在设亮度信号的预测方向矢量为V_L＝(dx_L，dy_L)的情况下，色差信号的预测方向矢量为V_C＝(dx_L/2，dy_L)。即，如图27所示，在设预测方向的角度为θ的情况下，设亮度信号的预测方向的角度为θ_L、色差信号的预测方向的角度为θ_C，则需要在满足tanθ_C＝2tanθ_L的关系的预测方向上进行预测。

因此，为了能够正确实施亮度信号和色差信号进行同一方向的预测的上述DM模式，在输入信号格式为YUV4:2:2信号的情况下，将用于亮度信号的内部预测模式的索引变换为用于预测色差信号的内部预测模式的索引，基于与变换后的索引对应的内部预测模式，实施色差信号的预测处理。具体而言，可以构成为准备索引的变换表，参照该变换表来变换索引，也可以构成为预先准备变换式，依照该变换式来变换索引。

通过这样构成，对方向性预测处理自身不进行变更而仅变换索引，即能够实施与YUV4:2:2信号的格式对应的色差信号的适当预测。

运动补偿预测部5实施如下处理：在由编码控制部2选择帧间编码模式作为与从切换开关3输出的编码块对应的编码模式的情况下，对编码块与存储在运动补偿预测帧存储器12中的1帧以上的局域解码图像进行比较来搜索运动矢量，使用该运动矢量和由编码控制部2决定的将要参照的帧编号等帧间预测参数，实施对该编码块的帧间预测处理(运动补偿预测处理)而生成帧间预测图像。

减法部6实施如下处理：从块分割部1输出的编码块中减去由内部预测部4生成的内部预测图像或者由运动补偿预测部5生成的帧间预测图像，将表示作为其减法结果的差分图像的预测差分信号输出给变换/量化部7。

变换/量化部7实施如下处理：参照由编码控制部2决定的预测差分编码参数中包含的变换块分割信息，以变换块为单位实施针对从减法部6输出的预测差分信号的正交变换处理(例如，DCT(离散余弦变换)或DST(离散正弦变换)、预先对特定的学习序列进行基底设计的KL变换等正交变换处理)来计算变换系数，并且参照该预测差分编码参数中包含的量化参数，对该变换块单位的变换系数进行量化，并对逆量化/逆变换部8以及可变长度编码部13输出作为量化后的变换系数的压缩数据。

变换/量化部7也可以在对变换系数进行量化时，使用按照每个变换系数对根据上述量化参数计算出的量化步阶大小进行缩放(scaling)的量化矩阵，来实施变换系数的量化处理。

在此，图10是示出4×4DCT量化矩阵的一例的说明图。

图中的数字表示各变换系数的量化步阶大小的缩放值。

例如，为了抑制编码比特率，如图10所示，通过对越高域的变换系数越将量化步阶大小缩放为较大的值，由此能够对复杂的图像区域等中产生的高域的变换系数进行抑制，抑制编码量，且能够在不遗漏很大程度地影响主观品质的低域系数信息的状态下进行编码。

如此，在想要控制每个变换系数的量化步阶大小的情况下，使用量化矩阵即可。

另外，量化矩阵能够使用在各正交变换尺寸下按照每个颜色信号和/或每个编码模式(内部编码或帧间编码)独立的矩阵，能够分别选择从已编码量化矩阵、和作为初始值预先在图像编码装置以及图像解码装置中预先准备的公共的量化矩阵中选择，或者使用新的量化矩阵。

因此，变换/量化部7对各正交变换尺寸按照每个颜色信号和/或每个编码模式对要编码的量化矩阵参数设定表示是否使用新的量化矩阵的标志信息。

另外，在使用新的量化矩阵的情况下，对要编码的量化矩阵参数设定图10所示的量化矩阵的各缩放值。

另一方面，在不使用新的量化矩阵的情况下，对要编码的量化矩阵参数，设定从作为初始值在图像编码装置以及图像解码装置中预先准备的公共的量化矩阵或者已编码的量化矩阵中指定要使用的矩阵的索引。但是，当不存在可参照的已编码量化矩阵的情况下，成为仅可选择在图像编码装置以及图像解码装置中预先准备的公共的量化矩阵。

逆量化/逆变换部8实施如下处理：参照由编码控制部2决定的预测差分编码参数中包含的量化参数以及变换块分割信息，以变换块为单位对从变换/量化部7输出的压缩数据进行逆量化，并且对逆量化后的压缩数据即变换系数实施逆正交变换处理，计算与从减法部6输出的预测差分信号相当的局域解码预测差分信号。另外，在变换/量化部7使用量化矩阵实施量化处理的情况下，在逆量化处理时同样参照该量化矩阵实施对应的逆量化处理。

加法部9实施如下处理：将由逆量化/逆变换部8计算出的局域解码预测差分信号与由内部预测部4生成的内部预测图像或由运动补偿预测部5生成的帧间预测图像进行相加，计算与从块分割部1输出的编码块相当的局域解码图像。

内部预测用存储器10是存储加法部9计算出的局域解码图像的记录介质。

环路滤波部11实施如下处理：对加法部9计算出的局域解码图像实施规定的滤波处理，输出滤波处理后的局域解码图像。

具体而言，进行降低产生于变换块的边界或预测块的边界的失真的滤波(去块滤波(deblocking filter))处理、以像素为单位自适应地加上偏移(像素自适应偏移)的处理、自适应地切换维纳滤波器(Wiener filter)等线性滤波器进行滤波处理的自适应滤波处理等。

但是，环路滤波部11对上述的去块滤波处理、像素自适应偏移处理以及自适应滤波处理，分别决定是否进行处理，将各处理的有效标志作为头信息输出给可变长度编码部13。另外，在使用多个上述的滤波处理时，依序实施各滤波处理。图11示出使用多个滤波处理的情况下的环路滤波部11的结构例。

一般而言，使用的滤波处理的种类越多，图像质量越高，但另一方面处理负荷也升高。即，图像质量与处理负荷存在折衷的关系。并且，各滤波处理的图像质量改善效果因滤波处理对象图像的特性而异。因此，依照图像编码装置容许的处理负荷和/或编码处理对象图像的特性决定要使用的滤波处理即可。例如，当想要在图11的结构的基础上削减无法处理情形的情况下，可以考虑仅由去块滤波处理和像素自适应偏移处理构成。

在此，在去块滤波处理中，能够将在对块边界施加的滤波强度的选择中使用的各种参数从初始值开始进行变更。在进行变更的情况下，将该参数作为头信息输出给可变长度编码部13。

在像素自适应偏移处理中，最开始先将图像分割为多个块，将对该块单位不进行偏移处理的情况也定义为类别分类方法之一，从预先准备的多个类别分类方法中选择一个类别分类方法。

接着，通过选择出的类别分类方法，对块内的各像素进行类别分类，按照每个类别计算补偿编码失真的偏移值。

最后，进行对局域解码图像的亮度值加上该偏移值的处理，由此改善局域解码图像的图像质量。

因此，在像素自适应偏移处理中，将块分割信息、表示各块的类别分类方法的索引、确定块单位的各类别的偏移值的偏移信息作为头信息输出给可变长度编码部13。

另外，也可以是，在像素自适应偏移处理中，例如，始终分割为最大编码块这样 的固定尺寸的块单位，按照每个该块选择类别分类方法，进行每个类别的自适应偏移处理。在该情况下，不需要上述的块分割信息，能够削减与块分割信息所需的编码量相应的编码量，提高编码效率。

在自适应滤波处理中，利用规定的方法对局域解码图像进行类别分类，按照属于各类别的每个区域(局域解码图像)，设计对叠加后的失真进行补偿的滤波器，使用该滤波器，实施该局域解码图像的滤波处理。

然后，将按照每个类别设计的滤波器作为头信息输出给可变长度编码部13。

作为类别分类方法，存在在空间上将图像等间隔地进行划分的简单方法、以块为单位根据图像的局域性特性(分散等)进行分类的方法。

另外，在自适应滤波处理中使用的类别数可以作为公共的值预先设定在图像编码装置以及图像解码装置中，也可以作为要编码的参数。

与前者相比，后者能够自由设定要使用的类别数，因此图像质量改善效果提高，但另一方面，为了对类别数进行编码，会增加相应的编码量。

另外，在进行像素自适应偏移处理以及自适应滤波处理的情况下，需要如图11所示由环路滤波部11参照视频信号，因此需要变更图1的图像编码装置，使得视频信号被输入环路滤波部11。

运动补偿预测帧存储器12是存储环路滤波部11的滤波处理后的局域解码图像的记录介质。

可变长度编码部13对从变换/量化部7输出的压缩数据、编码控制部2的输出信号(最大编码块内的块分割信息、编码模式、预测差分编码参数、内部预测参数或者帧间预测参数)、以及从运动补偿预测部5输出的运动矢量(编码模式为帧间编码模式的情况下)进行可变长度编码来生成编码数据。

另外，如图13所示，可变长度编码部13对序列级头(sequence level header)、图片级头(picture level header)进行编码作为编码比特流的头信息，与图片数据一起生成编码比特流。

其中，图片数据由1个以上的片数据构成，各片数据是将片级头(slice level header)和该片内的上述编码数据汇总而得到的。

序列级头是将图像尺寸、颜色信号格式、亮度信号和/或色差信号的信号值的位深度、序列单位下的环路滤波部11的各滤波处理(自适应滤波处理、像素自适应偏 移处理、去块滤波处理)的有效标志信息、量化矩阵的有效标志信息等序列单位普遍共用的头信息汇总而得到的。

图片级头是将要参照的序列级头的索引和/或运动补偿时的参照图片数、熵编码的概率表初始化标志、量化矩阵参数等以图片为单位设定的头信息汇总而得到的。

片级头是将表示该片位于图片的哪个位置的位置信息、表示参照哪个图片级头的索引、片的编码类型(内部编码、帧间编码等)、表示是否进行环路滤波部11中的各滤波处理(自适应滤波处理、像素自适应偏移处理、去块滤波处理)的标志信息等片单位的参数汇总而得到的。

这里，在非专利文献1和非专利文献2中，通过NAL单元来识别各头信息和图片数据。具体而言，顺序参数组(相当于上述顺序级头)、图片参数头(相当于上述图片级头)、片数据分别被定义成固有的NAL单元类型，与NAL单元类型的识别信息(索引)一起被编码。并且，上述图片数据被定义成访问单元，表示包含一个图片的编码数据的数据访问单位。

在非专利文献1中，关于要随机访问的图片，将对应的访问单元内的片数据的NAL单元类型作为IRAP图片进行编码。该IRAP图片作为仅通过内部预测进行编码的内部图片进行编码，使得即使从该图片开始解码也能够正常解码。另外，如上所述，作为IRAP图片，定义有IDR图片、CRA图片、BLA图片。

非专利文献2也是同样的，但是，不同之处在于，作为能够随机访问的图片，仅定义有IDR图片。下面，以非专利文献1的IRAP图片为前提进行说明，但是，在非专利文献2中，通过将IRAP图片置换为IDR图片，也能够实现同样的处理。

如图32所示，为了缩短随机访问间隔，需要将较多的图片作为IRAP图片进行编码，由于运动补偿预测，能够进行高效编码的帧间图片减少，编码效率降低(图32的(a))。相反，当增多帧间图片时，随机访问间隔变长(图32的(b))。为了消除这种折衷问题，在本实施方式中，定义能够随机访问的帧间图片。

在图33中示出图32中说明的非专利文献1和2的现有的随机访问实现例(图33的(a))和本实施方式的随机访问实现例(图33(b))。在图33的(a)中，每隔一个图片插入作为内部图片的IRAP图片。另一方面，在图33的(b)中，与图33的(a)相比，帧间图片的数量较多。另外，在图33的(b)中，白色所示的“帧间图片”(不能随机访问的帧间图片)分别没有参照与显示顺序靠前(显示时刻为过去)的能够随 机访问的帧间图片相比显示顺序靠前的图片。这样，不能随机访问的帧间图片分别不会跨过显示顺序靠前的能够随机访问的帧间图片而参照更靠前的图片，由此，实现了基于能够随机访问的帧间图片的随机访问。这相当于将非专利文献1的CRA图片置换为能够随机访问的帧间图片。

如图33的(b)所示，在本实施方式中，能够随机访问的帧间图片为仅参照长期参照(long-term reference)图片的帧间图片。这里，长期参照图片表示与非专利文献1和2中定义的通常参照图片(非专利文献1和2中定义的短期参照(short-term reference)图片)的缓存管理不同地存储在为了长期保存而准备的参照图片缓存中的参照图片。即，长期参照图片保存在运动补偿预测帧存储器12中的长期保存用缓存中。下面，将能够随机访问的帧间图片参照的图片称作“随机访问时使用参照图片”。如图33的(b)所示，随机访问时使用参照图片是能够随机访问的帧间图片以外的图片(例如图33的(b)的帧间图片)也能够参照的图片。在该实施方式中，随机访问时使用参照图片限定于能够通过该图片单独正常解码的内部图片。并且，关于随机访问时使用参照图片，可以以一定图片间隔进行设定，也可以按照每个场景选择相应的图片。进而，也可以设定背景图像作为随机访问时使用参照图片。并且，关于设定哪个内部图片作为随机访问时使用参照图片，可根据用途考虑各种方法，例如根据编码装置中预定的规则来决定的方法、在编码过程中决定的方法、在编码装置外决定的方法等。

并且，关于能够随机访问的帧间图片的设定，也可根据用途考虑各种设定方法。例如，根据表示与上述随机访问时使用参照图片之间的相关性的评价值的大小而预先设定。即，将与上述随机访问时使用参照图片之间的相关性较大的帧间图片作为能够随机访问的帧间图片。作为其它例子，还存在以一定图片间隔进行设定的方法。

关于设定为能够随机访问的图片的帧间图片，在运动补偿预测部5中，参照一个以上的长期参照图片进行运动补偿预测，由此生成预测图像。

在解码侧，需要将与能够随机访问的帧间图片有关的信息复用到比特流中，使得能够从存在于比特流中途的能够随机访问的帧间图片起正确解码。因此，在实施方式1中，在可变长度编码部13中对与能够随机访问的帧间图片有关的信息进行编码。

即，可变长度编码部13在能够随机访问的帧间图片的访问单元内，作为Supplemental Enhancement Information(SEI)，对表示是能够随机访问的帧间图片的补充信息(识别信息)进行编码，将该补充信息的编码数据复用到比特流中。该SEI 包含表示该访问单元的帧间图片参照的能够单独解码的长期参照图片(随机访问时使用参照图片)的图片编号的图片位置信息。因此，在解码侧进行随机访问时，除了IRAP图片以外，具有上述SEI的访问单元的帧间图片也能够随机访问。该情况下，在对上述SEI所示的长期参照图片进行解码后，对仅参照该长期参照图片的该帧间图片进行解码。

即，在后述图3的图像解码装置中，构成解码部的可变长度解码部31从复用到比特流中的编码数据解码出SEI后，首先，图像解码装置对该SEI中包含的图片位置信息所示的图片编号的长期参照图片即内部图片的解码图像进行解码，将该内部图片的解码图像存储在运动补偿预测帧存储器39中之后，运动补偿部35参照运动补偿预测帧存储器39中存储的内部图片的解码图像，实施该SEI所示的能够随机访问的帧间图片的运动补偿预测，由此，能够实现从该SEI所示的能够随机访问的帧间图片起的中途解码(随机访问)。

在图33的(b)中，作为随机访问时使用参照图片的长期参照图片是IRAP图片，但是，也可以将不是IRAP图片的内部图片作为长期参照图片。进而，不需要将全部IRAP图片作为长期参照图片，如图34的例子那样，也可以一并使用不是长期参照图片的IRAP图片。并且，能够随机访问的帧间图片参照的长期参照图片数预先在图像编码装置和解码装置中决定为共同的值。作为补充信息进行编码的长期参照图片的图片编号的个数，仅存在该预先决定的长期参照图片数。或者，可以将上述长期参照图片数也作为补充信息进行编码。由此，能够根据状况而自适应地变更要参照的长期参照图片数，能够改善能够随机访问的帧间图片的编码效率。

这样，不仅是仅将图片内用于预测的内部图片，还能够利用能够进行运动补偿的帧间图片作为随机访问点，由此，与非专利文献1和2相比，能够实现高效编码。

在图1的例子中，假设作为图像编码装置的结构要素的块分割部1、编码控制部2、切换开关3、内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、内部预测用存储器10、环路滤波部11、运动补偿预测帧存储器12、可变长度编码部13以及片分割部14分别由专用的硬件(例如安装有CPU的半导体集成电路、单片微机等)构成，但是，在图像编码装置由计算机构成的情况下，也可以将记述有块分割部1、编码控制部2、切换开关3、内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、环路滤波部 11、可变长度编码部13以及片分割部14的处理内容的程序存储在计算机的存储器中，该计算机的CPU执行该存储器中存储的程序。

图2是示出本发明的实施方式1的图像编码装置的处理内容(图像编码方法)的流程图。

图3是示出本发明的实施方式1的图像解码装置的结构图。在图像解码装置中，其特征也在于能够从帧间图片进行随机访问。

这里，可变长度解码部31构成解码部，逆量化/逆变换部32构成差分图像生成部，切换开关33、内部预测部34和运动补偿部35构成预测图像生成部。

并且，加法部36构成解码图像生成部，环路滤波部38构成滤波处理部。

在图3中，可变长度解码部31在输入由图1的图像编码装置生成的编码比特流时，从该比特流解码出序列级头、图片级头、片级头等各头信息，并且，根据该编码比特流对表示分层分割的各个编码块的分割状況的块分割信息进行可变长度解码。此时，在表示将YUV4：4：4格式信号或RGB4：4：4格式信号的各信号视为单色图像信号而分别独立地进行单色(YUV4：0：0)编码的信息包含在头信息中的情况下，能够分别独立地对各颜色信号的编码比特流进行解码处理。

这里，在进行从编码比特流的中途解码的随机访问的情况下，从具有表示是IRAP图片或能够随机访问的帧间图片的SEI的访问单元的图片开始解码，由此，能够以显示顺序正确地对该图片以后的图片进行解码。具体而言，对表示是能够随机访问的帧间图片的SEI进行解码，首先，参照该SEI中包含的长期参照图片的图片编号即该访问单元的图片参照的长期参照图片的图片编号，对其指示的图片编号的图片进行解码。然后，在运动补偿部35(运动补偿预测部)中，参照被解码且被保存在运动补偿预测帧存储器39(运动补偿预测存储器)中的长期参照图片，实施包含上述SEI的访问单元的帧间图片的运动补偿预测，对该帧间图片进行解码。然后，对显示顺序比该帧间图片靠后的图片进行解码。这样，能够正确地对包含上述SEI的访问单元的图片以后的图片进行解码。

并且，能够随机访问的帧间图片参照的长期参照图片数预先在图像编码装置和解码装置中决定为共同的值，对该确定的上述长期参照图片数的长期参照图片的图片编号进行解码。或者，在构成图像编码装置以将上述长期参照图片数也作为补充信息进行编码的情况下，图像解码装置构成对要参照的长期参照图片数进行解码，对该解码 后的长期参照图片数的长期参照图片的图片编号进行解码的解码装置。通过构成为对这样编码后的长期参照图片数进行解码，能够正确地对由自适应地变更参照图片数而改善了能够随机访问的帧间图片的编码效率的图像编码装置生成的流进行解码。

下面，对图像解码装置的其它结构进行说明。在从编码比特流的中途进行解码的随机访问时和从编码比特流的起始进行解码的情况下，以下的结构都是同样的。

在上述头信息中包含的量化矩阵的有效标志信息示为“有效”的情况下，可变长度解码部31对量化矩阵参数进行可变长度解码，确定量化矩阵。具体而言，在按照各正交变换尺寸下的每个颜色信号和/或每个编码模式，量化矩阵参数作为初始值示出在图像编码装置和图像解码装置中预先准备的公共的量化矩阵或已解码的量化矩阵(并非新的量化矩阵)的情况下，参照指定是上述矩阵中的哪个量化矩阵的索引信息来确定量化矩阵，在量化矩阵参数示出使用新的量化矩阵的情况下，将量化矩阵参数中包含的量化矩阵确定为要使用的量化矩阵。

另外，可变长度解码部31实施如下处理：参照各头信息确定片分割状态，并且确定各片的片数据中包含的最大编码块，参照块分割信息确定作为对最大编码块进行分层分割来进行解码处理的单位的编码块，对与各个编码块相关的压缩数据、编码模式、内部预测参数(编码模式为内部编码模式的情况下)、帧间预测参数(编码模式为帧间编码模式的情况下)、运动矢量(编码模式为帧间编码模式的情况下)以及预测差分编码参数进行可变长度解码。

逆量化/逆变换部32实施如下处理：参照由可变长度解码部31进行可变长度解码而得到的预测差分编码参数中包含的量化参数以及变换块分割信息，以变换块为单位对由可变长度解码部31可变长度解码出的压缩数据进行逆量化，并且对逆量化后的压缩数据即变换系数实施逆正交变换处理，计算与图1的从逆量化/逆变换部8输出的局域解码预测差分信号相同的解码预测差分信号。

在此，根据上述变换块分割信息确定编码块中的变换块的分割状态。例如，在YUV4:2:0格式的信号的情况下，如图19所示，变换块尺寸由以四叉树状对编码块进行分层分割的情况来决定。

关于亮度信号，例如，如图19所示，构成为编码块被分层分割为一个或多个正方形的变换块。

关于色差信号，如图19所示，在输入信号格式为YUV4:2:0信号的情况下，与 亮度信号同样地，构成为编码块被分层分割为一个或多个正方形的变换块。在该情况下，色差信号的变换块尺寸在纵横方向上均为对应的亮度信号的变换块的一半尺寸。

如图20所示，在输入信号格式为YUV4:2:2信号的情况下，进行与亮度信号同样的四叉树状的分层分割。并且，分割后的块的形状成为垂直方向的像素数为水平方向的像素数的2倍的长方形，因此通过进一步将分割后的块在上下方向上一分为二，成为由2个与YUV4:2:0信号的色差信号相同块尺寸(纵横方向上均为亮度信号的变换块的一半尺寸)的变换块构成。

如图21所示，在输入信号格式为YUV4:4:4信号的情况下，色差信号的变换块始终进行与亮度信号的变换块同样的分割，构成为相同尺寸的变换块。

另外，在由可变长度解码部31可变长度解码出的各头信息示出在该片中使用量化矩阵实施逆量化处理的情况下，使用量化矩阵进行逆量化处理。

具体而言，使用根据各头信息确定的量化矩阵进行逆量化处理。

切换开关33实施如下处理：如果由可变长度解码部31可变长度解码出的编码模式为内部编码模式，则向内部预测部34输出由可变长度解码部31可变长度解码出的内部预测参数，如果由可变长度解码部31可变长度解码出的编码模式为帧间编码模式，则向运动补偿部35输出由可变长度解码部31可变长度解码出的帧间预测参数以及运动矢量。

内部预测部34实施如下处理：在根据由可变长度解码部31可变长度解码出的块分割信息确定的编码块的编码模式为内部编码模式的情况下，参照存储在内部预测用存储器37中的解码图像，实施使用从切换开关33输出的内部预测参数的内部预测处理(帧内预测处理)，生成内部预测图像。另外，内部预测部34构成内部预测单元。

即，内部预测部34对于亮度信号，实施针对亮度信号的上述使用内部预测参数的内部预测处理(帧内预测处理)，生成亮度信号的预测图像。

另一方面，对于色差信号，在色差信号的内部预测参数示出使用与针对亮度信号的内部预测模式相同的预测模式的情况下(内部预测参数示出亮度色差公共内部预测模式(DM模式)的情况下)，实施与亮度信号同样的帧内预测，生成色差信号的预测图像。

另外，在色差信号的内部预测参数示出垂直方向预测模式或者水平方向预测模式的情况下，实施针对色差信号的方向性预测，生成色差信号的预测图像。

另外，在色差信号的内部预测参数示出利用与亮度的相关性的色差信号预测模式(LM模式)的情况下，使用与预测图像的生成对象块的上侧及左侧相邻的多个像素的亮度信号以及色差信号，计算示出亮度信号与色差信号之间的相关性的相关性参数，使用该相关性参数以及与作为预测处理对象的色差信号的块对应的亮度信号，生成色差信号的预测图像。

另外，在图像编码装置构成为在输入信号格式为YUV4:4:4信号时实施上述DM模式或者上述LM模式的处理而不选择其它预测模式的情况下，图像解码装置也为同样的结构，使得能够对由该图像编码装置生成的比特流进行解码。

YUV4:4:4信号的亮度信号的边缘位置与色差信号的边缘位置之间存在较高的相关性关系，因此禁止对色差信号应用与亮度信号不同的预测模式，由此能够削减该色差信号的内部预测模式的信息量，提高编码效率。

另外，在输入信号格式为YUV4:2:2信号情况下，如图24所示，如果亮度信号为正方形的块，则色差信号成为与亮度信号相比水平方向的像素数为亮度信号的1/2的长方形的块。因此，如图25所示，在将YUV4:4:4信号变换为YUV4:2:2信号时，为了亮度信号和色差信号为同一方向的预测，在进行垂直方向预测和水平方向预测以外的方向性预测的情况下，使YUV4:2:2信号的色差信号的预测方向不同于亮度信号的预测方向。

具体而言，如图26所示，在将亮度信号的预测方向矢量设为V_L＝(dx_L，dy_L)的情况下，色差信号的预测方向矢量为V_C＝(dx_L/2，dy_L)。即，如图30所示，在设预测方向的角度为θ的情况下，设亮度信号的预测方向的角度为θ_L、色差信号的预测方向的角度为θ_C，则需要在满足tanθ_C＝2tanθ_L的关系的预测方向上进行预测。

因此，为了能够正确实施亮度信号和色差信号进行同一方向的预测的上述DM模式，在输入信号格式为YUV4:2:2信号的情况下，将用于亮度信号的内部预测模式的索引变换为用于预测色差信号的内部预测模式的索引，实施基于与变换后的索引对应的内部预测模式的色差信号预测处理。具体而言，可以构成为通过准备索引的变换表并参照该变换表来变换索引，也可以构成为预先准备变换式，依照该变换式来变换索引。

通过这样构成，不变更方向性预测处理自身而仅变换索引，即能够实施与YUV4:2:2信号的格式对应的色差信号的适当预测。

运动补偿部35实施如下处理：在由可变长度解码部31可变长度解码出的块分割信息确定的编码块的编码模式为帧间编码模式的情况下，参照存储在运动补偿预测帧存储器39中的解码图像，实施使用帧间预测参数和从切换开关33输出的运动矢量的帧间预测处理(运动补偿预测处理)，生成帧间预测图像。

加法部36实施如下处理：对由逆量化/逆变换部32计算出的解码预测差分信号、与由内部预测部34生成的内部预测图像或由运动补偿部35生成的帧间预测图像进行相加，计算与图1的从加法部9输出的局域解码图像相同的解码图像。

内部预测用存储器37是将由加法部36计算出的解码图像作为在内部预测处理中使用的参照图像进行存储的记录介质。

环路滤波部38实施如下处理：对加法部36计算出的解码图像实施规定的滤波处理，输出滤波处理后的解码图像。

具体而言，进行降低产生于变换块的边界和/或预测块的边界的失真的滤波(去块滤波)处理、以像素为单位自适应地加上偏移(像素自适应偏移)的处理、自适应地切换维纳滤波器等线性滤波器进行滤波处理的自适应滤波处理等。

但是，环路滤波部38分别针对上述的去块滤波处理、像素自适应偏移处理以及自适应滤波处理，参照由可变长度解码部31可变长度解码出的各头信息，确定是否在该片中进行以上处理。

此时，在进行2个以上的滤波处理的情况下，例如，如果图像编码装置的环路滤波部11如图11所示构成，则环路滤波部38如图12所示构成。当然，如果图像编码装置的环路滤波部11由去块滤波处理和像素自适应偏移处理构成，则环路滤波部38也由去块滤波处理和像素自适应偏移处理构成。

在此，在去块滤波处理中，参照由可变长度解码部31可变长度解码出的头信息，当存在将在对块边界施加的滤波强度的选择中使用的各种参数从初始值开始进行变更的信息的情况下，根据该变更信息，实施去块滤波处理。在不存在变更信息的情况下，依照预定的方法实施去块滤波处理。

在像素自适应偏移处理中，根据由可变长度解码部31可变长度解码出的像素自适应偏移处理的块分割信息对解码图像进行分割，以该块为单位，参照由可变长度解码部31可变长度解码出的示出块单位的类别分类方法的索引，在该索引并非是示出“不进行偏移处理”的索引的情况下，以块为单位依照上述索引所示的类别分类方法 对块内的各像素进行类别分类。

另外，作为类别分类方法的候选，预先准备与环路滤波部11的像素自适应偏移处理的类别分类方法的候选相同的候选。

然后，参照确定块单位的各类别的偏移值的偏移信息，执行对解码图像的亮度值加上偏移的处理。

但是，在构成为在图像编码装置的环路滤波部11的像素自适应偏移处理中不对块分割信息进行编码而始终将图像分割为固定尺寸的块单位(例如，最大编码块单位)，按照每个该块选择类别分类方法，进行每个类别的自适应偏移处理的情况下，在环路滤波部38中，同样按照与环路滤波部11相同的固定尺寸的块单位，实施像素自适应偏移处理。

在自适应滤波处理中，使用由可变长度解码部31可变长度解码出的每个类别的滤波器，利用与图1的图像编码装置相同的方法进行类别分类后，根据该类别分类信息进行滤波处理。

运动补偿预测帧存储器39是将环路滤波部38的滤波处理后的解码图像作为在帧间预测处理(运动补偿预测处理)中使用的参照图像进行存储的记录介质。

在图3的例子中，假定作为图像解码装置的结构要素的可变长度解码部31、逆量化/逆变换部32、切换开关33、内部预测部34、运动补偿部35、加法部36、内部预测用存储器37、环路滤波部38以及运动补偿预测帧存储器39分别由专用的硬件(例如，安装有CPU的半导体集成电路、单片机等)构成，但也可以是，在图像解码装置由计算机构成的情况下，在计算机的存储器中存储记述有可变长度解码部31、逆量化/逆变换部32、切换开关33、内部预测部34、运动补偿部35、加法部36以及环路滤波部38的处理内容的程序，该计算机的CPU执行存储在该存储器中的程序。

图4是示出本发明的实施方式1的图像解码装置的处理内容(图像解码方法)的流程图。

接着对动作进行说明。

在该实施方式1中，对图像编码装置和对从该图像编码装置输出的编码比特流进行解码的图像解码装置进行说明，其中，该图像编码装置将视频的各帧图像作为输入图像，实施根据已编码的临近像素进行的内部预测或者临近帧间的运动补偿预测，对得到的预测差分信号进行基于正交变换/量化的压缩处理，然后，进行可变长度编码 生成编码比特流。

图1的图像编码装置的特征在于：自适应地面对视频信号的空间/时间方向上的局域性变化，将视频信号分割为多种尺寸的块，进行帧内/帧间自适应编码。

一般而言，视频信号具有在空间/时间上信号的复杂度呈局域性变化的特性。从空间上观察，在某个视频帧上，例如，存在如下的图案共存情况：既有天空或墙壁等在比较广阔的图像区域中具有均匀的信号特性的图案，也有人物或者包含细小纹理的绘画等在较小的图像区域内有复杂的纹理图案的图案。

从时间上观察同样，天空或墙壁在时间方向上的局域性的图案变化较小，运动的人物或物体的轮廓在时间上进行刚体/非刚体的运动，因而时间上的变化较大。

编码处理是通过时间/空间性预测来生成信号功率和/或熵较小的预测差分信号，削减整体的编码量的处理，但是如果能将预测中使用的参数尽可能均等地应用于较大的图像信号区域，则能够减小该参数的编码量。

另一方面，对于时间/空间上变化较大的图像信号模式，如果将相同的预测参数应用于较大的图像区域，则预测的错误增加，因此预测差分信号的编码量增加。

因此，希望在时间/空间上变化较大的区域中减小应用相同的预测参数进行预测处理的块尺寸，增加预测中使用的参数的数据量来降低预测差分信号的功率/熵。

在该实施方式1中，为了进行这种适合于视频信号的一般性性质的编码，采取最开始从规定的最大块尺寸开始预测处理等，分层对视频信号的区域进行分割，按照分割后的每个区域自适应地进行预测处理、该预测差分的编码处理的结构。

先对图1的图像编码装置的处理内容进行说明。

首先，编码控制部2决定成为编码对象的图片(当前图片)的片分割状态，并且决定图片的编码中使用的最大编码块的尺寸和分层分割最大编码块的层数上限(图2的步骤ST1)。

作为最大编码块的尺寸的决定方法，例如，可以根据输入图像的视频信号的分辨率，对全部图片定为相同尺寸，也可以将输入图像的视频信号的局域性的运动复杂度的不同作为参数进行定量化，对运动激烈的图片定为较小的尺寸，对运动较少的图片定为较大的尺寸。

作为分割层数的上限的决定方法，例如，存在根据输入图像的视频信号的分辨率，对全部图片定为相同层数的方法，以及在输入图像的视频信号的运动激烈的情况下， 设定成加深层数使得能够检测出更细微的运动，在运动较少的情况下，设定成抑制层数的方法等。

另外，上述的最大编码块的尺寸和分层分割最大编码块的层数的上限可以编码为序列级头等，也可以不进行编码而在图像解码装置侧也进行相同的决定处理。

前者虽然增加头信息的编码量，但在图像解码装置侧无需进行上述决定处理，因此在能够抑制图像解码装置的处理负荷的基础上，能够在图像编码装置侧找出最佳值进行发送。

后者相反，在图像解码装置侧进行上述决定处理，因此虽然图像解码装置的处理负荷增加，但头信息的编码量不增加。

另外，在将上述最大编码块的尺寸和分层分割最大编码块的层数的上限编码为序列级头等的情况下，也可以替代分割层数的上限而对编码块的最小块尺寸进行编码。即，将最大编码块分割至分割层数的上限时的块尺寸为编码块的最小块尺寸，因此在图像解码装置侧，能够根据最大编码块的尺寸和编码块的最小块尺寸确定分割层数的上限。

并且，编码控制部2从可利用的一个以上的编码模式中选择与将被分层分割的各个编码块对应的编码模式(步骤ST2)。

即，编码控制部2按照每个最大编码块尺寸的图像区域，分层地分割为具有编码块尺寸的编码块，直至之前决定的分割层数的上限为止，并决定针对各个编码块的编码模式。

编码模式有一个或多个内部编码模式(总称为“INTRA”)、1个或多个帧间编码模式(总称为“INTER”)，编码控制部2从该图片可利用的全部编码模式中或者从其子集中选择与各个编码块对应的编码模式。

但是，由后述的块分割部1分层分割的各个编码块进一步被分割为作为进行预测处理的单位的一个或多个预测块，预测块的分割状态也作为信息包含在编码模式中。即，编码模式是识别具有怎样的预测块分割的内部或帧间编码模式的索引。

编码控制部2进行的编码模式的选择方法是公知技术，因此省略详细的说明，例如有：使用可利用的任意的编码模式，实施对编码块的编码处理来验证编码效率，从可利用的多个编码模式中选择编码效率最佳的编码模式的方法等。

另外，编码控制部2按照各个编码块的每一个，决定压缩差分图像时使用的量化 参数以及变换块分割状态，并且决定实施预测处理时使用的预测参数(内部预测参数或者帧间预测参数)。

但是，在编码块进一步被分割为进行预测处理的预测块单位的情况下，按照每个预测块选择预测参数(内部预测参数或者帧间预测参数)。

在此，图19是示出实施4:2:0格式信号的亮度信号以及色差信号的压缩处理(变换处理、量化处理)时的变换块尺寸的说明图。

如图19所示，变换块尺寸由以四叉树状将编码块分层分割的情况来决定。

例如，能够基于考虑到在分割变换块的情况和不分割变换块的情况下的编码量、编码误差的评价尺度等，决定是否将变换块以使得评价值最小的方式进行分割，由此从编码量和编码误差的折衷观点出发决定最佳的变换块的分割形状。

关于亮度信号，如图19所示，例如构成为编码块被分层分割为一个或多个正方形的变换块。

关于色差信号，如图19所示，构成为在输入信号格式为YUV4:2:0信号的情况下，与亮度信号同样地，编码块被分层分割为一个或多个正方形的变换块。在该情况下，色差信号的变换块尺寸在纵横方向上均为对应的亮度信号的变换块的尺寸的一半。

如图20所示，在输入信号格式为YUV4:2:2信号的情况下，进行与亮度信号同样的四叉树状的分层分割。并且，分割后的块的形状成为垂直方向的像素数为水平方向的像素数的2倍的长方形，因此通过对分割后的块进一步在上下方向上一分为二，成为由2个与YUV4:2:0信号的色差信号相同块尺寸(纵横方向上均为亮度信号的变换块的尺寸的一半)的变换块构成。

另外，如图21所示，构成为在输入信号格式为YUV4:4:4信号的情况下，色差信号的变换块始终进行与亮度信号的变换块同样的分割而成为相同尺寸的变换块。

编码控制部2对变换/量化部7、逆量化/逆变换部8以及可变长度编码部13输出包含示出编码块中的变换块的分割信息的变换块分割信息和/或规定进行变换系数的量化时的量化步阶大小的量化参数等的预测差分编码参数。

另外，编码控制部2根据需要对内部预测部4输出内部预测参数。

另外，编码控制部2根据需要对运动补偿预测部5输出帧间预测参数。

片分割部14当输入视频信号作为输入图像时，依照由编码控制部2决定的片分 割信息将该输入图像分割为一个以上的部分图像即片(slice)。

每当从片分割部14输入各片时，块分割部1将该片分割为由编码控制部2决定的最大编码块尺寸，并进一步将分割后的最大编码块分层分割为由编码控制部2决定的编码块，并输出该编码块。

在此，图5是示出最大编码块被分层分割为多个编码块的示例的说明图。

在图5中，最大编码块是记为“第0层”的亮度成分具有尺寸(L⁰，M⁰)的编码块。

以最大编码块为出发点，按四叉树构造分层进行分割，直至另外规定的预定深度为止，由此得到编码块。

在深度n时，编码块为尺寸(Lⁿ，Mⁿ)的图像区域。

其中，Lⁿ和Mⁿ相同也可，不同亦可，但在图5中示出的是Lⁿ＝Mⁿ的情形。

下面，将由编码控制部2决定的编码块尺寸定义为编码块的亮度成分的尺寸(Lⁿ，Mⁿ)。

因为进行四叉树分割，因此(Lⁿ⁺¹，Mⁿ⁺¹)＝(Lⁿ/2，Mⁿ/2)始终成立。

另外，对于RGB信号等全部颜色成分具有相同采样数的彩色视频信号(4:4:4格式)，全部颜色成分的尺寸均为(Lⁿ，Mⁿ)，而在处理4:2:0格式的情况下，对应的色差成分的编码块尺寸为(Lⁿ/2，Mⁿ/2)。

下面，设第n层的编码块表示为Bⁿ，编码块Bⁿ可选择的编码模式表示为m(Bⁿ)。

在由多个颜色成分构成的彩色视频信号的情况下，编码模式m(Bⁿ)可以构成为按照每个颜色成分使用分别独立的模式，也可以构成为对全部颜色成分使用公共模式。下面，在没有特别指出的情况下，设为编码模式是指对YUV信号的4:2:0格式的编码块的亮度成分的编码模式来进行说明。

如图5所示，编码块Bⁿ被块分割部1分割为表示预测处理单位的一个或多个预测块。

下面，将属于编码块Bⁿ的预测块表述为P_iⁿ(i为第n层的预测块编号)。图5示出P₀⁰和P₁⁰的例子。

编码块Bⁿ内的预测块的分割如何进行，作为信息包含在编码模式m(Bⁿ)中。

预测块P_iⁿ全部依照编码模式m(Bⁿ)进行预测处理，但能够按照每个预测块P_iⁿ选择单独的预测参数(内部预测参数或者帧间预测参数)。

编码控制部2例如对最大编码块生成图6所示的块分割状态，确定编码块。

图6的(a)中虚线围起的矩形表示各编码块，各编码块内的斜线覆盖的块表示各预测块的分割状态。

图6的(b)利用四叉树图示出对图6的(a)的示例通过分层分割而分配编码模式m(Bⁿ)的状态。图6的(b)中用方框围起的节点是被分配有编码模式m(Bⁿ)的节点(编码块)。

该四叉树图的信息与编码模式m(Bⁿ)一起被从编码控制部2输出到可变长度编码部13而复用于比特流。

切换开关3在由编码控制部2决定的编码模式m(Bⁿ)为内部编码模式的情况下(m(Bⁿ)∈INTRA的情况下)，对内部预测部4输出从块分割部1输出的编码块Bⁿ。

另一方面，在由编码控制部2决定的编码模式m(Bⁿ)为帧间编码模式的情况下(m(Bⁿ)∈INTER的情况下)，对运动补偿预测部5输出从块分割部1输出的编码块Bⁿ。

内部预测部4在由编码控制部2决定的编码模式m(Bⁿ)为内部编码模式(m(Bⁿ)∈INTRA的情况下)并从切换开关3接收到编码块Bⁿ时(步骤ST3)，参照存储在内部预测用存储器10中的局域解码图像，使用由编码控制部2决定的内部预测参数，实施针对该编码块Bⁿ内的各预测块P_iⁿ的内部预测处理，生成内部预测图像P_INTRAiⁿ(步骤ST4)。

具体内容如后所述，但在执行生成内部预测图像的处理时，使用与预测对象块相邻的已编码像素，因此必须始终以变换块为单位进行生成内部预测图像的处理，以使预测处理中使用的与预测对象块相邻的像素已编码完成。

因此，编码模式为内部编码模式的编码块的可选择变换块的块尺寸被限制为预测块的尺寸以下，此外，在变换块小于预测块的情况下(预测块内存在多个变换块的情况下)，以变换块为单位，实施使用由该预测块决定的内部预测参数的内部预测处理而生成内部预测图像的处理。

另外，图像解码装置需要生成与内部预测图像P_INTRAiⁿ完全相同的内部预测图像，因此在内部预测图像P_INTRAiⁿ的生成中使用的内部预测参数被从编码控制部2输出到可变长度编码部13而复用于比特流。

内部预测部4的处理内容的具体内容如后所述。

运动补偿预测部5在由编码控制部2决定的编码模式m(Bⁿ)为帧间编码模式(m(Bⁿ)∈INTER的情况下)并从切换开关3接收到编码块Bⁿ时(步骤ST3)，对该编码块Bⁿ内的各预测块P_iⁿ与存储在运动补偿预测帧存储器12中的滤波处理后的局域解码图像进行比较来搜索运动矢量，使用该运动矢量和由编码控制部2决定的帧间预测参数，实施针对该编码块Bⁿ内的各预测块P_iⁿ的帧间预测处理，生成帧间预测图像P_INTERiⁿ(步骤ST5)。

另外，图像解码装置需要生成与帧间预测图像P_INTERiⁿ完全相同的帧间预测图像，因此在帧间预测图像P_INTERiⁿ的生成中使用的帧间预测参数被从编码控制部2输出到可变长度编码部13而复用于比特流。

并且，由运动补偿预测部5搜索出的运动矢量也被输出到可变长度编码部13而复用于比特流。

减法部6在从块分割部1接收到编码块Bⁿ时，从该编码块Bⁿ内的预测块P_iⁿ中减去由内部预测部4生成的内部预测图像P_INTRAiⁿ或者由运动补偿预测部5生成的帧间预测图像P_INTERiⁿ中的任意一方，对变换/量化部7输出示出作为其相减结果的差分图像的预测差分信号e_iⁿ(步骤ST6)。

变换/量化部7在从减法部6接收到预测差分信号e_iⁿ时，参照由编码控制部2决定的预测差分编码参数中包含的变换块分割信息，以变换块为单位实施对该预测差分信号e_iⁿ的正交变换处理(例如，DCT(离散余弦变换)或DST(离散正弦变换)、预先对特定的学习序列实施基底设计的KL变换等正交变换处理)，计算变换系数。

并且，变换/量化部7参照该预测差分编码参数中包含的量化参数，对该变换块单位的变换系数进行量化，将作为量化后的变换系数的压缩数据输出给逆量化/逆变换部8以及可变长度编码部13(步骤ST7)。此时，也可以使用按照每个变换系数对根据上述量化参数计算出的量化步阶大小进行缩放的量化矩阵来实施量化处理。

量化矩阵能够在各正交变换尺寸下使用按照每个颜色信号和/或每个编码模式(内部编码或帧间编码)独立的矩阵，能够分别从作为初始值在图像编码装置以及图像解码装置中预先准备的公共的量化矩阵和已编码的量化矩阵中选择、或者使用新的量化矩阵。

因此，变换/量化部7针对各正交变换尺寸按照每个颜色信号和/或每个编码模式，对要进行编码的量化矩阵参数设定表示是否使用新的量化矩阵的标志信息。

并且，在使用新的量化矩阵的情况下，对要进行编码的量化矩阵参数设定图10所示的量化矩阵的各个缩放值。

另一方面，在不使用新的量化矩阵的情况下，对要进行编码的量化矩阵参数设定从作为初始值在图像编码装置以及图像解码装置中预先准备的公共的量化矩阵或已编码的量化矩阵中指定要使用的矩阵的索引。但是，在不存在可参照的已编码量化矩阵的情况下，仅可选择图像编码装置以及图像解码装置中预先准备的公共的量化矩阵。

然后，变换/量化部7将已设定的量化矩阵参数输出给可变长度编码部13。

逆量化/逆变换部8在从变换/量化部7接收到压缩数据时，参照由编码控制部2决定的预测差分编码参数中包含的量化参数以及变换块分割信息，以变换块为单位对该压缩数据进行逆量化。

当变换/量化部7在量化处理中使用量化矩阵的情况下，在逆量化处理时也参照该量化矩阵，实施对应的逆量化处理。

并且，逆量化/逆变换部8以变换块为单位实施针对逆量化后的压缩数据即变换系数的逆正交变换处理(例如，逆DCT、逆DST、逆KL变换等)，计算与从减法部6输出的预测差分信号e_iⁿ相当的局域解码预测差分信号并输出给加法部9(步骤ST8)。

加法部9在从逆量化/逆变换部8接收到局域解码预测差分信号时，将该局域解码预测差分信号与由内部预测部4生成的内部预测图像P_INTRAiⁿ或由运动补偿预测部5生成的帧间预测图像P_INTERiⁿ中的任意一方进行相加，由此计算局域解码图像(步骤ST9)。

另外，加法部9对环路滤波部11输出该局域解码图像，并且将该局域解码图像存储于内部预测用存储器10中。

该局域解码图像成为下面的内部预测处理时使用的已编码图像信号。

环路滤波部11在从加法部9接收到局域解码图像时，对该局域解码图像实施规定的滤波处理，将滤波处理后的局域解码图像存储于运动补偿预测帧存储器12(步骤ST10)。

具体而言，执行降低产生于变换块的边界和/或预测块的边界的失真的滤波(去块滤波)处理、以像素为单位自适应地加上偏移(像素自适应偏移)的处理、自适应 地切换维纳滤波器等线性滤波器来进行滤波处理的自适应滤波处理等。

但是，环路滤波部11对上述的去块滤波处理、像素自适应偏移处理以及自适应滤波处理，分别决定是否进行处理，将各处理的有效标志作为序列级头的一部分以及片级头的一部分输出给可变长度编码部13。另外，在使用多个上述的滤波处理时，依序实施各滤波处理。图11示出使用多个滤波处理的情况下的环路滤波部11的结构例。

一般而言，使用的滤波处理的种类越多，图像质量越高，但另一方面处理负荷也升高。即，图像质量与处理负荷存在折衷的关系。并且，各滤波处理的图像质量改善效果因滤波处理对象图像的特性而异。因此，依照图像编码装置容许的处理负荷和/或编码处理对象图像的特性决定要使用的滤波处理即可。

在此，在去块滤波处理中，能够将在选择对块边界施加的滤波强度时使用的各种参数从初始值开始进行变更。在要进行变更的情况下，将该参数作为头信息输出给可变长度编码部13。

在像素自适应偏移处理中，最开始先将图像分割为多个块，将不以该块为单位进行偏移处理的情况也定义为类别分类方法之一，并从预先准备的多个类别分类方法中选择一个类别分类方法。

接着，根据选择出的类别分类方法，对块内的各像素进行类别分类，按照每个类别计算补偿编码失真的偏移值。

最后，进行对局域解码图像的亮度值加上该偏移值的处理，由此改善局域解码图像的图像质量。

作为类别分类方法，存在按局域解码图像的亮度值的大小进行分类的方法(称为BO方法)和按照每个边缘的方向根据各像素的周围状况(周围区域是否为边缘部等)进行分类的方法(称为EO方法)。

这些方法是预先作为公共方法而准备在图像编码装置以及图像解码装置中的，例如如图14所示，将不进行偏移处理的情况也定义为类别分类方法之一，以上述块为单位选择表示利用这些方法中的哪个方法进行类别分类的索引。

因此，像素自适应偏移处理将块的分割信息、表示块单位的类别分类方法的索引以及块单位的偏移信息作为头信息输出给可变长度编码部13。

另外，在像素自适应偏移处理中，也可以例如始终分割为最大编码块这样的固定 尺寸的块单位，按照每个该块选择类别分类方法，进行每个类别的自适应偏移处理。在该情况下，无需上述块分割信息，能够削减与块分割信息所需的编码量相应的编码量，提高编码效率。

并且，在自适应滤波处理中，利用规定的方法对局域解码图像进行类别分类，按照属于各类别的每个区域(局域解码图像)，设计对叠加的失真进行补偿的滤波器，使用该滤波器，实施该局域解码图像的滤波处理。

并且，将按照每个类别设计的滤波器作为头信息输出给可变长度编码部13。

在此，作为类别分类方法，存在在空间上将图像等间隔地进行划分的简单方法、以块为单位根据图像的局域特性(分散等)进行分类的方法。并且，在自适应滤波处理中使用的类别数可以预先在图像编码装置以及图像解码装置中设定成公共值，也可以作为要进行编码的参数之一。

与前者相比，后者能够自由设定要使用的类别数，因此能够提高图像质量改善效果，但另一方面，为了对类别数进行编码，会增加相应的编码量。

反复执行步骤ST3～ST9的处理直至对被分层分割后的全部编码块Bⁿ的处理结束，在对全部编码块Bⁿ的处理结束时，转入步骤ST13的处理(步骤ST11、ST12)。

可变长度编码部13对从变换/量化部7输出的压缩数据、从编码控制部2输出的最大编码块内的块分割信息(以图6的(b)为例的四叉树信息)、编码模式m(Bⁿ)以及预测差分编码参数、从编码控制部2输出的内部预测参数(编码模式为内部编码模式的情况)或者帧间预测参数(编码模式为帧间编码模式的情况)、以及从运动补偿预测部5输出的运动矢量(编码模式为帧间编码模式的情况)进行可变长度编码，生成示出这些数据的编码结果的编码数据(步骤ST13)。

此时，作为被量化的正交变换系数的压缩数据的编码方法，将变换块进一步分割为被称作Coefficient Group(CG，系数组)的4×4像素单位的块(编码子块)，以CG为单位实施系数的编码处理。

图15示出16×16像素的变换块中的系数的编码顺序(扫描顺序)。

这样，对4×4像素单位的16个CG从右下的CG开始依序进行编码处理，并且关于各CG，对CG内的16个系数从右下的系数开始依序进行编码。

具体而言，首先，对表示CG内的16个系数中是否存在有效(非零)系数的标志信息进行编码，接着，仅在CG内存在有效(非零)系数的情况下，按上述顺序对 表示CG内的各系数是否为有效(非零)系数进行编码，最后对有效(非零)系数，按顺序对其系数值信息进行编码。以CG为单位按上述顺序执行以上处理。

此时，设为以使得有效(非零)系数尽量连续发生的方式有偏重的扫描顺序，更能够提高熵编码的编码效率。

关于正交变换后的系数，以位于左上的直流成分为起始，越接近左上侧，越表示频率成分低的系数，因此如图16所示，一般而言，越接近左上侧，有效(非零)系数的发生越频繁，因此，如图15所示，从右下侧开始依序编码能够高效地进行编码。

此外，上面对16×16像素的变换块进行了说明，设对8×8像素、32×32像素的变换块等16×16像素以外的块尺寸也同样实施CG(编码子块)单位的编码处理。

并且，如图13所示，可变长度编码部13作为编码比特流的头信息对序列级头、图片级头进行编码，与图片数据一起生成编码比特流。

其中，图片数据由一个以上的片数据构成，各片数据是汇总片级头和该片内的上述编码数据而得到的。

序列级头是汇总一般对序列单位而言相同的头信息而得到的，其中，该头信息包含图像尺寸、颜色信号格式、亮度信号和/或色差信号的信号值的位深度、以序列为单位的环路滤波部11的各滤波处理(自适应滤波处理、像素自适应偏移处理、去块滤波处理)的有效标志信息、量化矩阵的有效标志信息、表示是否进行场编码的标志等。

图片级头是汇总按图片单位设定的头信息而得到的，其中，该头信息包含参照的序列级头的索引、运动补偿时的参照图片数、熵编码的概率表初始化标志等。

片级头是汇总片单位的参数而得到的，其中，该片单位的参数包含表示该片位于图片的什么位置的位置信息、表示参照哪个图片级头的索引、片的编码类型(全内部编码、帧间编码等)、表示是否进行环路滤波部11中的各滤波处理(自适应滤波处理、像素自适应偏移处理、去块滤波处理)的标志信息等。

接着，对内部预测部4的处理内容具体地进行说明。

如上所述，内部预测部4参照预测块P_iⁿ的内部预测参数，实施针对该预测块P_iⁿ的内部预测处理，生成内部预测图像P_INTRAiⁿ，在此，对生成亮度信号中的预测块P_iⁿ的内部预测图像的内部处理进行说明。

图7是示出编码块Bⁿ内的各预测块P_iⁿ可选择的内部预测模式的一例的说明图， 示出内部预测模式的索引值和该内部预测模式示出的预测方向矢量。上述内部预测模式的索引值示出内部预测参数。

另外，也可以构成为内部预测模式数根据作为处理对象的块的尺寸而不同。

较大尺寸的块的内部预测效率低，因此，可选择的内部预测方向数少，较小尺寸的块可选择的内部预测方向数多，由此能够抑制运算量。

首先，生成内部预测图像的处理使用与作为处理对象的块相邻的已编码像素，因此，如上所述，该处理必须以变换块为单位进行。

在此，将生成内部预测图像的变换块称为预测图像生成块。因此，内部预测部4以预测图像生成块为单位实施下文描述的内部预测图像生成处理，生成预测块P_iⁿ的内部预测图像。

设预测图像生成块的尺寸为l_iⁿ×m_iⁿ像素。

图8是示出在l_iⁿ＝m_iⁿ＝4的情况下生成预测图像生成块内的像素的预测值时使用的像素的一例的说明图。

图8中设预测图像生成块上面的已编码像素(2×l_iⁿ+1)个和左面的已编码像素(2×m_iⁿ)个为预测中使用的像素，但预测中使用的像素可以多于图8所示的像素也可少于图8所示的像素。

并且，在图8中，在预测中使用预测图像生成块附近的1行或者1列的像素，但也可以在预测中使用2行或者2列或者更多的像素。

在针对预测图像生成块所属的预测块P_iⁿ的内部预测模式的索引值为0(平面(Planar)预测)的情况下，使用与预测图像生成块上面相邻的已编码像素和与预测图像生成块左侧相邻的已编码像素，将根据这些像素与预测图像生成块内的预测对象像素之间的距离而内插的值作为预测值，生成预测图像。

在针对预测图像生成块所属的预测块P_iⁿ的内部预测模式的索引值为1(平均值(DC)预测)的情况下，将与预测图像生成块上面相邻的已编码像素和与预测图像生成块左侧相邻的已编码像素的平均值作为预测图像生成块内的像素的预测值，生成预测图像。

并且，对于位于预测图像生成块的上端以及左端的图17的区域A、B、C，进行对块边界进行平滑的滤波处理而生成最终的预测图像。例如，依照下述的式(1)，在图18的滤波器的参照像素配置中使用下述的滤波系数来实施滤波处理。

S′(p₀)＝a₀S(p₀)+a₁S(p₁)+a₂S(p₂)(1)

·区域A(区块P_iⁿ左上的像素)

a₀＝1/2，a₁＝1/4，a₂＝1/4

·区域B(区域A以外的区块P_iⁿ上端的像素)

a₀＝3/4，a₂＝1/4，(a₁＝0)

·区域C(区域A以外的区块P_iⁿ左端的像素)

a₀＝3/4，a₁＝1/4，(a₂＝0)

其中，在式(1)中，a_n(n＝0，1，2)表示对参照像素施加的滤波系数，p_n(n＝0，1，2)表示包含滤波处理对象像素p₀的滤波器的参照像素，S’(p₀)表示滤波处理对象像素p₀的滤波处理后的预测值，S(p_n)(n＝0，1，2)表示包含滤波处理对象像素p₀的参照像素的滤波处理前的预测值。

并且，也可以限定进行上述滤波处理的预测图像生成块的块尺寸。

一般而言，在仅块端进行滤波处理而使预测值变化的情况下，在较大块尺寸的块的情况下，预测值由于滤波处理而改变的区域所占的比例小，因此由于该预测值的变化而产生的预测残余信号的变化由非常高的频率成分来表示，为了对该高频成分进行编码，存在产生编码效率恶化的倾向。并且，通过使编码效率优先而不对该高频成分进行编码，由此存在无法复原块端的预测残余信号的变化而在块边界产生失真的倾向。

另一方面，在较小块尺寸的块的情况下，预测值由于滤波处理而改变的区域所占的比例大，因此由于该预测值的变化而产生的预测残余信号的变化不会如较大块尺寸的块时那样以高频成分来表示，能够适当地对残余信号进行编码，通过本滤波处理，能够提高块边界的连续性，相应地提高解码图像的质量。

因此，例如对于32×32像素以上的块尺寸的预测图像生成块不应用上述的滤波处理，而仅对尺寸小于32×32像素的块应用上述滤波处理，由此能够相比现有的平均值预测提高预测性能，并能够抑制运算量的增加。

在对于预测图像生成块所属的预测块P_iⁿ的内部预测模式的索引值为26(垂直方向预测)的情况下，根据下述式(2)计算预测图像生成块内的像素的预测值来生成预测图像。

$S^{\prime }(x,y)=\left(\begin{array}{cc}S(x,-1)+\left(S\right(-1,y)-S(-1,-1\left)\right)>>1& (x\le 0)\\ S(x,-1)& (x>0)\end{array}\right)---\left(2\right)$

其中，坐标(x，y)为以预测图像生成块内的左上像素为原点的相对坐标(参照图9)，S’(x，y)为坐标(x，y)下的预测值，S(x，y)为坐标(x，y)下的已编码像素的亮度值(解码后的亮度值)。并且，在计算出的预测值超出亮度值可取的范围的情况下，对数值进行缩减使得预测值收于该范围内。

另外，式(2)的第一行的式子意味着将如下的滤波处理后的值作为预测值：对MPEG-4AVC/H.264下的垂直方向预测的预测值S(x，-1)加上相邻的已编码像素的垂直方向的亮度值的变化量S(-1，Y)-S(-1，-1)的1/2的值而对块边界进行平滑。式(2)的第二行的式子示出与MPEG-4AVC/H.264下的垂直方向预测相同的预测式。

在针对预测图像生成块所属的预测块P_iⁿ的内部预测模式的索引值为10(水平方向预测)的情况下，根据下述的式(3)计算预测图像生成块内的像素的预测值来生成预测图像。

$S^{\prime }(x,y)=\left(\begin{array}{cc}S(-1,y)+\left(S\right(x,-1)-S(-1,-1\left)\right)>>1& (y\le 0)\\ S(-1,y)& (y>0)\end{array}\right)---\left(3\right)$

其中，坐标(x，y)是以预测图像生成块内的左上像素为原点的相对坐标(参照图9)，S’(x，y)是坐标(x，y)下的预测值，S(x，y)是坐标(x，y)下的已编码像素的亮度值(解码后的亮度值)。并且，在计算出的预测值超出亮度值可取的范围的情况下，对数值进行缩减使得预测值收于该范围内。

另外，式(3)的第一行的式子意味着将如下的滤波处理后的值作为预测值：对MPEG-4AVC/H.264下的水平方向预测的预测值S(-1，Y)加上相邻的已编码像素的水平方向的亮度值的变化量S(x，-1)-S(-1，-1)的1/2的值而对块边界进行平滑。式(3)的第二行的式子示出与MPEG-4AVC/H.264下的水平方向预测相同的预测式。

但是，也可以限定进行式(2)的垂直方向预测、式(3)的水平方向预测的预测图像生成块的块尺寸。

一般而言，当仅块端进行加上与预测方向的亮度值的变化量成比例的值的滤波处理而使预测值变化的情况下，在较大块尺寸的块的情况下，预测值由于上述的预测图 像生成块的块端的滤波处理而改变的区域所占的比例小，因此由于该预测值的变化而产生的预测残余信号的变化由频率非常高的频率成分来表示，为了对该高频成分进行编码，存在产生编码效率恶化的倾向。并且，使编码效率优先而不对该高频成分进行编码，由此存在无法复原块端的预测残余信号的变化而在块边界产生失真的倾向

另一方面，在较小块尺寸的块的情况下，预测值由于上述滤波处理而改变的区域所占的比例大，因此由于该预测值的变化而产生的预测残余信号的变化不会如较大块尺寸的块时那样以高频成分来表示，能够适当地对残余信号进行编码，通过本滤波处理，能够提高块边界的连续性，相应地提高解码图像的质量。

因此，例如对于32×32像素以上的块尺寸的预测图像生成块，与预测对象像素的坐标无关地，始终使用式(2)以及式(3)的第二行的式子(不进行预测图像生成块的块端的滤波处理)，而仅对尺寸小于32×32像素的块应用进行上述滤波处理的式(2)以及式(3)，由此能够相比现有的垂直方向预测、水平方向预测提高预测性能并抑制运算量的增加。

在内部预测模式的索引值为0(平面预测)、1(平均值预测)、26(垂直方向预测)、10(水平方向预测)以外的情况下，根据索引值所示的预测方向矢量υ_p＝(dx，dy)，生成预测图像生成块内的像素的预测值。

如图9所示，以预测图像生成块的左上像素为原点，将预测图像生成块内的相对坐标设定成(x，y)，则预测中使用的参照像素的位置成为下述的L与相邻像素的交点。

$L=\left(\begin{array}{c}x\\ y\end{array}\right)+{\mathrm{kv}}_p---\left(4\right)$

其中，k为负实数。

在参照像素位于整数像素位置的情况下，将该整数像素作为预测对象像素的预测值，在参照像素不位于整数像素位置的情况下，将根据与参照像素相邻的整数像素生成的插值像素作为预测值。

在图8的例子中，参照像素不位于整数像素位置，因此将根据与参照像素相邻的2个像素内插而得到的值作为预测值。另外，也可以是，并非仅根据相邻的2个像素而是根据相邻的2个像素以上的像素生成插值像素来作为预测值。

通过增多在插值处理中使用的像素，具有提高插值像素的插值精度的效果，但插值处理所需的运算的复杂度也增加，因此在即使运算负荷大也追求较高的编码性能的 图像编码装置的情况下，优选根据更多的像素生成插值像素。

通过以上所述的处理，以预测图像生成块为单位，生成针对预测块P_iⁿ内的亮度信号的全部像素的预测像素，输出内部预测图像P_INTRAiⁿ。

另外，为了复用于比特流，在内部预测图像P_INTRAiⁿ的生成中使用的内部预测参数(内部预测模式)被输出给可变长度编码部13。

另外，与之前说明的MPEG-4AVC/H.264下的8×8像素块的内部预测时对参照像素实施的平滑处理同样地，即使在构成为在内部预测部4中，将生成预测图像生成块的预测图像时的参照像素，作为对与预测图像生成块相邻的已编码像素进行平滑处理后的像素的情况下，也能够进行与上述的示例同样的针对预测图像的滤波处理。由此，能够去除对参照像素的滤波处理导致的参照像素的噪声，将其用于进行预测，能够提高预测的精度。

或者，也可以是仅在进行针对预测图像的滤波处理的平均值预测、垂直方向预测、水平方向预测以外的预测时，实施上述针对参照像素的滤波处理。由此，针对各预测模式最多仅进行一个滤波处理即可，能够抑制运算量的增加。

在上文中，对于亮度信号的预测图像生成处理进行了说明，针对色差成分的预测图像如下这样生成。

针对预测块P_iⁿ的色差信号，实施基于色差信号的内部预测参数(内部预测模式)的内部预测处理，将在内部预测图像的生成中使用的内部预测参数输出给可变长度编码部13。

图22是示出色差信号的内部预测参数(索引值)与色差内部预测模式的对应示例的说明图。

在色差信号的内部预测参数示出使用与针对亮度信号的内部预测模式相同的预测模式的情况下(内部预测参数示出亮度色差公共内部预测模式(DM模式)的情况下)，实施与亮度信号同样的帧内预测，生成色差信号的预测图像。

并且，在色差信号的内部预测参数示出垂直方向预测模式或水平方向预测模式的情况下，实施针对色差信号的方向性预测，生成色差信号的预测图像。

并且，在色差信号的内部预测参数示出利用与亮度的相关性的色差信号预测模式(LM模式)的情况下，使用与预测图像的生成对象块的上侧以及左侧相邻的多个像素的亮度信号和色差信号，计算示出亮度信号与色差信号之间的相关性的相关性参 数，使用该相关性参数以及与作为预测处理对象的色差信号块对应的亮度信号，生成色差信号的预测图像。

另外，在输入信号格式为YUV4:4:4信号的情况下，构成为实施上述DM模式或上述LM模式的处理而不选择其它预测模式。在YUV4:4:4信号中，在亮度信号的边缘位置与色差信号的边缘位置之间存在较高的相关性关系，因此禁止对色差信号应用与亮度信号不同的预测模式，由此能够削减该色差信号的内部预测模式的信息量，提高编码效率。

当然，在YUV4:4:4信号的情况下同样，也可以构成为对色差信号能够选择与亮度信号不同的方向性预测模式。

并且，在输入信号格式为YUV4:2:2信号的情况下，如图24所示，如果亮度信号为正方形的块，则色差信号与亮度信号相比成为水平方向的像素数为亮度信号的1/2的长方形的块。因此，如图25所示，在将YUV4:4:4信号变换为YUV4:2:2信号时，为了使亮度信号和色差信号成为同一方向的预测，在进行垂直方向预测和水平方向预测以外的方向性预测的情况下，使YUV4:2:2信号的色差信号的预测方向不同于亮度信号的预测方向。

具体而言，如图26所示，在设亮度信号的预测方向矢量为V_L＝(dx_L，dy_L)的情况下，色差信号的预测方向矢量成为V_C＝(dx_L/2，dy_L)。即，如图27所示，在设预测方向的角度为θ的情况下，亮度信号的预测方向的角度为θ_L、色差信号的预测方向的角度为θ_C，则需要在满足tanθ_C＝2tanθ_L的关系的预测方向上进行预测。

因此，为了能够正确实施亮度信号和色差信号进行同一方向的预测的上述DM模式，在输入信号格式为YUV4:2:2信号的情况下，将亮度信号中使用的内部预测模式的索引变换为色差信号的预测中使用的内部预测模式的索引，实施基于与变换后的索引对应的内部预测模式的色差信号的预测处理。

图28示出图7的内部预测模式下的内部预测模式索引的变换例。

图28的变换表是在设预测方向的角度为θ时(参照图27)内部预测模式的方向性预测为图29所示的tanθ的角度的情况下，变换成与tanθ_C＝2tanθ_L这一关系最接近的角度θ_C的表的例子。

如上所述，变换处理的实现可以构成为，准备索引的变换表并参照该变换表，由此来变换索引，也可以构成为准备变换式，依照该变换式来变换索引。

通过这样构成，不变更方向性预测处理自身而仅变换索引，即能够实施与YUV4:2:2信号的格式对应的色差信号的适当预测。

并且，也可以构成为不对色差信号进行上述LM模式。作为此时的色差信号的内部预测参数(索引值)和色差内部预测模式的对应例子，可以举出图23。

这样，通过不使用LM模式，预测对象像素的亮度信号与色差信号之间的依存性消失，因此亮度信号和色差信号的预测处理的并行成为可能，能够实现高速的运算处理。

并且，在色差信号中，对于色差信号的垂直方向预测以及水平方向预测，不进行块边界的滤波处理，可以应用与MPEG-4AVC/H.264同样的预测方法。通过这样不进行滤波处理，能够实现预测处理的运算量的降低。

接着，对图3的图像解码装置的处理内容具体地进行说明。

可变长度解码部31在输入由图1的图像编码装置生成的编码比特流时，对该比特流实施可变长度解码处理(图4的步骤ST21)，对由1帧以上的图片构成的序列单位的头信息(序列级头)以及图片单位的头信息(图片级头)、环路滤波部38使用的滤波器参数以及量化矩阵参数进行解码。

此时，在上述头信息包含的量化矩阵的有效标志信息示出“有效”的情况下，可变长度解码部31对量化矩阵参数进行可变长度解码，确定量化矩阵。

具体而言，按照各正交变换尺寸的每个颜色信号和/或每个编码模式，量化矩阵参数示出作为初始值的图像编码装置以及图像解码装置中预先准备的公共的量化矩阵或者已被解码的量化矩阵(并非新的量化矩阵)的情况下，参照量化矩阵参数中包含的指定上述矩阵中的哪个量化矩阵的索引信息来确定量化矩阵，在量化矩阵参数示出使用新的量化矩阵的情况下，将量化矩阵参数中包含的量化矩阵确定为要使用的量化矩阵。

然后，由构成图片单位的数据的片数据解码出片分割信息等片单位的头信息(片级头)，对各片的编码数据进行解码。

并且，可变长度解码部31通过与图像编码装置同样的步骤，决定由图1的图像编码装置的编码控制部2决定的最大编码块尺寸以及分割层数的上限(步骤ST22)。

例如，在根据视频信号的分辨率决定最大编码块尺寸和/或分割层数的上限的情况下，根据解码后的帧尺寸信息，通过与图像编码装置同样的步骤来决定最大编码块 尺寸。

最大编码块尺寸以及分割层数的上限在被图像编码装置侧复用于序列级头等的情况下，使用由上述头解码出的值。但是，在编码块的最小块尺寸替代分割层数的上限被编码的情况下，通过对其进行解码来决定分割层数的上限。即，在将最大编码块分割至上述最小块尺寸的情况下，成为分割层数的上限。

可变长度解码部31以决定出的最大编码块为单位，对图6所示的最大编码块的分割状态进行解码。根据解码后的分割状态，分层确定编码块(步骤ST23)。

接着，可变长度解码部31对分配给编码块的编码模式进行解码。根据解码后的编码模式中包含的信息，将编码块进一步分割为一个或多个作为预测处理单位的预测块，对分配给预测块单位的预测参数进行解码(步骤ST24)。

即，可变长度解码部31在分配给编码块的编码模式为内部编码模式的情况下，按照编码块中包含的、成为预测处理单位的一个以上的预测块的每一个，对内部预测参数进行解码。

另一方面，在分配给编码块的编码模式为帧间编码模式的情况下，按照编码块中包含的、成为预测处理单位的一个以上的预测块的每一个，对帧间预测参数以及运动矢量进行解码(步骤ST24)。

并且，可变长度解码部31根据预测差分编码参数中包含的变换块分割信息，按照每个变换块对压缩数据(变换/量化后的变换系数)进行解码(步骤ST24)。

此时，与图1的图像编码装置的可变长度编码部13进行的压缩数据的编码处理同样地，实施CG单位的系数的解码处理。

因此，如图15所示，成为对于4×4像素单位的16个CG从右下的CG开始依序进行解码处理，并且，各CG对于CG内的16个系数从右下的系数开始依序进行解码。

具体而言，首先，对CG内的16个系数中是否存在有效(非零)系数的标志信息进行解码，接下来仅在解码出的标志信息示出在CG中存在有效(非零)系数的情况下按照上述顺序对CG内的各系数是否为有效(非零)系数进行解码，最后对示出有效(非零)系数的系数，依序对该系数值信息进行解码。以CG为单位按照上述顺序进行该处理。

如果由可变长度解码部31可变长度解码出的编码模式m(Bⁿ)为内部编码模式 (m(Bⁿ)∈INTRA的情况下)，则切换开关33向内部预测部34输出由可变长度解码部31可变长度解码出的预测块单位的内部预测参数。

另一方面，如果由可变长度解码部31可变长度解码出的编码模式m(Bⁿ)为帧间编码模式(m(Bⁿ)∈INTER的情况下)，则切换开关33向运动补偿部35输出由可变长度解码部31可变长度解码出的预测块单位的帧间预测参数以及运动矢量。

在由可变长度解码部31可变长度解码出的编码模式m(Bⁿ)为内部编码模式(m(Bⁿ)∈INTRA)的情况下(步骤ST25)，内部预测部34接收从切换开关33输出的预测块单位的内部预测参数，通过与图1的内部预测部4同样的步骤，参照存储在内部预测用存储器37中的解码图像，实施使用上述内部预测参数的针对编码块Bⁿ内的各预测块P_iⁿ的内部预测处理，生成内部预测图像P_INTRAiⁿ(步骤ST26)。

并且，内部预测部34对于亮度信号，实施针对亮度信号的使用上述内部预测参数的内部预测处理(帧内预测处理)，生成亮度信号的预测图像。

另一方面，对于色差信号，实施基于色差信号的内部预测参数的内部预测处理，生成色差信号的预测图像。

图22是示出色差信号的内部预测参数(索引值)和色差内部预测模式的对应示例的说明图。

在色差信号的内部预测参数示出使用与针对亮度信号的内部预测模式相同的预测模式的情况下(内部预测参数示出亮度色差公共内部预测模式(DM模式)的情况下)，实施与亮度信号同样的帧内预测，生成色差信号的预测图像。

并且，在色差信号的内部预测参数示出垂直方向预测模式或者水平方向预测模式的情况下，实施针对色差信号的方向性预测，生成色差信号的预测图像。

并且，在色差信号的内部预测参数示出利用与亮度的相关性的色差信号预测模式(LM模式)的情况下，利用与预测图像的生成对象块的上侧以及左侧相邻的多个像素的亮度信号和色差信号，计算示出亮度信号与色差信号之间的相关性的相关性参数，使用该相关性参数和与作为预测处理对象的色差信号的块对应的亮度信号，生成色差信号的预测图像。

另外，在图像编码装置构成为，在输入信号格式为YUV4:4:4信号时，实施上述DM模式或者上述LM模式的处理而不选择其它预测模式的情况下，图像解码装置也为同样的结构，以能够对由该图像编码装置生成的比特流进行解码。

YUV4:4:4信号的亮度信号的边缘位置与色差信号的边缘位置之间存在较高的相关性关系，因此禁止对色差信号应用与亮度信号不同的预测模式，由此能够削减该色差信号的内部预测模式的信息量，提高编码效率。

并且，在输入信号格式为YUV4:2:2信号的情况下，如图24所示，如果亮度信号为正方形的块，则色差信号成为与亮度信号相比其水平方向的像素数为亮度信号的1/2的长方形的块。因此，如图25所示，在将YUV4:4:4信号变换为YUV4:2:2信号时，为了亮度信号和色差信号为同一方向的预测，在进行垂直方向预测和水平方向预测以外的方向性预测的情况下，使YUV4:2:2信号的色差信号的预测方向不同于亮度信号的预测方向。

具体而言，如图26所示，在将亮度信号的预测方向矢量设为V_L＝(dx_L，dy_L)的情况下，色差信号的预测方向矢量为V_C＝(dx_L/2，dy_L)。即，如图27所示，在设预测方向的角度为θ的情况下，设亮度信号的预测方向的角度为θ_L、色差信号的预测方向的角度为θ_C，需要在满足tanθ_C＝2tanθ_L的关系的预测方向上进行预测。

因此，为了能够正确实施亮度信号和色差信号进行同一方向的预测的上述DM模式，在输入信号格式为YUV4:2:2信号的情况下，将对亮度信号使用的内部预测模式的索引变换为在色差信号的预测中使用的内部预测模式的索引，实施基于与变换后的索引对应的内部预测模式的色差信号的预测处理。

图28示出图7的内部预测模式中的内部预测模式索引的变换示例。

图28的变换表是在预测方向的角度为θ时(参照图27)，内部预测模式的方向性预测成为图29所示的tanθ的角度的情况下，变换为最接近tanθ_C＝2tanθ_L这一关系的角度θ_C的表的例子。

如上所述，变换处理的实现可以构成为准备索引的变换表并参照该变换表，由此来变换索引，也可以构成为准备变换式，依照该变换式来变换索引。

通过这样构成，不变更方向性预测处理自身而仅变换索引，即能够实施与YUV4:2:2信号的格式对应的色差信号的适当预测。

并且，在图像编码装置构成为对色差信号不进行上述LM模式的情况下，图像解码装置也为同样的结构，以能够对由该图像编码装置生成的比特流进行解码。

作为此时的色差信号的内部预测参数(索引值)与色差内部预测模式的对应示例，可以举出图23。

这样，通过不使用LM模式，预测对象像素的亮度信号与色差信号之间的依存性消失，因此亮度信号和色差信号的预测处理的并行成为可能，能够实现高速的运算处理。

并且，在图像编码装置构成为与MPEG-4AVC/H.264同样的预测方法，关于色差信号，对色差信号的垂直方向预测以及水平方向预测不进行块边界的滤波处理的情况下，图像解码装置也为同样的结构，以能够对由该图像编码装置生成的比特流进行解码。

这样，通过不进行滤波处理，能够实现预测处理的运算量的降低。

运动补偿部35在由可变长度解码部31可变长度解码出的编码模式m(Bⁿ)为帧间编码模式(m(Bⁿ)∈INTER)的情况下(步骤ST25)，接收从切换开关33输出的预测块单位的运动矢量和帧间预测参数，参照存储在运动补偿预测帧存储器39中的滤波处理后的解码图像，实施利用该运动矢量和帧间预测参数的针对编码块Bⁿ内的各预测块P_iⁿ的帧间预测处理，生成帧间预测图像P_INTERiⁿ(步骤ST27)。

逆量化/逆变换部32在从可变长度解码部31接收到压缩数据以及预测差分编码参数时，通过与图1的逆量化/逆变换部8同样的步骤，参照该预测差分编码参数中包含的量化参数以及变换块分割信息，以变换块为单位对该压缩数据进行逆量化。

此时，参照由可变长度解码部31可变长度解码出的各头信息，在各头信息示出在该片中利用量化矩阵实施逆量化处理的情况下，利用量化矩阵进行逆量化处理。

此时，参照由可变长度解码部31可变长度解码出的各头信息，确定在各正交变换尺寸下按照每个颜色信号和/或每个编码模式(内部编码还是帧间编码)使用的量化矩阵。

并且，逆量化/逆变换部32以变换块为单位实施针对逆量化后的压缩数据即变换系数的逆正交变换处理，计算与从图1的逆量化/逆变换部8输出的局域解码预测差分信号相同的解码预测差分信号(步骤ST28)。

加法部36对由逆量化/逆变换部32计算出的解码预测差分信号加上由内部预测部34生成的内部预测图像P_INTRAiⁿ或由运动补偿部35生成的帧间预测图像P_INTERiⁿ中的任意一方，计算解码图像，并将该解码图像输出给环路滤波部38，并且将该解码图像存储在内部预测用存储器37中(步骤ST29)。

该解码图像成为之后的内部预测处理时使用的已解码图像信号。

环路滤波部38在针对全部编码块Bⁿ的步骤ST23～ST29的处理完成时(步骤ST30)，对从加法部36输出的解码图像实施规定的滤波处理，将滤波处理后的解码图像存储在运动补偿预测帧存储器39中(步骤ST31)。

具体而言，执行降低在变换块的边界和/或预测块的边界产生的失真的滤波(去块滤波)处理、以像素为单位自适应地加上偏移(像素自适应偏移)的处理、自适应地切换维纳滤波器等线性滤波器来进行滤波处理的自适应滤波处理等。

但是，环路滤波部38对上述的去块滤波处理、像素自适应偏移处理以及自适应滤波处理，分别决定是否参照由可变长度解码部31可变长度解码出的各头信息在该片中进行处理。

此时，在进行2个以上的滤波处理的情况下，例如，在图像编码装置的环路滤波部11如图11所示构成的情况下，环路滤波部38如图12所示构成。

在此，在去块滤波处理中，参照由可变长度解码部31可变长度解码出的头信息，当存在将在选择施加给块边界的滤波强度时使用的各种参数从初始值开始进行变更的信息的情况下，根据该变更信息，实施去块滤波处理。在不存在变更信息的情况下，依照预定的方法实施去块滤波处理。

在像素自适应偏移处理中，根据由可变长度解码部31可变长度解码出的像素自适应偏移处理的块分割信息进行分割，以该块为单位，参照由可变长度解码部31可变长度解码出的示出块单位的类别分类方法的索引，在该索引并非示出“不进行偏移处理”的索引的情况下，依照上述索引所示的类别分类方法以块为单位对块内的各像素进行类别分类。

并且，作为类别分类方法的候选，预先准备与环路滤波部11的像素自适应偏移处理的类别分类方法的候选相同的候选。

然后，环路滤波部38参照确定块单位的各类别的偏移值的、由可变长度解码部31可变长度解码出的偏移信息，执行对解码图像的亮度值加上偏移的处理。

在自适应滤波处理中，使用由可变长度解码部31可变长度解码出的每个类别的滤波器，通过与图1的图像编码装置相同的方法进行类别分类后，根据该类别分类信息进行滤波处理。

该环路滤波部38的滤波处理后的解码图像成为运动补偿预测用的参照图像并且成为再现图像。

根据以上可知，根据该实施方式1，在随机访问点设定仅参照长期参照图片的帧间图片，将识别该长期参照图片的图片编号的信息作为补充信息进行编码，由此，先对根据上述补充信息判明的长期参照图片进行解码，然后对仅参照上述长期参照图片的表示随机访问点的图片进行解码，由此，生成在帧间图片中也能够随机访问的编码比特流，因此，通过将能够随机访问的内部图片(IRAP图片)变更为带上述补充信息的帧间图片，发挥在维持随机访问间隔的状态下改善编码效率的效果。

并且，根据该实施方式1，先对根据补充信息判明的长期参照图片进行解码，然后对仅参照上述长期参照图片的表示随机访问点的图片进行解码，由此，发挥能够正确地对在帧间图片中也能够随机访问的编码比特流进行解码的效果。

实施方式2

在上述实施方式1的图像编码装置中，作为表示包含图片位置信息的能够随机访问的帧间图片的补充信息，新定义有SEI，该图片位置信息表示能够随机访问的帧间图片参照的随机访问时使用参照图片的图片编号，但是，在本实施方式的图像编码装置中，不定义新的SEI，以如下所述解释的那样变更非专利文献1和非专利文献2中定义的Recovery Point SEI Message的意思。即，将赋予了Recovery Point SEI Message的图片作为能够随机访问的帧间图片，进而，不将Recovery Point SEI Message的语法recovery_poc_cnt(在非专利文献2中为recovery_frame_cnt)解释为解码开始位置即作为恢复点的图片的位置，而将其解释为表示随机访问时使用参照图片的位置的信息。根据这种结构，不用定义新的SEI，就能够进行与上述实施方式1的图像编码装置相同的处理，能够得到相同效果。但是，能够随机访问的帧间图片能够参照的随机访问时使用参照图片数限定为一个。

本实施方式的图像解码装置将赋予了Recovery Point SEI Message的图片解释为能够随机访问的帧间图片，进而，不将Recovery Point SEI Message的语法recovery_poc_cnt(在非专利文献2中为recovery_frame_cnt)解释为作为恢复点的图片的位置，而将其解释为表示随机访问时使用参照图片的位置的信息。根据这种结构，在从赋予了Recovery Point SEI Message的图片开始解码的情况下，首先对recovery_poc_cnt(在非专利文献2中为recovery_frame_cnt)指示的图片进行解码，接着对赋予了Recovery Point SEI Message的图片进行解码，然后对显示顺序比赋予了Recovery Point SEI Message的图片靠后的图片进行解码，由此，能够从赋予了Recovery Point SEI Message的图片起正常进行再现。因此，针对由本实施方式的图像编码装置生成的编码比特流，识别能够随机访问的帧间图片，在从该能够随机访问的帧间图片开始解码的情况下，也能够正确解码，因此，能够得到与上述实施方式1的图像解码装置相同的效果。

实施方式3

在本实施方式中，将能够随机访问的帧间图片参照的随机访问时使用参照图片限定为后述的紧前的IRAP图片，将紧前的IRAP图片的解码图像存储在运动补偿预测帧存储器12中，运动补偿预测部5参照运动补偿预测帧存储器12中存储的紧前的IRAP图片的解码图像，实施该帧间图片的运动补偿预测，可变长度编码部13对表示该帧间图片是能够随机访问的图片的SEI进行编码，将该SEI的编码数据复用到编码比特流中。

这里，紧前的IRAP图片意味着，在一个以上的IRAP图片中，相对于能够随机访问的帧间图片的编码顺序(解码顺序)，编码顺序(解码顺序)靠前且编码顺序(解码顺序)最近(编码顺序更近)的IRAP图片。

该情况下，能够省略上述实施方式1中说明的表示能够随机访问的帧间图片的SEI中包含的图片位置信息，即表示随机访问时使用参照图片的图片编号的图片位置信息。根据这种结构，与上述实施方式1的图像编码装置相同的处理不需要识别随机访问时使用参照图片的图片编号的信息即构成本SEI的附带信息，能够得到削减本SEI所需要的编码量的效果。

在图像编码装置构成为将能够随机访问的帧间图片参照的随机访问时使用参照图片限定为紧前的IRAP图片的情况下，在图像解码装置中，通过参照本SEI，将紧前的IRAP图片识别为上述参照的随机访问时使用参照图片。

因此，根据这种结构，在从赋予了本SEI的图片开始解码的情况下，对紧前的IRAP图片进行解码，将该IRAP图片的解码图像存储在运动补偿预测帧存储器39中之后，运动补偿部35参照运动补偿预测帧存储器39中存储的紧前的IRAP图片的解码图像，实施该SEI所示的能够随机访问的帧间图片的运动补偿预测，由此对该帧间图片进行解码。然后，对显示顺序比本SEI所示的能够随机访问的帧间图片靠后的图片进行解码，由此，能够从该SEI所示的能够随机访问的图片起正常进行再现。因此，能够从由本实施方式的图像编码装置生成的比特流的中途起正确解码。

实施方式4

在上述实施方式1的图像编码装置中，说明了在SEI中设定表示是能够随机访问的帧间图片的信息的情况，但是，只要能够在上位头中进行设定即可，不限于此。例如，也可以构成为，定义表示是能够随机访问的帧间图片的特别的NAL单元类型，在该NAL中具有与上述SEI相同的信息。

即，该情况下，不是通过赋予SEI来识别能够随机访问的帧间图片，而是新定义表示能够随机访问的帧间图片的NAL单元类型，作为表示本NAL单元类型的NAL单元，对能够随机访问的帧间图片进行编码。

为了正确地对由定义有表示是能够随机访问的帧间图片的特别NAL单元类型的图像编码装置生成的编码流进行解码，在解码装置中，与图像编码装置同样地定义特别NAL单元类型，由此进行解码。该情况下，通过从具有上述特别NAL单元类型的图片进行解码，实现从能够随机访问的帧间图片起的中途解码。即，首先对上述特别NAL单元类型具有的信息指示的随机访问时使用参照图片进行解码，接着对具有本NAL单元类型的能够随机访问的帧间图片进行解码，然后对显示顺序比本能够随机访问的帧间图片靠后的图片进行解码，由此，能够从具有本NAL单元类型的能够随机访问的帧间图片起正常进行再现。因此，即使采用这种结构，与上述实施方式1的图像解码装置同样，也能够从比特流的中途起正确解码，能够得到相同效果。

并且，本实施方式的特征在于，在上位头中设定表示是能够随机访问的帧间图片的信息，显而易见，该上位头只要能够随机访问即可，可以任意构成。因此，例如与实施方式3进行组合，将能够随机访问的帧间图片参照的随机访问时使用参照图片限定为紧前的IRAP图片，还能够省略用于识别随机访问时使用参照图片的图片编号的信息。

实施方式5

在实施方式1～4中，说明了生成实现基于帧间图片的随机访问的编码流的图像编码装置和能够正确地对生成的编码流进行解码的图像解码装置。在本实施方式中，说明如下的编码流变换装置和能够正确地对生成的编码流进行解码的图像解码装置：该编码流变换装置仅仅通过对实现仅基于内部图片(非专利文献1的IRAP图片或非专利文献2的IDR图片)的随机访问的编码流部分地进行变换，生成实现基于帧间图片的随机访问的编码流。

图39是示出本发明的实施方式5的编码流变换装置的结构图。

这里，重编码控制部42和输入视频信号控制部44构成重编码设定部，解码部43构成图像解码部，比特流合成部45构成比特流合成部。

本实施方式的编码流变换装置具有重编码部41，该重编码部41从作为变换对象的编码流(比特流)的IRAP图片(在非专利文献2的情况下为IDR图片)中，将一个以上的任意图片作为能够随机访问的帧间图片进行重编码。

这样，通过将内部图片重编码为帧间图片，与原来的编码流相比，能够生成编码量得到削减的编码流。

具体而言，临时对作为变换对象(重编码对象)的图片进行解码。然后，使用与图1相同的编码装置，将解码后的视频信号作为帧间图片进行重编码。

即，在编码流变换装置中，首先，重编码控制部42根据由非专利文献3或非专利文献2等现有的图像编码装置生成的编码流，使用解码部43对确定能够随机访问的内部图片(在非专利文献1中为IRAP图片、在非专利文献2中为IDR图片)的信息进行解码。接着，重编码控制部42进行控制，使得在根据解码后的确定能够随机访问的内部图片的信息确定的多个能够随机访问的内部图片中，将任意图片设定为重编码对象的图片，并且，利用解码部43对多个能够随机访问的内部图片中的、在重编码对象的图片之前被编码的至少一个图片(重编码参照图片)进行解码，将其存储在重编码部41的运动补偿预测帧存储器12中。然后，根据重编码控制部42，重编码部41参照上述解码后的至少一个重编码参照图片，利用运动补偿预测部5实施重编码对象的图片的运动补偿预测，由此生成帧间预测图像，使用该帧间预测图像生成帧间图片的编码数据。此时，解码部43表示与生成上述编码流的现有的编码装置对应的解码装置(解码部43能够正确地对上述编码流进行解码)。进而，重编码部41采用与实施方式1的图像编码装置(图1)相同的结构。

并且，编码流变换装置具有比特流合成部45，该比特流合成部45将上述编码流中的与重编码对象的内部图片的编码数据相当的部分的流，置换成由重编码部41生成的帧间图片的编码数据构成的比特流，由此生成重编码后的流(重编码流)。

另外，在重编码部41的运动补偿预测帧存储器12中，保存作为变换对象的图片参照的图片作为长期参照图片。该长期参照图片限定为IRAP图片(在上述编码流由非专利文献2的编码装置生成的情况下为IDR图片)。这样，在保存特定图片作为长期参照图片的情况下，相对于原来的编码流，针对与编码顺序比上述特定图片靠后且在 作为变换对象的图片之前进行编码的图片的编码数据相当的部分，比特流合成部45需要变更编码流，以保存上述特定图片作为长期参照图片。

从运动补偿预测部5输出的帧间预测图像与通常的帧间图片同样，经由减法部6、变换/量化部7变换为压缩数据，输出到可变长度编码部13。这样，在将作为变换对象的内部图片重编码为帧间图片的重编码部41中，包括暂时保存特定内部图片的缓存、运动补偿预测部5、减法部6以及变换/量化部7。另外，必须生成帧间预测图像和压缩数据，使得此时生成的解码图像与重编码前的内部图片生成的解码图像相同。因此，重编码控制部42对输入视频信号控制部44进行控制，使得在对上述作为变换对象的内部图片进行重编码时，将由解码部43解码后的上述作为变换对象的内部图片的解码图像作为视频信号输入到片分割部14。然后，重编码控制部42能够对编码控制部2进行控制，以对运动补偿预测部5、减法部6、变换/量化部7的处理进行控制，使得能够参照上述作为变换对象的内部图片生成的解码图像进行例如无损编码，以使上述作为变换对象的内部图片生成的解码图像和重编码后的解码图像相同。

关于与重编码后的帧间图片的参照图片缓存管理有关的处理，需要使对重编码前的IRAP图片或IDR图片的接着被编码的图片进行编码时的缓存状况不会由于本重编码处理而改变。因此，通过编码控制部2中包含的缓存管理部对缓存(运动补偿预测帧存储器12)进行控制，使得不会对重编码后的图片以后进行解码的图片的解码处理造成影响。

在通过对重编码后的图片即内部图片进行变换而得到的帧间图片的访问单元内，复用表示是能够随机访问的帧间图片的补充信息(SEI信息)。该SEI信息包含用于识别重编码后的图片参照的随机访问时使用参照图片的图片编号的信息。对SEI信息进行编码并将其复用到比特流中的处理与上述实施方式1同样，由可变长度编码部13进行。

或者，编码流变换装置也可以构成为，利用比特流合成部45生成上述补充信息并进行编码，将其复用到重编码流中。该情况下，重编码部41不需要进行上述补充信息的生成/编码，因此，能够通过与生成重编码前的编码流的编码装置(非专利文献4或非专利文献2等现有的图像编码装置)相同的编码处理来实现重编码。

与实施方式3同样，上述随机访问时使用参照图片可以限定为紧前的IRAP图片(在非专利文献2的情况下为IDR图片)。该情况下，作为SEI，能够省略用于识别上述随机访问时使用参照图片的图片编号的信息。

或者，也可以不是SEI信息，而是以与实施方式2或实施方式4相同的方式，对表示是能够随机访问的帧间图片的信息进行编码。

在对重编码后的编码流进行解码的本实施方式5的图像解码装置中，能够根据构成为如何对表示是能够随机访问的帧间图片的信息进行编码，利用实施方式1～实施方式4中的对应的图像解码装置正确地对比特流进行解码。

并且，在此前的说明中，叙述了仅对IRAP图片(IDR图片)等能够随机访问的内部图片进行重编码的方法，但是，也可以统一对从能够随机访问的内部图片到下一个能够随机访问的内部图片的前一个被解码的图片的全部图片(一般称作Group Of Pictures(GOP)的单位，表示能够单独解码的图片组)进行重编码。此时进行重编码的能够随机访问的内部图片与上述说明同样设为能够随机访问的帧间图片，与表示该情况的信息(实施方式1～实施方式4所述的任意一个信息)一起进行重编码，其余的重编码对象的图片可以任意进行重编码。该情况下，与上述重编码方法不同，即使能够随机访问的帧间图片生成的解码图像与重编码前的内部图片生成的解码图像不同，也能够利用本实施方式的图像解码装置正确地进行解码。因此，重编码控制部42对输入视频信号控制部44进行控制，使得在对各重编码对象图片进行重编码时，将上述重编码对象图片的原图像(视频信号)输入到片分割部14。

由此，不需要对各重编码对象图片进行控制以使重编码前后的解码图像相同，能够简化重编码处理。

并且，与实施方式3同样，在将随机访问时使用参照图片(对重编码对象的能够随机访问的内部图片进行重编码时参照的图片)限定为紧前的IRAP图片(在非专利文献2的情况下为IDR图片)的情况下，不是从作为能够随机访问的帧间图片的图片，而是可以从紧前的IRAP图片到作为能够随机访问的帧间图片的图片的下一个(解码顺序靠后且最近的)能够随机访问的内部图片的前一个被解码的图片进行重编码。由此，能够根据紧前的IRAP图片，实施不依赖于重编码前的编码流生成的解码图像的自由的重编码。另外，在重编码后的多个图片中可以包含参照紧前的IRAP的多个能够随机访问的帧间图片。

在上述说明中，说明了将随机访问时使用参照图片作为长期参照图片进行重编码以进行保存的例子，但是，编码流变换装置也可以构成为，准备能够随机访问的帧间图片参照的特别缓存，在本缓存中存储上述随机访问时使用参照图片，在对能够随机 访问的帧间图片进行编码时，参照上述特别缓存中存储的随机访问时使用参照图片进行编码。该情况下，图像解码装置也构成为准备上述特别缓存，参照该特别缓存对能够随机访问的帧间图片进行解码。关于上述动作以外的编码流变换处理和解码处理，实施与此前说明的本实施方式的处理相同的处理。

在本结构的情况下，存在如下优点：不需要变更对上述随机访问时使用参照图片进行编码后且对能够随机访问的帧间图片进行编码前的图片的编码数据。

并且，在本实施方式中，在重编码时，也可以沿用重编码前的编码参数来实施重编码。具体而言，图片类型(片类型)在重编码前后没有变化的图片沿用重编码前的编码参数的一部分。例如，直接使用重编码前的块分割信息、各块的编码模式、预测参数等编码参数进行重编码。由此，不需要编码参数的选择处理，能够减轻重编码处理的处理负荷。

根据该实施方式5中的编码流变换装置，能够在能够随机访问的帧间图片中对仅将内部图片作为随机访问点的编码流的一部分内部图片进行重编码。因此，与原来的编码流相比，能够生成编码量得到削减的编码流。

并且，根据该实施方式5中的图像解码装置，发挥能够正确地对在能够随机访问的帧间图片中对仅将内部图片作为随机访问点的编码流的一部分内部图片进行重编码而得到的编码比特流进行解码的效果。

实施方式6

在上述实施方式1中，显示顺序比能够随机访问的帧间图片靠后(显示时刻为未来)的不能随机访问的帧间图片(图33的(b)的白色所示的“帧间图片”)不参照显示顺序比能够随机访问的帧间图片靠前(显示时刻为过去)的图片，由此，实现了基于能够随机访问的帧间图片的随机访问。在本实施例中，如图35所示的例子那样，解码顺序比能够随机访问的帧间图片靠后的不能随机访问的帧间图片不参照解码顺序比能够随机访问的帧间图片靠前的图片，由此，实现基于能够随机访问的帧间图片的随机访问。该情况下，相当于将非专利文献1、非专利文献2的IDR图片置换为能够随机访问的帧间图片。

因此，在对由本实施方式的图像编码装置生成的编码流进行解码的图像解码装置中，与实施方式1同样，在从赋予了识别能够随机访问的帧间图片的SEI的能够随机访问的帧间图片开始解码的情况下，首先对识别能够随机访问的帧间图片的SEI中包含 的用于识别随机访问时使用参照图片的图片编号的信息指示的图片进行解码，接着对赋予了上述SEI的图片进行解码，然后对显示顺序比赋予了上述SEI的图片靠后的图片进行解码，由此，能够从能够随机访问的帧间图片起正常进行再现。

并且，本实施方式仅是对实施方式1的参照图片的限制进行变更，显而易见，能够通过与实施方式1的图像编码装置和图像解码装置相同的方法，与其它实施方式进行组合。

实施方式7

在上述实施方式1的图像编码装置中，作为包含用于识别能够随机访问的帧间图片参照的随机访问时使用参照图片的图片编号的信息的、识别能够随机访问的帧间图片的信息，新定义有SEI，但是，在本实施方式的图像编码装置中，作为识别能够随机访问的帧间图片的信息，使用非专利文献1和非专利文献2中定义的Recovery Point SEI Message。并且，在上述实施方式2中改变Recovery Point SEI Message的解释来使用，但是，在本实施方式中，如非专利文献1和非专利文献2中定义的那样，将Recovery Point SEI Message的语法recovery_poc_cnt(在非专利文献2中为recovery_frame_cnt)解释为解码开始位置即作为恢复点的图片的位置，然后，仅在该作为恢复点的图片是帧间图片的情况下，将上述实施方式1的识别随机访问时使用参照图片的图片编号的信息作为Recovery Point SEI Message的语法进行编码。

本实施方式的图像解码装置对Recovery Point SEI Message进行解码，确认语法recovery_poc_cnt(在非专利文献2中为recovery_frame_cnt)所示的作为恢复点的图片的图片类型，仅在作为恢复点的图片是帧间图片的情况下，对识别随机访问时使用参照图片的图片编号的信息进行解码，确定随机访问时使用参照图片。根据这种结构，在从赋予了本SEI的图片开始解码的情况下，首先对识别随机访问时使用参照图片的图片编号的信息所示的图片进行解码，接着对recovery_poc_cnt所示的能够随机访问的帧间图片进行解码，然后对显示顺序比本能够随机访问的帧间图片靠后的图片进行解码，由此，能够从本能够随机访问的帧间图片起正常进行再现。因此，能够得到与上述实施方式1的图像解码装置相同的效果。

在本实施方式中，在作为恢复点的图片是内部图片的情况下，不对非专利文献1和非专利文献2进行变更，能够使用以非专利文献1和非专利文献2为基准的图像解码装置，正常进行从作为恢复点的内部图片起的中途解码。

与实施方式3同样，上述随机访问时使用参照图片可以限定为紧前的IRAP图片(在非专利文献2的情况下为IDR图片)。该情况下，能够省略用于识别随机访问时使用参照图片的图片编号的信息(语法)。因此，仅利用由非专利文献1和非专利文献2所述的Recovery Point SEI Message定义的信息(语法)，就能够实现从能够随机访问的帧间图片起的中途解码。

并且，相对于实施方式5的编码流变换装置，与本图像编码装置同样，识别能够随机访问的帧间图片的信息能够使用非专利文献1和非专利文献2中定义的Recovery Point SEI Message。这种情况下，能够利用本实施方式的图像解码装置进行解码。

实施方式8

在上述实施方式1、2、4～7中，将随机访问时使用参照图片的位置作为图片编号进行编码，但是，在本实施方式中，相对于上述实施方式1、2、4～7，如图36所示，利用从识别能够随机访问的帧间图片的信息起的移动字节数来表示随机访问时使用参照图片的位置。由此，根据为了确定上述随机访问时使用参照图片而被编码的各图片数据对图片编号进行解码，不用进行与随机访问时使用参照图片的图片编号进行核对的处理，就能够得知随机访问时使用参照图片的解码开始位置，能够减轻解码处理的处理负荷。并且，也可以如图37那样，利用从编码比特流的起始起的移动字节数来表示随机访问时使用参照图片的位置。由此，不是作为编码比特流的相对位置(从识别能够随机访问的帧间图片的信息起的移动字节数)，而是能够作为绝对位置得知随机访问时使用参照图片的解码开始位置。并且，显而易见，只要移动字节数的开始点在图像编码装置与图像解码装置之间统一即可，也可以设定与图36、图37不同的点。

实施方式9

在本实施方式中，赋予实施方式1中用SEI表示的能够随机访问的帧间图片的识别信息和识别随机访问时使用参照图片的位置的信息，作为汇总视频和声音的编码比特流的媒体文件格式内的信息。媒体文件格式例如在ISO/IEC 23008-1、ISO/IEC13818-1/ITU-T H.222.0、ISO/IEC 14496-14：2003等中已有规定。由此，能够在从媒体文件中提取出由上述实施方式1～7中说明的图像编码装置生成的编码比特流之前，识别能够随机访问的帧间图片和该能够随机访问的帧间图片的解码所需要的随机访问时使用参照图片，能够实现高速的随机访问。

具体而言，使用汇总能够对从IRAP图片(在非专利文献2中为IDR图片)开始的 多个图片进行单独解码的Group Of Pictures(GOP)单位的编码比特流而得到的单位(以下称作GOP媒体数据)的描述符信息。例如，在包含能够随机访问的帧间图片的GOP媒体数据的描述符信息中追加能够随机访问的帧间图片的时刻信息(相当于时间码)作为能够随机访问的帧间图片的识别信息，追加该随机访问时使用参照图片的时刻信息作为识别随机访问时使用参照图片的位置的信息。

或者，使用汇总图片单位的编码比特流而得到的单位(以下称作图片媒体数据)的描述符信息(Movie fragment metadata)。例如，在能够随机访问的帧间图片的图片媒体数据的描述符信息中追加是否是能够随机访问的帧间图片的标志信息，作为能够随机访问的帧间图片的识别信息，追加该随机访问时使用参照图片的时刻信息作为识别随机访问时使用参照图片的位置的信息。

作为GOP媒体数据的描述符信息的例子，可举出ISO/IEC 23008-1的MPU metadata或ISO/IEC 14496-14：2003的moov box。作为图片媒体数据的描述符信息，可举出ISO/IEC 23008-1的Movie fragment metadata或ISO/IEC 14496-14：2003的moof box。

并且，在本实施方式中，与实施方式3同样，也可以构成为，能够随机访问的帧间图片参照的随机访问时使用参照图片限定为紧前的IRAP图片，省略用于识别随机访问时使用参照图片的位置的信息。由此，能够削减用于识别随机访问时使用参照图片的位置的信息所需要的编码量。

实施方式10

在实施方式1～9中，将能够随机访问的帧间图片参照的随机访问时使用参照图片设为长期保存用缓存中保存的长期参照图片，但是，在本实施方式中，将随机访问时使用参照图片设为不是长期参照图片的内部图片。该情况下，随机访问时使用参照图片作为与其它图片的编码/解码中的参照图片相同的短期参照(short-term reference)图片存储在短期保存用缓存中。但是，为了在能够随机访问的帧间图片的编码/解码时使随机访问时使用参照图片存在于短期保存用缓存中，需要在短期保存用缓存存储后的各图片的编码/解码时将上述随机访问时使用参照图保存在短期保存用缓存中。因此，在图像编码装置中，对非专利文献1和非专利文献2中规定的短期参照图片的管理信息进行编码，使得在能够随机访问的帧间图片的编码/解码时成为随机访问时使用参照图片保存在短期保存用缓存中的状态。并且，图像解码装置根据编码流对上述管理信息进行解码，根据本信息对缓存进行管理，由此，在能够随机访问的帧间图片 的编码/解码时，上述随机访问时使用参照图片保存在短期保存用缓存中，能够参照。因此，针对由本实施方式的图像编码装置生成的编码流，能够进行从能够随机访问的帧间图片起的正常再现。

实施方式11

在实施方式1～10中，将能够随机访问的帧间图片设为仅参照作为随机访问时使用参照图片设定的图片的图片，在非专利文献1或非专利文献2的长期保存用缓存或短期保存用缓存中存储随机访问时使用参照图片来实现。即，根据非专利文献1或非专利文献2，需要在编码侧对长期保存用缓存和短期保存用缓存的参照图片管理信息进行编码，在解码侧对上述参照图片管理信息进行解码并进行参照。在本实施方式中，通过组合实施方式3和实施方式4，在能够随机访问的帧间图片中不需要对上述参照图片管理信息进行编码。

具体而言，与实施方式3同样，将能够随机访问的帧间图片参照的图片限定为紧前的IRAP图片，与实施方式4同样，定义表示是能够随机访问的帧间图片的特别的NAL单元类型。在编码侧，在作为编码对象的图片是能够随机访问的帧间图片的情况下，删除长期保存用缓存和短期保存用缓存中的除了紧前的IRAP图片以外的图片，将作为编码对象的图片作为具有上述特别的NAL单元类型的图片进行编码。然后，在对能够随机访问的帧间图片进行编码后，将该帧间图片存储在长期保存用缓存或短期保存用缓存中，在此后进行编码的图片中能够参照。

在解码侧，与实施方式4同样，在解码后的NAL单元类型是上述特别的NAL单元类型的情况下，将作为编码对象的图片解释为能够随机访问的帧间图片。然后，删除长期保存用缓存和短期保存用缓存中的除了紧前的IRAP图片以外的图片，然后，参照紧前的IRAP图片对能够随机访问的帧间图片进行解码。在对能够随机访问的帧间图片进行解码后，将该帧间图片存储在长期保存用缓存或短期保存用缓存中，在此后进行解码的图片中能够参照。由此，在从能够随机访问的帧间图片(具有上述特别的NAL单元类型的图片)开始解码的情况下，也能够正确进行再现。

实施方式12

在实施方式1～11中，设能够随机访问的帧间图片参照的随机访问时使用参照图片为内部图片，但是，在本实施方式中，如图38所示，以IRAP图片为起始，依次参照能够随机访问的帧间图片。此时，作为识别随机访问时使用参照图片的位置的信息， 对识别各能够随机访问的帧间图片具有的能够随机访问的帧间图片的信息进行编码。进而，如上所述，为了能够依次参照能够随机访问的帧间图片，对长期保存用缓存或短期保存用缓存的参照图片进行管理，使得在对各能够随机访问的帧间图片进行编码时已编码的IRAP图片和能够随机访问的帧间图片中，紧前的图片(编码顺序(解码顺序)最近的图片)能够参照。

由此，解码装置在对识别能够随机访问的帧间图片的信息进行解码并确定能够随机访问的帧间图片后，例如从其中一个能够随机访问的帧间图片(图片A)进行中途再现的情况下，首先，按照解码顺序依次对紧前的IRAP图片和IRAP图片与图片A之间存在的能够随机访问的帧间图片进行解码，将该帧间图片存储在长期保存用缓存或短期保存用缓存中。此时，能够根据解码后的识别能够随机访问的帧间图片的信息来确定IRAP图片与图片A之间存在的能够随机访问的帧间图片。然后，通过参照解码后的紧前的能够随机访问的帧间图片(解码顺序最近的能够随机访问的帧间图片)，图片A能够解码，因此，能够正常进行从能够随机访问的帧间图片起的再现。根据这种结构，能够参照时间上比IRAP图片靠近的图片对能够随机访问的帧间图片进行编码，因此，能够提高编码效率。

实施方式13

相对于实施方式12，在本实施方式中，各能够随机访问的帧间图片从紧前的IRAP图片(编码顺序(解码顺序)最近的IRAP图片)和紧前的IRAP图片以后进行编码(解码)的能够随机访问的帧间图片中，选择要参照的图片进行编码。

此时，相对于实施方式12，进一步对确定各能够随机访问的帧间图片参照的图片的信息进行编码。作为上述确定要参照的图片的信息的例子，存在图片编号(Picture Ooder Count：POC)。进而，如上所述，为了能够选择参照图片，对长期保存用缓存或短期保存用缓存的参照图片进行管理，使得在对各能够随机访问的帧间图片进行编码时，紧前的IRAP图片及其以后的能够随机访问的帧间图片能够参照。

由此，解码装置在对识别能够随机访问的帧间图片的信息进行解码并确定能够随机访问的帧间图片后，例如从其中一个能够随机访问的帧间图片(图38的图片A)进行中途再现的情况下，按照解码顺序依次对紧前的IRAP图片与图片A之间存在的能够随机访问的帧间图片进行解码，将该帧间图片存储在长期保存用缓存或短期保存用缓存中。此时，对确定各能够随机访问的帧间图片参照的图片的信息进行解码，参照该 信息确定该帧间图片的参照图片。由此，最终图片A能够解码，能够正常进行从能够随机访问的帧间图片起的再现。根据这种结构，能够从多个参照图片中选择最能够改善编码效率的图片，对能够随机访问的帧间图片进行编码，因此，能够提高编码效率。

并且，在本实施方式13中，图像编码装置和图像解码装置构成为从紧前的IRAP图片及其以后的能够随机访问的帧间图片起进行参照，但是，也可以从紧前的IRAP图片和紧前的能够随机访问的帧间图片(编码顺序(解码顺序)最近的能够随机访问的帧间图片)中的任意一方中进行选择。由此，作为上述确定要参照的图片的信息，能够由选择紧前的IRAP图片和紧前的能够随机访问的帧间图片中的哪一方的标志信息来实现，因此，与上述图片编号等的情况相比，能够削减编码量。进而，关于长期保存用缓存或短期保存用缓存，只要进行管理使得在对各能够随机访问的帧间图片进行编码时仅有紧前的IRAP图片和紧前的能够随机访问的帧间图片能够参照即可，因此，能够削减预先存储的图片数。

另外，在实施方式1～13中，在图31～图35、图38中，设帧间图片为参照图片使用一个单向运动补偿预测的P图片进行了说明，但是，显而易见，本帧间图片也可以是使用图30得(b)的双向运动补偿预测或不进行双向运动补偿预测中的时间制约而参照显示顺序为过去的多个图片或显示顺序为未来的多个图片的双预测的B图片。

并且，关于上述实施方式中的除了实施方式4以外的实施方式，分别使用SEI将帧间图片设定为能够随机访问的图片。因此，在利用以非专利文献1和非专利文献2为基准的图像解码装置对由各个实施方式的图像编码装置生成的编码比特流进行解码的情况下，由于无法识别能够随机访问的帧间图片，因此无法进行从该帧间图片起的中途解码，而且，如果是从非专利文献1和非专利文献2中规定的能够随机访问的内部图片起的中途解码或从编码比特流的起始起的解码，则能够正确地解码。这是因为，在不进行从能够随机访问的帧间图片起的中途解码的情况下，在对随机访问时使用参照图片进行编码时，也将该随机访问时使用参照图片存储在长期保存用缓存或短期保存用缓存中，通过上述参照图片管理信息对缓存进行管理，使得在对作为能够随机访问的帧间图片设定的图片进行解码时能够参照，因此，即使不存在上述SEI，在对作为能够随机访问的帧间图片设定的图片进行解码时，随机访问时使用参照图片也已经存储在长期保存用缓存或短期保存用缓存中，能够参照。

并且，下面示出使用能够随机访问的帧间图片的一例。首先，将起始的内部图片 设定为随机访问时使用参照图片。然后，以按照一定间隔作为内部图片进行编码为前提，针对为了作为内部图片进行编码而被分配的各图片，在作为参照随机访问时使用参照图片的帧间图片进行编码的编码效率较高的情况下，将该图片不作为内部图片而作为参照随机访问时使用参照图片的帧间图片(能够随机访问的帧间图片)进行编码，在作为内部图片进行编码的编码效率较高的情况下，将该图片作为能够随机访问的内部图片进行编码，并且设定为新的随机访问时使用参照图片。由此，能够针对编码对象图像，自适应地设定能够随机访问的帧间图片和随机访问时使用参照图片。并且，上文是根据编码效率来决定是将为了作为内部图片进行编码而被分配的图片作为能够随机访问的内部图片进行编码，还是作为参照随机访问时使用参照图片的能够随机访问的帧间图片进行编码，但是，也可以提取随机访问时使用参照图片和为了作为上述内部图片进行编码而被分配的图片的特征量，根据该特征量来决定。例如，计算基于特征量的图片间的相关值，根据该相关值来决定是将为了作为内部图片进行编码而被分配的图片作为能够随机访问的内部图片进行编码，还是作为参照随机访问时使用参照图片的能够随机访问的帧间图片进行编码。作为相关值的一例，可举出下述图片间相关性指标I。根据下述的式(5)所示的I来决定是否设为能够随机访问的帧间图片。

I＝w₀dE_Y+w₁dE_U+w₂dE_v+w₃dV_r+w₄dV_U+w₅dV_V(5)

${\mathrm{dE}}_X=|E\left(S_{T_X}\right)-E\left(S_{R_X}\right)|$

${\mathrm{dV}}_X=|V\left(S_{T_X}\right)-V\left(S_{R_X}\right)|$

其中，w_i(i＝0、1、…、5)表示权重系数，E(S)表示图片内的像素值S的平均，V(S)表示图片内的像素值S的分散，S_TX表示编码对象图片(为了作为编码对象的上述内部图片进行编码而被分配的图片)的颜色成分X的像素值，S_RX表示随机访问时使用参照图片的颜色成分X的像素值。在上述指标I小于预先设定的阈值的情况下，判断为图片间的相关性较高，将编码对象图片作为能够随机访问的帧间图片进行编码。另一方面，在上述指标I为上述阈值以上的情况下，判断为图片间的相关性较低，将编码对象图片作为能够随机访问的内部图片进行编码。将上述阈值设定为适当值后，根据图片间相关性指标来决定是否设为能够随机访问的帧间图片，由此，能够自适应地控制作为随机访问点的图片(为了作为上述内部图片进行编码而被分配的图片)的编码方法(内部编码还是帧间编码)，能够改善比特流整体的编码效率。并且， 上述的式(5)示出YUV信号的例子，但是，当然也可以是RGB信号等其它颜色信号。

另外，本申请发明能够在其发明范围内进行各实施方式的自由组合、或各实施方式的任意结构要素的变形、或各实施方式中的任意结构要素的省略。并且，能够将由各实施方式的图像编码装置生成的编码流或由编码流变换装置生成的重编码流作为文件存储在服务器等存储装置中。进而，也可以构成发布编码流或重编码流的装置。

产业上的可利用性

本发明的图像编码装置、图像编码方法和编码流变换装置适用于在对图像进行高效编码时维持随机访问间隔的必要性较高的情况。

并且，本发明的图像解码装置和图像解码方法适用于在维持随机访问间隔且提高编码效率的情况下，正确地对包含能够随机访问的帧间图片的编码比特流进行解码的必要性较高的情况。

标号说明

1：块分割部；2：编码控制部(编码模式决定部)；3：切换开关(预测图像生成部)；4：内部预测部(预测图像生成部)；5：运动补偿预测部(预测图像生成部)；6：减法部(差分图像生成部)；7：变换/量化部(图像压缩部)；8：逆量化/逆变换部(局域解码图像生成部)；9：加法部(局域解码图像生成部)；10：内部预测用存储器；11：环路滤波部(滤波处理部)；12：运动补偿预测帧存储器；13：可变长度编码部(编码部)；14：片分割部(块分割部)；31：可变长度解码部(解码部)；32：逆量化/逆变换部(差分图像生成部)；33：切换开关(预测图像生成部)；34：内部预测部(预测图像生成部)；35：运动补偿部(预测图像生成部)；36：加法部(解码图像生成部)；37：内部预测用存储器；38：环路滤波部(滤波处理部)；39：运动补偿预测帧存储器；41：重编码部；42：重编码控制部(重编码设定部)；43：解码部(图像解码部)；44：输入视频信号控制部(重编码设定部)；45：比特流合成部(比特流合成部)。