图像数据压缩装置、压缩方法及程序、以及图像数据恢复装置、恢复方法及程序

摘要

本发明涉及一种图像数据压缩装置、压缩方法及程序、以及图像数据恢复装置、恢复方法及程序。量化器将压缩对象像素(X)和预测值(X’)的差分值、即“预测误差”量化。可变长编码器将由量化器的量化表得到的量化号码作为输入，输出可变长码(压缩码)。预测值候选计算模块根据周边像素(A、C、B)，计算预测值候选(1～k)，发送到多路复用器(MPX)。预测值决定模块根据与图像格式对应的中间值对应表和中间值·图像格式对应表，决定将预测值候选(1～k)中的哪个设为预测值，将控制信号发送到多路复用器(MPX)。多路复用器(MPX)将所决定的预测值候选(1～k)中的任意一个作为预测值(X’)输出。这样，根据图像格式，区分预测值，从而可以对各个图像格式减少预测误差。

说明书

技术领域

本发明涉及可对特性不同的2种图像(电影等自然图像和数字地图等CG图像)双方进行有效且高画质的实时处理的图像数据压缩装置、压缩方法及用于进行该压缩的程序、以及恢复压缩图像数据的图像数据恢复装置、恢复方法及用于进行该恢复的程序。

背景技术

为了传送包括庞大信息量的图像信息，需要进行数据压缩。尤其，为动态图像的情况下，1秒钟收发30帧～60帧左右的图像数据，所以数据压缩是不可缺少的。

但是，作为图像信息，通常已知有以视频图像或电影等为代表的自然图像和以汽车导航仪的地图等为代表的CG图像(数字图像)，通常在自然图像中包含较多低频分量，在数字图像中包含较多高频分量。在最近的车载终端或包括便携式电话的便携终端中，要对地图等数字图像和TV或电影等自然图像两者进行处理，为了有效地传送这两者图像数据，要求一种对低频分量和高频分量双方均有效的数据压缩方式。

作为现有的图像数据压缩方式，已知有图1所示的通过JPEG(JointPhotographic Experts Group：联合图像专家组)，MPEG(Moving PictureExperts Group：运动图像专家组)进行数据压缩的第一现有技术。作为属于该第一现有技术的专利文献，可以举出下述专利文献1和2。如图1所示，在第一现有技术中，将图像数据110分块(通常为8*8像素)(未图示)，对分块图像进行频率转换210，对DCT系数进行量化310，进行可变长编码410后传送，在可变长编码410中分配与出现频率对应的码。

在此，频率转换通常是指，使用DCT(Discrete Cosine Transfer：离散余弦变换)，对图像数据进行频率转换。由于人眼对低频分量(图像中的平坦部分)较敏感，所以通过将涉及低频的DCT系数细致地量化，将涉及高频的DCT系数粗略地量化，从而可以以较高的压缩率进行压缩，使得在自然图像中画质劣化不明显。但是，由于将容易被人眼检测到的低频分量细致地量化，所以对于自然图像的压缩不会出现问题，但是对于地图图像(CG图像)中的线条、文字这类高频分量，画质劣化明显，所以存在不适合CG图像的问题。

并且，作为现有的图像数据压缩方式，已知有使用了图2所示的JPEG-LS(Loss less)的第二现有技术。在该第二现有技术中，如图2所示，对图像数据120进行压缩的情况下，使用MED(Median Edge Detector)预测器(该预测器是MAP：Median Adaptive Predictor的一种)，由压缩对象像素的电平值进行电平值预测，将其预测误差直接编码。在该第二现有技术中，预测误差的出现频率基本集中在0附近，因此对0附近的预测误差分配短码，对值大的预测误差分配长码，进行压缩。压缩率为1/3左右，由于不管是高频·低频，均以像素单位进行编码，所以对于CG图像，也不会发生画质劣化。

但是，在交织图像(interlace image)或行(line)间的相关度较低的图像中，难以进行预测，存在预测误差增大的趋势。其结果，分配出现频率低(码长较长)的可变长码，并且在编码时需要进行计算处理等各处理，任务重，存在不适合于实时压缩处理的问题。

专利文献1：日本特开2001-061149号公报

专利文献2：日本特开2000-069479号公报

对于采用JPEG、MPEG这类DCT进行转换编码的方式，CG图像中的画质劣化明显；对于JPEG-LS，交织图像或横向较长的图像中的预测误差增大，其结果，不得不使用长码，压缩效率变差。

由此，作为对自然图像和CG图像双方进行处理的以车载终端为对象的图像数据压缩装置，需要以高画质对CG图像进行压缩，并且对于在电影等自然图像中看到的交织图像或横向较长的图像，也不得使压缩效率下降。

发明内容

为了解决上述课题，本发明的目的在于，提供一种图像数据压缩装置、压缩方法及用于进行该压缩的程序、以及恢复压缩图像数据的图像数据恢复装置、恢复方法及用于进行该恢复的程序，其中，根据预测对象像素的周边像素的电平值，对该预测对象像素的电平值进行预测，将其预测结果的误差量化，从而进行压缩。

本发明的图像数据压缩装置具有预测器，利用该预测器预测压缩对象像素的像素电平值。该情况下，根据压缩对象像素周边的像素电平值以及图像格式，决定预测值。由此，能够针对各个图像格式减少预测误差，能够提高压缩效率。并且，只要根据图像格式，切换预测值即可，所以能够实现安装时的程序、电路结构的简化。

并且，本发明的图像数据压缩方法包括执行如下处理的步骤：根据所保持的所述周边像素A、B以及C的像素值，计算多个预测值候选；以及根据中间值对应表和中间值·图像格式对应表，决定将所述多个预测值候选之中的哪个设为预测值，发送控制信号。这样在预测值决定模块及预测值计算模块中分别进行并行(parallel)处理，能够在完成了各预测值候选计算的阶段，决定使用哪个预测值，所以可通过该并行处理快速地进行数据压缩。

并且，本发明的进行图像数据压缩的程序，该程序用于一边预测压缩对象像素的像素电平值、一边进行图像数据压缩，该程序使计算机执行如下步骤：在进行编码之前，对于压缩对象像素的周边像素，将左侧像素设为A，上侧像素设为C，左上侧像素设为B，保持所述像素A、B以及C的像素值和最接近1行的像素值；根据所保持的所述周边像素A、B以及C的像素值，计算多个预测值候选；根据中间值对应表和中间值·图像格式对应表，缩减所述多个预测值候选，决定1个预测值，进行输出；根据所输出的预测值和压缩对象像素，计算预测误差，将该预测误差输入到量化表，取得量化号码，将该量化号码输入到编码表，得到压缩码。由此，在预测值决定和预测值计算的各步骤中进行并行处理，能够在完成了各预测值候选计算的阶段，决定使用哪个预测值，所以能够通过该并行处理快速进行数据压缩。

并且，本发明的图像数据恢复装置及图像数据恢复方法，通过逆向操作将利用上述图像数据压缩装置进行压缩的图像数据恢复，所以与图像数据压缩装置相同，能够对各个图像格式减少预测误差，能够提高压缩效率。并且，只要根据图像格式，切换预测值即可，所以能够实现安装时的程序、电路结构的简化。

而且，本发明的进行图像数据恢复的程序，进行利用上述的进行图像数据压缩的程序所执行的操作的逆向操作，所以与上述的进行图像数据压缩的程序相同，在预测值决定和预测值计算的各步骤中进行并行处理，在完成了各预测值候选计算的阶段，能够决定使用哪个预测值，因此能够通过该并行处理快速进行数据恢复。

附图说明

图1是表示通过JPEG、MPEG进行数据压缩的第一现有技术的图。

图2是表示通过JPEG-LS进行数据压缩的第二现有技术的图。

图3是表示本发明的实施方式涉及的图像数据压缩装置的结构的框图。

图4是表示本发明的实施方式涉及的图像数据压缩装置中的压缩对象像素和周边像素之间的配置关系的图。

图5是本发明的实施方式涉及的量化器中的量化表的图。

图6是表示本发明的实施方式涉及的图像数据压缩装置的预测值决定模块中的中间值对应表的图。

图7是表示本发明的实施方式涉及的图像数据压缩装置的预测值决定模块中的中间值·图像格式对应表的图。

图8是表示本发明的实施方式涉及的图像数据压缩装置的控制信号和预测值候选1～k之间的对应关系的对应表的图。

图9A是用于说明本发明的实施方式涉及的图像数据压缩(编码)装置的动作的流程图。

图9B是说明图9A的步骤S008中的“本地解码器”的处理的流程图。

图10是表示本发明的实施方式涉及的图像数据压缩装置中的压缩对象像素以及预测用行缓冲器的某个时刻的像素电平值的图。

图11是表示本发明的实施方式涉及的图像数据压缩装置中的交织用预测器的量化结果的图。

图12是表示本发明的实施方式涉及的图像数据压缩装置中的渐进用预测器的量化结果的图。

图13是表示本发明的实施方式涉及的图像数据压缩装置的系统结构的功能框图。

图14是表示本发明的实施方式涉及的图像数据恢复装置的结构的框图。

图15是表示本发明的实施方式涉及的逆量化器中的逆量化表的图。

图16是表示本发明的实施方式涉及的图像数据恢复装置中的恢复对象像素和周边像素之间的配置关系的图。

图17是表示本发明的实施方式涉及的图像数据恢复装置的预测值决定模块中的中间值对应表的图。

图18是表示本发明的实施方式涉及的图像数据恢复装置的预测值决定模块中的中间值·图像格式对应表的图。

图19是表示本发明的实施方式涉及的图像数据恢复装置的控制信号和预测值候选1～k之间的对应关系的对应表的图。

图20A是用于说明本发明的实施方式涉及的图像数据恢复(解码)装置的动作的流程图。

图20B是说明图20A的步骤S027中的“本地解码器”的处理的流程图。

图21是表示本发明的实施方式涉及的图像数据恢复装置中的预测用行缓冲器的某个时刻的像素电平值的图。

图22是表示本发明的实施方式涉及的图像数据恢复装置中的交织用预测器的量化结果的图。

图23是本发明的实施方式涉及的图像数据恢复装置中的渐进用预测器的量化结果的图。

图24是表示本发明的实施方式涉及的图像数据恢复装置的系统结构的功能框图。

具体实施方式

下面，参照附图，说明本发明的实施方式。

图3是表示本发明的实施方式涉及的图像数据压缩(编码)装置的结构的框图。图3中，图像数据001表示作为压缩对象的像素的集合，通过以数字处理图像的图像处理装置(未图示)提取。并且，压缩对象像素X(002)表示当前步骤中成为压缩对象的像素。图4是表示图像格式是交织图像或渐进图像时的压缩对象像素X和周边像素之间的配置关系的图。另外，在图4中，行以虚线表示。量化器003对压缩对象像素X(002)和预测值X’(006)的差分值、即“预测误差”进行量化。

图5是表示本发明的实施方式涉及的量化值和量化号码与预测误差(X-X’)之间的对应关系的量化表示例。在图5所示的量化表中，将预测误差(X-X’)作为输入，输出预测误差量化值(也简称为量化值)和量化号码。量化阶梯(quantum step)的宽度，优选预测误差的绝对值越小越窄，预测误差的绝对值越大越宽。这是由于，通常预测误差较小的情况是容易预测的平坦图像，相反，预测误差大的情况是预测容易出现偏差的边缘附近，若在平坦的部分上出现误差，则容易被人眼检测到，所以在预测误差较小的情况下，需减小阶梯宽度。虽然也与是否进行自适应量化而有所不同，但具体地说最小阶梯宽度优选1～4。另一方面，预测误差大的情况下的阶梯宽度优选24～32，以便为了使出现频率少，提高压缩效率，尽量将较多的预测误差汇总在1个量化阶梯。对边缘较多的复杂图案进行压缩时，有时达不到预定的压缩率，因此，也可以设置量化阶梯宽度不同的多个量化表，进行自适应量化，即，在可能要超过预定压缩率的情况下，选择阶梯宽度整体上粗略的量化表。另外，图5所示的量化值和量化号码的对应关系需要在压缩侧、恢复侧为相同对应。因此，对应于图5，在恢复侧设置表示量化值和量化号码的对应关系的逆量化表(参照图15)。对此将在后面叙述。

可变长编码器004将由图5的量化表得到的量化号码作为输入，输出可变长码。压缩码缓冲器005临时蓄积从可变长编码器004输出的可变长码、即压缩码。

预测值X’(006)是利用多路复用器(MPX)015从预测值候选计算模块011计算出的预测值候选1～k(本实施方式的说明中，为k＝6)之中选出的预测值候选之一。如图4所示，周边像素A(007)是压缩对象像素X(002)的左侧像素，即，相同行中前一个处理的像素。预测用行缓冲器008是作为预测用而保持约1行的相当量的量化结果的缓冲器，例如由移位寄存器构成。如图4所示，周边像素C(009)是压缩对象像素X的上侧像素，即，前一个处理的行中相同列的像素。周边像素B(010)是压缩对象像素X的左上侧像素，即，前一个处理的行中C(009)的前一个处理的像素。观察原图像时，周边像素C和周边像素B是在压缩对象像素X为交织图像的情况下，相当于2行中的像素；在压缩对象像素X为渐进图像的情况下，相当于1行中的像素。

预测值X’(006)是预测值候选计算模块011根据周边像素A(007)、C(009)、B(010)计算出的预测值候选之一，首先对图像格式为渐进图像时的预测值候选计算进行说明。如图4所示，为渐进图像的情况下，使用前1行处理的像素C、B的像素电平值和相同行中前一个处理的像素A的像素电平值，考虑了3个方向的相关度的预测值X’(006)的预测值候选为A、C、(A+C-B)。

接着，说明图像格式为交织图像时的预测值候选计算。如图4所示，为交织图像的情况下，交替发送偶数行和奇数行，所以为了不设置帧存储器等，以行单位进行处理，使用相关度低的2行之前处理的像素。因此，不直接使用2行之前处理的像素C、B的像素电平值，假设2行间的像素C’(位于像素X和像素C之间的像素)、B’(位于像素A和像素B之间的像素)。为了采用与上述渐进图像相同的方式进行处理，将像素C’的像素电平值设为像素A和C的插值“(A+C)/2”，使用像素A和B的插值“(2A+C-B)/2”，计算像素B’的电平值。此外，在像素C’和像素B’的基础上，还使用同行中前一个处理的像素A的像素电平值，考虑了3个方向的相关度的预测值X’(006)的预测值候选为A、(A+C)/2、(2A+C-B)/2。

像这样，预测值候选计算模块011根据周边像素A(007)、C(009)、B(010)，计算以下所示的预测值候选1～k，发送到多路复用器(MPX)015。

即，预测值候选1：(A+C)/2

预测值候选2：A

预测值候选3：(2A+C-B)/2

预测值候选4：C

预测值候选5：A

预测值候选6：A+C-B

上述中，为交织图像的情况下，预测值候选计算模块011使用系数m、n，将3个预测值候选“A”、“(m*A+n*C)/(m+n)”、“A+(m*A+n*C)/(m+n)-(m*A+n*B)/(m+n)”的中间值作为预测值，其中，系数m、n的值均是不取0的某值(包括0的正整数)，且m+n的值为2的i次方，以便可通过位移运算进行处理。为了得到这样的预测值，上述的预测值候选计算模块011除了上述预测值候选1～6之外，还计算作为预测值候选7～9的3个预测值候选“A”、“(m*A+n*C)/(m+n)”、“A+(m*A+n*C)/(m+n)-(m*A+n*B)/(m+n)”。其结果，k值为9。即，对于考虑了系数m、n时的交织图像，除上述的未考虑系数的交织图像或渐进图像之外，图像格式增加1个，所以k值为9。若在此基础上，进一步增加图像格式个数，则k为图像格式个数的3倍。另外，作为系数m、n，例如作为使用了m＝1、n＝3的交织用预测值，使用“A”、“(A+3*C)/4”以及“(4*A+3*C-3*B)/4”，可以计算纵向像素电平值的变动较强的预测值。即，对于纵向相关度强的图像，通过使n值大于m来进行对应。另外，作为渐进图像时的上述系数的值，预先决定m＝0、n＝1，其结果，成为与现有MAP预测器相同的预测值。

图像格式012是由图像处理装置(未图示)提供给本图像数据压缩装置的，但是通常图像数据格式被作为表示横向像素相关度强的图像还是纵向像素相关度强的图像的信号进行指示。即，上述的交织图像被作为横向像素相关度强的图像、且上述的渐进图像是纵向像素相关度强的图像(横向像素相关度不一定比纵向相关度强的图像)。而且，图像格式即使是例如表示图像数据的采样格式的信号，也相同。

预测值决定模块013根据以下的图6和图7所示的2个对应表，决定将预测值候选1～k之中的哪个设为预测值，作为控制信号014发送到多路复用器(MPX)015。图6表示中间值对应表，该表中，比较周边像素A、B以及C的像素电平值的大小，计算出周边像素A、B以及C的中间值，根据该结果，缩减为预测值候选(1)～(3)。图6所示的预测值候选(1)～(3)和中间值之间的对应关系需要在压缩侧、恢复侧为相同对应。因此，对应于图6，在恢复侧设置表示预测值候选(1)～(3)和中间值之间的对应关系的中间值对应表(参照图17)。对此将在后面叙述。

图7是将图6中缩减的预测值候选(1)～(3)和控制信号014发送到多路复用器(MPX)015的中间值·图像格式对应表，该控制信号014表示根据图像格式012是横向像素相关度强的图像(交织图像)还是纵向像素相关度强的图像(渐进图像)，最终将预测值候选1～k中的哪个用作预测值。作为控制信号014输出的是，图7的对应表中所示的(000～101)的3比特信号。另外，如上所述，从预测值候选计算模块011追加了考虑到系数m、n的针对交织图像的3个预测值候选“A”、“(m*A+n*C)/(m+n)”、“A+(m*A+n*C)/(m+n)-(m*A+n*B)/(m+n)”的计算输出的情况下，对应于预测值候选(1)～(3)，向横向像素相关度强的图像栏中追加由控制信号(该情况下，以4比特表示)识别的预测值候选“A”、“(m*A+n*C)/(m+n)”、“A+(m*A+n*C)/(m+n)-(m*A+n*B)/(m+n)”。并且，图7所示的中间值和图像格式的对应关系需要在压缩侧、恢复侧为相同对应。因此，对应于图7，在恢复侧设置表示中间值和图像格式的对应关系的中间值·图像格式对应表(图18参照)。对此将在后面叙述。

多路复用器(MPX)015根据控制信号014，决定将预测值候选1～k中的哪个选为预测值。图8是表示控制信号014和上述的预测值候选1～6之间的对应关系的对应表。即，控制信号(000)对应于预测值候选1，控制信号(001)对应于预测值候选2，控制信号(010)对应于预测值候选3，控制信号(011)对应于预测值候选4，控制信号(100)对应于预测值候选5，控制信号(101)对应于预测值候选6。另外，如上所述，从预测值候选计算模块011追加了考虑了系数m、n的针对交织图像的3个预测值候选“A”，“(m*A+n*C)/(m+n)”，“A+(m*A+n*C)/(m+n)-(m*A+n*B)/(m+n)”的计算输出的情况下，作为在图8的表中使用的预测值候选，附加预测值候选“A”，“(m*A+n*C)/(m+n)”，“A+(m*A+n*C)/(m+n)-(m*A+n*B)/(m+n)”。在此基础上，控制信号需要是能够识别所追加的3个预测值候选的比特宽度的控制信号(该情况下为4比特信号)。而且，图8所示的控制信号和预测值候选之间的对应关系需要在压缩侧、恢复侧为相同对应。对应于图8，在恢复侧设置表示控制信号和预测值候选之间的对应关系的对应表(参照图19)。对此将在后面叙述。另外，在本实施方式中，作为控制信号014，将3比特的控制信号(000)～控制信号(101)对应起来，但只要与预测值候选1～6对应起来，亦可不是这种形式的控制信号。

另外，不限于交织或渐进，将利用表示图像数据的采样格式的信号表示使用哪个预测值的对应表保持在预测值决定模块013中，据此，能够决定预测值。

虽未图示，从预测值决定模块013将表示图像数据的采样格式的控制信号发送到预测值候选计算模块011，据此，预测值候选计算模块011可以决定上述的系数m、n的值。

图9A是用于说明本发明的实施方式涉及的图像数据压缩(编码)装置的动作的流程图。图9B是说明图9A的步骤S008中的“本地解码器”的处理的流程图。图9A和图9B中将步骤略写为S。

在进入图9A的步骤说明之前，在本例中，首先需要注意的是，以下步骤循环进行，直到对全部图像数据完成处理。

S001：从图像数据001取得压缩对象像素X(002)。

S002：利用预测值决定模块013比较周边像素A(007)、C(009)、B(010)中的像素电平值的大小关系。根据该大小关系和图像格式012，参照图6和图7所示的对应表，将控制信号014发送到多路复用器(MPX)015。

S003：利用预测值候选计算模块011，根据周边像素A(007)、C(009)、B(010)，计算预测值候选1～6。该情况下，采用整数运算和位移运算，计算预测值。而且，整数运算时，舍去(2A+C-B+1)/2和(A+C+1)/2的小数点以下。实数运算时，加1而不舍去，直接使用(2A+C-B)/2和(A+C)/2的值。

S004：利用MPX015，根据预测值候选1～6和控制信号014，决定预测值。

S005：由压缩对象像素002的像素电平值减去预测值006，计算预测误差。

S006：利用量化器003，将预测误差量化，取得量化值和量化号码。

S007：利用可变长编码器004，根据量化号码，生成可变长码。该码可以是Golomb码，也可以是算术码。

S008：为了压缩下一像素，更新(本地解码器)周边像素A、B以及C和预测用行缓冲器008。

S009：将周边像素C(009)作为下一压缩对象像素的周边像素B(010)代入。

S010：从预测用行缓冲器008取得下一压缩对象像素的周边像素C(009)。

S011：将周边像素A(007)代入预测用行缓冲器008。

S012：将量化值和预测值相加，作为下一压缩对象像素的周边像素A(007)代入。

并且，例如预测用行缓冲器008和压缩对象像素X(002)为图10所示的值时，交织用预测器和渐进用预测器的量化结果如图11和图12所示的表所示。预测用行缓冲器008和压缩对象像素X(002)取图10所示的像素值时，图11和图12所示的表可以从上述的图9A和图9B所示的本发明的实施方式涉及的图像数据压缩(编码)装置的动作简单地导出。该情况下，上次压缩时的像素C(009)成为此次压缩时的像素B(010)，上次的“预测值+预测误差量化值”成为此次的像素A(007)。

图13是表示本发明的实施方式涉及的图像数据压缩装置的系统结构的功能框图，将上述说明的内容功能化，以模块表现。图13中，本发明的实施方式涉及的图像数据压缩装置将应进行压缩处理的图像数据102输入到压缩处理部110，在压缩处理部110中，首先利用读取部111按照每一行读取所输入的图像数据102，提取压缩对象像素，针对所提取的压缩对象像素，在预测处理部112中，参照图6所示的中间值对应表113、图7所示的中间值·图像格式对应表114，利用相当于图3的预测值候选计算模块011的预测值候选计算部115计算预测值候选，并且，在相当于MPX 015的预测值决定部116中，从根据图像格式104计算出的预测值候选中，决定预测值，由所决定的预测值和压缩对象像素的差分，求出预测误差，将该预测误差输入到相当于量化部003的量化处理部115，在量化处理部117中，参照图5所示的量化表118，从预测误差得到预测误差量化值和量化号码，并输入量化号码，从相当于可变长编码器004的编码处理部119得到可变长码(压缩码)，将其作为压缩处理部110的输出进行蓄积，得到压缩数据106。

根据本发明的图像数据压缩装置，根据图像格式，区分使用预测值，从而可对各个图像格式减少预测误差，所以可提高压缩效率。并且，只要根据图像格式，切换预测值即可，能够实现安装时的程序、电路结构的简化。

上述中，求出A、B以及C的中间值，根据中间值对应表，决定选择哪个预测值候选，但也可以计算预测值候选之后，求出预测值候选的中间值。

并且，上述中，交织用预测值是(A+C)/2、A以及(2A+C-B)/2，但在预测值候选计算模块011中，使用系数m、n，由像素电平值A、B以及C，计算“A”，“(m*A+n*C)/(m+n)”以及“A+(m*A+n*C)/(m+n)-(m*A+n*B)/(m+n)”，系数m、n的值均代入不取0的某值(包括0的正整数)、且m+n的值为2的i次方，以便可通过位移运算进行处理的值，例如作为交织用预测值，使用“A”、“(A+3*C)/4”以及“(4*A+3*C-3*B)/4”，可以计算纵向像素电平值的变动较强的预测值。

并且，不限于交织还是渐进的图像格式，即使利用表示图像数据的采样格式的信号区分使用预测值，也能够产生同样的效果。

例如，存储于一般的DVD中的图像数据的采样格式通常为4:2:2格式。这是由于，Y分量(亮度分量)的图像尺寸为720×480，C分量(颜色分量)的横图像尺寸为Y分量的一半。因此，C分量是纵向相关度强的图像数据，所以关于系数m、n，可以通过使n值大于m来进行对应。即，通过增大相对于纵向相关度强的周边像素的比重(增大n值)，从而可以防止预测误差变差。例如，对于图像数据的采样格式为4:2:2、图像尺寸为720×480的交织图像，为C分量的情况下，设为m＝1、n＝3，进行作为纵向存在相关关系的图像数据的对应，对于Y分量，在图像尺寸为720×480的情况下，设m＝1、n＝1，从而进行作为横向存在相关关系的图像数据的对应。对于横向存在相关关系的图像数据时的系数m、n，设m和n为相同的值，若这样也会被认为预测误差变差，则可以通过使m值大于n来进行对应。此外，作为其他例子，在图像数据的采样格式为4:4:4格式、图像尺寸为800×480的渐进图像的情况下，m＝0、n＝1。

此外，仅利用场存储器(field memory)(1行的缓冲器)，无需帧存储器，所以能够减少安装时成本。

并且，在上述中，预测值候选计算模块011计算k个(上述说明中为6个)预测值候选，以根据图6、图7缩减的控制信号为基础，利用多路复用器(MPX)015选择1个预测值。根据这样的处理顺序，可以在同一定时执行在图6、图7中缩减预测值候选和预测值计算，能够提高处理速度。即，在预测值决定模块和预测值计算模块中各自进行并行处理，在完成了各预测值候选计算的阶段，能够决定使用哪个预测值，所以可通过该并行处理快速进行数据压缩。并且，在预测值决定模块和预测值计算模块中使用表来进行运算处理，所以可将程序处理快速化。

另一方面，作为不重视处理速度、减少结构规模时的安装，可以考虑如下结构：将图6的中间值对应表从结构中删除，以图7为基础，根据预先知道的图像格式，事先计算3个预测值，从3个预测值之中直接求出中间值。此外，作为其他模式，还可以考虑如下方法：决定在图6的中间值对应表中采用哪个预测值候选式计算较好，仅执行该决定的1个式的计算处理，从而删除从多个计算出的预测值中选择应采用的1个的结构。

另外，本发明的图像数据压缩装置中，将如下图像数据为处理对象：在作为处理对象的图像为渐进图像的情况下，以帧单位，按照从画面的上部向下部的顺序呈流状流过的图像数据；在作为处理对象的图像为交织图像的情况下，以字段单位，按照从画面的上部向下部的顺序呈流状流过的图像数据。并且，压缩编码后的压缩数据按照本装置所连接的传送路径的传送规则，每隔一定尺寸，形成数据包，进行传送。

图14是表示本发明的实施方式涉及的图像数据恢复(解码)装置的结构的框图。图14中，压缩码021表示上述图3所示的本发明的实施方式涉及的图像数据压缩(编码)装置的输出，即被可变长编码的图像数据的压缩码。并且，解码器022将图像数据压缩的码作为输入，输出与该码相应的量化号码。逆量化器023将量化号码作为输入，输出预测误差的量化值X(024)。

图15是逆量化器023所具备的表示预测误差量化值相对于上述量化号码的对应关系的逆量化表。图15所示的逆量化表中，将量化号码作为输入，输出预测误差量化值。图15所示的预测误差量化值和量化号码的对应关系需要在恢复侧、压缩侧为相同对应。因此，对应于图15，在压缩侧设置表示预测误差量化值和量化号码的对应关系的量化表(参照图5)。

并且，图16是表示图像格式032为例如交织图像或渐进图像时的恢复对象像素X和周边像素之间的配置关系的图。另外，图15中的用虚线表示行。

预测误差量化值X(024)与预测值X’(026)相加得到恢复图像数据025，并且还成为下一恢复对象像素的周边像素A(027)。

如图16所示，周边像素A(027)是恢复对象像素的左侧像素。预测用行缓冲器028是作为预测用而保持约1行相当量的量化结果的缓冲器，例如由移位寄存器构成。图16所示，周边像素C(029)是恢复对象像素的上侧(前行)像素，周边像素B(030)是恢复对象像素的左上侧(前行)像素。

预测值X’(026)是预测值候选计算模块031根据周边像素A(027)、C(029)、B(030)计算出的预测值候选之一，首先，说明图像格式为渐进图像时的预测值候选计算。如图16所示，为渐进图像的情况下，使用前1行处理的像素C、B的像素电平值和相同行中前一个处理的像素A的像素电平值，考虑了3个方向相关度的预测值X’(026)的预测值候选为A、C、(A+C-B)。

接着，说明图像格式为交织图像时的预测值候选计算。如图16所示，为交织图像的情况下，交替发送偶数行和奇数行，因此，为了不设置帧存储器等，以行单位进行处理，使用相关度低的2行之前处理的像素。因此，不直接使用2行之前处理的像素C、B的像素电平值，而作为2行间的像素，假设像素C和像素X之间的像素C’、以及像素B和像素A之间的像素B’，采用与上述的渐进图像相同的方式处理，像素C’、B’的像素电平值使用像素A和C的插值“(A+C)/2”及像素A和B的插值“(2A+C-B)/2”，进一步使用在相同行中前一个处理的像素A的像素电平值，考虑了3个方向相关度的预测值X’(026)的预测值候选为A、(A+C)/2、(2A+C-B)/2。

这样，预测值候选计算模块031根据周边像素A(027)、C(029)、B(030)，计算下面所示的预测值候选1～k(本实施方式的说明中为k＝6)，发送到多路复用器(MPX)035。即，

预测值候选1：(A+C)/2

预测值候选2：A

预测值候选3：(2A+C-B)/2

预测值候选4：C

预测值候选5：A

预测值候选6：A+C-B

上述中，为交织图像的情况下，预测值候选计算模块031使用系数m、n，将3个预测值候选“A”，“(m*A+n*C)/(m+n)”，“A+(m*A+n*C)/(m+n)-(m*A+n*B)/(m+n)”的中间值作为交织图像的预测值，其中，系数m、n的值均是不取0的某值(包括0的正整数)，且m+n的值为2的i次方，以便可通过位移运算进行处理的值。为了得到这样的预测值，上述的预测值候选计算模块031除了上述预测值候选1～6之外，还计算作为预测值候选7～9的3个预测值候选“A”、“(m*A+n*C)/(m+n)”、“A+(m*A+n*C)/(m+n)-(m*A+n*B)/(m+n)”。其结果，k值为9。即，对于考虑了系数m、n时的交织图像，除上述的未考虑系数的交织图像或渐进图像之外，图像格式增加1个，所以k值为9。若在此基础上，进一步增加图像格式个数，则k为图像格式个数的3倍。

另外，作为系数m、n，例如作为使用了m＝1、n＝3的交织用预测值，使用“A”、“(A+3*C)/4”以及“(4*A+3*C-3*B)/4”，可以计算纵向像素电平值的变动较强的预测值。另外，作为渐进图像时的上述系数的值，预先决定m＝0、n＝1，其结果，成为与现有的MAP预测器相同的预测值。

图像格式032是从图像处理装置(未图示)提供给本图像数据恢复装置的，通常，图像数据格式被作为表示横向像素相关度强的图像或纵向像素相关度强的图像的信号进行指示。即，指示为上述的交织图像是横向像素相关度强的图像，并且上述的渐进图像是纵向像素相关度强的图像。并且，在图像格式为例如表示图像数据的采样格式的信号时也是同样的。

预测值决定模块033根据以下的图17和图18所示的2个对应表，决定将预测值候选1～k中的哪个设为预测值，作为控制信号034，发送到多路复用器(MPX)035。图17表示中间值对应表，其中，该中间值对应表用于对周边像素A、B以及C的像素电平值的大小进行比较，计算周边像素A、B以及C的中间值，根据计算出的结果，缩减为预测值候选(1)～(3)。对应于图17，在压缩侧设置表示预测值候选(1)～(3)和中间值之间的对应关系的中间值对应表(参照图6)。

图18是将图17中缩减的预测值候选(1)～(3)和控制信号034发送到多路复用器(MPX)035的中间值·图像格式对应表，该控制信号034表示根据图像格式032是横向像素相关度强的图像(交织图像)还是纵向像素相关度强的图像(渐进图像)的区别，最终将预测值候选1～k中的哪个用作预测值。作为控制信号034输出的是，图18的对应表中所示的(000～101)的3比特信号。另外，如上所述，从预测值候选计算模块031追加了考虑到系数m、n的针对交织图像的3个预测值候选“A”、“(m*A+n*C)/(m+n)”、“A+(m*A+n*C)/(m+n)-(m*A+n*B)/(m+n)”的计算输出的情况下，对应于预测值候选(1)～(3)，向横向像素相关度强的图像栏中追加由控制信号(该情况下，以4比特表示)识别的预测值候选“A”、“(m*A+n*C)/(m+n)”、“A+(m*A+n*C)/(m+n)-(m*A+n*B)/(m+n)”。并且，对应于图18，在压缩侧设置表示中间值和图像格式的对应关系的中间值·图像格式对应表(图7参照)。

多路复用器(MPX)035根据控制信号034，决定将预测值候选1～k中的哪个选为预测值。图19是表示控制信号034和上述的预测值候选1～6之间的对应关系的对应表。即，控制信号(000)对应于预测值候选1，控制信号(001)对应于预测值候选2，控制信号(010)对应于预测值候选3，控制信号(011)对应于预测值候选4，控制信号(100)对应于预测值候选5，控制信号(101)对应于预测值候选6。

另外，如上所述，从预测值候选计算模块031追加了考虑了系数m、n的针对交织图像的3个预测值候选“A”、“(m*A+n*C)/(m+n)”、“A+(m*A+n*C)/(m+n)-(m*A+n*B)/(m+n)”的计算输出的情况下，作为在图19的表中使用的预测值候选，追加预测值候选“A”、“(m*A+n*C)/(m+n)”、“A+(m*A+n*C)/(m+n)-(m*A+n*B)/(m+n)”。在此基础上，控制信号也需要是能够识别所追加的3个预测值候选的比特宽度的控制信号(该情况下为4比特信号)。对应于图19，在压缩侧设置表示控制信号和预测值候选的对应关系的对应表(参照图8)。另外，在本实施方式中，作为控制信号034，将3比特的控制信号(000)乃至控制信号(101)对应起来，但只要能够与预测值候选1～6对应起来，亦可不是这种形式的控制信号。

另外，不限于交织或渐进，将利用表示图像数据的采样格式的信号表示使用哪个预测值的对应表保持在预测值决定模块033中，据此，能够决定预测值。

并且，虽未图示，从预测值决定模块033将表示图像数据的采样格式的控制信号发送到预测值候选计算模块031，据此，预测值候选计算模块031可以决定上述的系数m、n的值

图20A是用于说明本发明的实施方式涉及的图像数据恢复(解码)装置的动作的流程图。图20B是说明图20A的步骤S027中的“本地解码器”的处理的流程图。图20A和图20B中将步骤略写为S。

在进入图20A的步骤说明之前，在本例中，首先需要注意的是，以下步骤循环进行，直到对全部图像数据完成处理。

S021：将码数据021输入到解码器022，输出量化号码。

S022：将量化号码输入到逆量化器023，输出预测误差的量化值024。

S023：利用预测值决定模块033比较周边像素A(027)、C(029)、B(030)中的像素电平值的大小关系。根据该大小关系和图像格式032，参照图17和图18所示的对应表，将控制信号034发送到多路复用器(MPX)035。

S024：利用预测值候选计算模块031，根据周边像素A(027)、C(029)、B(030)，计算预测值候选1～6。该情况下，采用整数运算和位移运算，计算预测值。而且，整数运算时，舍去(2A+C-B+1)/2以及(A+C+1)/2的小数点以下。实数运算时，加1而不舍去，直接使用(2A+C-B)/2以及(A+C)/2的值。

S025：利用MPX035，根据预测值候选1～6和控制信号034，决定预测值。

S026：将在S022中取得的预测误差的量化值和在S024中取得的预测值相加，计算恢复对象像素(恢复图像数据025)。

S027：为了恢复下一像素，更新(本地解码器)周边像素A、B以及C和预测用行缓冲器028。

S028：将周边像素C(029)作为下一恢复对象像素的周边像素B(030)代入。

S029：从预测用行缓冲器028取得下一恢复对象像素的周边像素C(029)。

S030：将周边像素A(027)代入预测用行缓冲器028。

S031：将量化值和预测值相加，作为下一恢复对象像素的周边像素A(027)代入。

并且，例如预测用行缓冲器028为图21所示的值的情况下，交织用预测器和渐进用预测器的量化结果如图22和图23所示的表所示。预测用行缓冲器028取图21所示的像素值时，图22和图23所示的表可以从上述的图20A和图20B所示的本发明的实施方式涉及的图像数据恢复(解码)装置的动作简单地导出。该情况下，上次恢复时的像素C(029)成为此次恢复时的像素B(030)，上次的“预测值+预测误差量化值”成为此次的像素A(027)。

图24是表示本发明的实施方式涉及的图像数据恢复装置的系统结构的功能框图，将上述说明的内容功能化，以模块表现。图24中，本发明的实施方式涉及的图像数据恢复装置将上述的图像数据压缩装置的输出、即压缩数据202输入到恢复处理部210，在恢复处理部210中，首先将被输入的图像数据202输入到相当于图14的解码器022的解码处理部211，从解码处理部211得到量化号码。接着，将量化号码输入到相当于逆量化器023的逆量化处理部212。在逆量化处理部212中，参照图15所示的逆量化表213，由量化号码得到预测误差量化值。将所得到的预测误差量化值输入到预测处理部214。在预测处理部214中，参照图17所示的中间值对应表215、图18所示的中间值·图像格式对应表216，利用相当于预测值候选计算模块031的预测值候选计算部217计算预测值候选，并且，在相当于MPX035的预测值决定部218中，根据图像格式204，从利用预测值候选计算部217计算出的预测值候选之中决定预测值。而且，预测处理部214中，作为输出，将预测值候选计算部217计算出的预测误差量化值和预测值决定部218所决定的预测值输出，将所输出的预测值和预测误差量化值输入到恢复值计算部219。恢复值计算部219将被输入的预测值和预测误差量化值相加，得到恢复像素值，并且将其蓄积，得到恢复(图像)数据206。

这样，本发明的图像数据恢复装置根据图像格式，区分使用预测值，从而能够对各个图像格式减少预测误差，所以能够提高恢复效率。并且，只要根据图像格式切换预测值即可，所以能够实现安装时的程序、电路结构的简化。

另外，在上述中，求出A、B以及C的中间值，根据中间值对应表，决定选择哪个预测值候选，但也可以在计算预测值候选之后，求出预测值候选的中间值。

并且，在上述中，交织图像用预测值是(A+C)/2、A和(2A+C-B)/2，但在预测值候选计算模块中，根据像素电平值A、B以及C，使用系数m、n，计算“A”，“(m*A+n*C)/(m+n)”和“A+(m*A+n*C)/(m+n)-(m*A+n*B)/(m+n)”，系数m、n均代入不取0的某值，作为交织用预测值，使用“A”、“(A+3*C)/4”以及“(4*A+3*C-3*B)/4”，可以计算纵向像素电平值变动强的预测值。此外，分别在预测值决定模块和预测值计算模块中进行并行处理，在完成了各预测值候选计算的阶段，能够决定使用哪个预测值，所以可通过该并行处理快速进行数据恢复。

并且，不限于交织还是渐进的图像格式，即使利用表示图像数据的采样格式的信号，区分使用预测值，也能够得到相同的效果。

例如，存储于一般的DVD中的图像数据的采样格式通常为4:2:2格式。Y分量(亮度分量)的图像尺寸为720×480，C分量(颜色分量)的横图像尺寸为Y分量的一半。因此，C分量是纵向存在相关关系的图像数据，所以对于系数m、n，可通过使n值大于m来进行对应。即，加重相对于纵向相关度强的周边像素的比重(增大n值)，从而可防止预测误差变差。例如，对于图像数据的采样格式为4:2:2、图像尺寸为720×480的交织图像，为C分量的情况下，作为m＝1、n＝3，进行作为纵向存在相关关系的图像数据的对应，对于Y分量，图像尺寸为720×480的情况下，m＝1、n＝1，进行作为横向存在相关关系的图像数据的对应。对于横向存在相关关系的图像数据时的系数m、n，m和n设为相同值，若认为这样也有可能导致预测误差变差，则通过使m值大于n来进行对应。此外，作为其他例子，图像数据的采样格式为4:4:4格式，图像尺寸为800×480的渐进图像的情况下，m＝0、n＝1。

此外，仅利用场存储器(1行的缓冲器)，无需帧存储器，因此，能够减少安装时的成本。并且，仅切换预测值就能够对应交织/渐进双方，能够实现电路规模的简化。

并且，上述中，预测值候选计算模块031计算k个(上述说明中为6个)预测值候选，以根据图17、图18缩减的控制信号为基础，利用多路复用器(MPX)035选择1个预测值。根据这样的处理顺序，利用图17、图18缩减预测值候选，可以在相同的定时执行预测值计算，能够提高处理速度。即，分别在预测值决定模块和预测值计算模块中进行并行处理，在完成了各预测值候选计算的阶段，决定使用哪个预测值，因此可通过该并行处理快速进行数据压缩。在预测值决定模块和预测值计算模块中，使用表来进行运算处理，所以可将程序处理快速化。

另一方面，作为不重视处理速度而要减小结构规模时的安装，可以考虑如下结构：将图17的中间值对应表从结构中删除，以图18为基础，根据预先知道的图像格式，事先计算3个预测值，直接从3个预测值中求出中间值。此外，作为其他模式，还可以考虑如下方法：决定在图17的中间值对应表中采用哪个预测值候选式计算，仅执行该决定的1个式的计算处理，从而删除从多个计算出的预测值中选择应采用的1个的结构。

产业上的可利用性

本发明的图像数据压缩装置和图像数据恢复装置可被单片LSI化，搭载到希望的应用设备上，可以考虑应用到例如包括导航仪的车内影像数据传送系统或各种娱乐(游戏机、卡通(anime)等)设备中。作为一例，在车内影像数据传送系统中，还在后侧设置显示器，能够鉴赏不同于前侧的影像。因此，将利用安装于前侧的影像数据处理装置中处理的图像数据压缩，传送到后侧，在后侧将其恢复，显示图像数据。在将图像数据中继的情况下，在各中继点，反复进行压缩、恢复。