图像压缩装置、压缩方法和程序、以及图像恢复装置、恢复方法和程序

摘要

本发明提供图像压缩装置、压缩方法和程序、以及图像恢复装置、恢复方法和程序。在压缩图像数据时，保持存在于压缩对象像素所属的行和其之前的行上的压缩完成的像素的电平值，基于所述压缩完成的像素的电平值，根据所述2行间的电平差中相同的值以哪种方式出现来判断有无量化误差，选择量化器中的量化阶梯的精细度彼此不同的多个量化表中的任意一个，或者，计算所述压缩对象像素的周边像素的电平差的绝对值之和，利用周边像素的电平差之和的大小来判断所述压缩对象像素是平坦图像还是活性度高的图像，选择所述量化器中的量化阶梯的精细度彼此不同的多个量化表中的任意一个。这样，通过切换量化表来抑制由于量化误差所产生的行间的画质劣化。

说明书

技术领域

本发明涉及对特性不同的两种图像(电影等自然图像和数字地图等CG图像)双方有效的高画质实时图像压缩装置、压缩方法和用于进行该压缩的程序、以及对压缩图像数据进行恢复的图像恢复装置、恢复方法和用于进行该恢复的程序。

背景技术

为了传送包含极大信息量的图像信息而需要进行数据压缩。尤其在动态图像的情况下，为了在一秒间能够发送和接收30帧～60帧左右的图像数据，图像压缩变得不可欠缺。

另外，作为图像信息，公知有通常以电视图像和电影等为代表的自然图像以及以汽车导航的地图等为代表的CG图像，通常，在自然图像中包含较多的低频成分，而在数字图像中包含较多的高频成分。在最近的车载终端和包括移动电话在内的移动终端中，已经能够处理地图等数字图像和TV、电影等自然图像双方，而为了有效地传送双方的图像数据，期望采用对低频成分和高频成分双方都有效的数据压缩方式。

作为以往的图像数据压缩方式，公知有如图1所示的利用了DPCM预测器的第1现有技术。如图1所示，在对图像数据110进行压缩的情况下，由预测器(DPCM)210根据对象像素的前一行和前像素值对预测对象像素的电平值进行预测，由量化器310将与实际像素电平值的预测误差变换为代表值来进行量化，并通过可变长度编码器410进行传送，该可变长度编码器410分配与出现频度对应的码。在这种方式中，由于以像素为单位进行量化、编码，因此无论高频和低频都能够进行应用。但是，由于是根据前一行的值来计算预测值，因此，当在某个时刻产生预测误差的情况下，误差在接下来的预测时被直接利用，作为结果，预测误差被传播，存在沿着行产生画质劣化的问题。

例如，在量化器310所利用的量化表是将预测误差的电平值为-4～4的预测误差设为量化预测误差0的量化表(即，量化幅度比较粗略的量化表)的情况下，即使在预测器210所执行的某个预测处理中产生了-4～4的电平值的预测误差，也会将量化预测误差视为0。因此，无法将产生预测误差这一信息加入到量化结果中，作为结果，预测误差原样地持续残留下来。当产生这种预测误差的传播时，在作为处理结果而输出的图像中，产生原本应该不存在的行方向的线，从而导致画质的劣化。

并且，作为以往的图像数据压缩方式，公知有如图2所示的利用JPEG(Joint Photographic Experts Group：联合图像专家组)、MPEG(MovingPicture Experts Group：运动图像专家组)来进行数据压缩的第2现有技术。作为属于该第2现有技术的专利文献，可以举出下述的专利文献1和2。如图2所示，第2现有技术使输入图像120模块(通常为8＊8)化130，对模块图像实施DCT220，对DCT系数进行量化320，并进行分配与出现频度对应的码的可变长度编码420，之后进行传送。这里，所谓DCT(Discrete Cosine Transfer：离散余弦变换)变换是指对图像数据进行频率变换的方法。由于人的眼睛对低频率成分(图像中的平坦部分)敏感，因此，通过对与低频有关的DCT系数进行精细的量化，对与高频有关的DCT系数进行粗略的量化，可以利用较高的压缩率来对自然图像进行压缩，以使画质劣化不明显。但是，虽然这对于用于对人的眼睛易于检测的低频率成分进行精细的量化的自然图像的压缩来说没有问题，但是对于地图图像(CG图像)中的线、文字这样的高频成分而言，画质劣化明显。而且，由于是对压缩对象模块进行边缘信息提取230，因此存在无法发现由量化误差引起的画质劣化，从而无法进行修改、反馈的问题。

另外，作为以往的图像数据压缩方式，还公知有未图示的利用了JPEG-LS(Lossless：无损)的第3现有技术。该第3现有技术利用MED(Median Edge Detector：中间边缘检测器)预测器来进行电平值预测，并对其预测误差进行直接编码。在该第3现有技术中，由于不进行量化，因此不产生画质劣化。但是，存在编码时需要进行必要的计算处理等各种处理繁重，从而不适合于实时压缩的问题。

专利文献1：日本特开平10-126777号公报

专利文献2：日本特开平6-350992号公报

当利用上述第1现有技术即DPCM来简单地进行量化时，存在有时行方向的量化误差进行传播的课题。并且，关于上述第2现有技术即JPEG、MPEG这样的利用DCT进行变换编码的技术，其针对CG图像的画质劣化明显这一课题而进一步进行了自适应量化，但是由于该技术是对压缩对象模块进行边缘提取，因此存在无法发现由量化误差引起的画质劣化，从而无法实施修改、反馈的课题。而且，关于上述第3现有技术即JPEG-LS，虽然其不进行量化而不会产生画质劣化，但是由于各处理繁重，因此存在不适合于实时处理的课题。

发明内容

为了解决上述这样的课题，本发明的目的在于，提供通过考虑周边像素和行间的预测电平值的连续性来对量化表进行切换，从而抑制由于量化误差的原因所产生的行间的画质劣化的图像压缩装置、压缩方法和用于进行该压缩的程序、以及对压缩图像数据进行恢复的图像恢复装置、恢复方法和用于进行该恢复的程序。

本发明的图像压缩装置具有预测压缩对象像素的像素电平值的预测器，在该图像压缩装置中，具有特定像素电平差评价单元，其在压缩图像数据时，对特定像素间的电平差的同一性进行评价，向量化表切换单元发送控制信号，其中，所述特定像素是与压缩对象像素所属的行和其之前的行相关的、所述压缩完成的像素中的像素，并且，该图像压缩装置具有绝对值和评价单元，该绝对值和评价单元对所述压缩对象像素的周边像素的电平差的绝对值之和进行评价，向量化表切换单元发送控制信号。而且，量化表切换单元根据从所述特定像素电平差评价单元或所述绝对值和评价单元中的任意一个输出的控制信号来指示量化表的切换，选择具有不同量化阶梯的多个量化表中的任意一个，来进行量化。

由此，以像素为单位来对在量化过程中是否产生画质劣化进行评价，并立刻反馈到下一个像素的量化、编码中，从而能够在产生画质劣化的情况下瞬时(以几个像素为单位)进行校正。

并且，在产生了量化误差的情况下，大多情况是在行间产生对应于量化阶梯的相同的电平差，因此，在对相同值的电平差进行评价并判断为量化误差进行了传播的情况下，立刻进行反馈以进行精细的量化，由此能够防止从边缘附近向CG图像这样的电平差完全相同的平面产生的预测误差的传播。

并且，通过计算电平差的绝对值之和来作为前一行和当前处理对象的行的像素的活性度，由此使量化阶梯变得粗略，或者使量化阶梯变得精细，从而能够在防止画质劣化的同时提高压缩效率。

并且，本发明的图像压缩方法和用于压缩本发明的图像的程序是在具有预测压缩对象像素的像素电平值的预测器的图像压缩装置中执行的方法和程序，包括以下步骤：在压缩图像数据时，保持存在于所述压缩对象像素所属的行和其之前的行的、压缩完成的像素的电平值；以下2个步骤中的至少任意一个步骤：一个步骤是，基于所述压缩完成的像素的电平值，根据所述2行间的特定像素间的电平差中相同的值以哪种方式出现来判断有无量化误差，并生成指示对量化器中所使用的量化表进行切换的控制信号，另一个步骤是，计算所述压缩对象像素的周边像素的电平差的绝对值之和，根据周边像素的电平差之和的大小来判断所述压缩对象像素是平坦图像还是活性度高的图像，并生成指示对所述量化器中所使用的量化表进行切换的控制信号；以及根据所述控制信号来指示所述量化表的切换，根据该指示，选择具有不同量化阶梯的多个量化表中的任意一个，来进行量化。

由此，以像素为单位来对在量化过程中是否产生画质劣化进行评价，并立刻反馈到下一个像素的量化、编码中，从而能够在产生画质劣化的情况下瞬时(以几个像素为单位)进行校正。

并且，在产生了量化误差的情况下，大多情况是在行间产生对应于量化阶梯的相同的电平差，因此，在对相同值的电平差进行评价并判断为量化误差进行了传播的情况下，立刻进行反馈以进行精细的量化，由此能够防止从边缘附近向CG图像这样的电平差完全相同的平面产生的预测误差的传播。

并且，通过计算电平差的绝对值之和来作为前一行和当前处理对象的行的像素的活性度，由此使量化阶梯变得粗略，或者使量化阶梯变得精细，从而能够在防止画质劣化的同时提高压缩效率。

并且，本发明的图像恢复装置和图像恢复方法是利用逆操作来对上述图像压缩装置所压缩的图像数据进行恢复，因此，以像素为单位来对在逆量化过程中是否产生画质劣化进行评价，并立刻反馈到下一个像素的逆量化、解码中，从而能够在产生画质劣化的情况下瞬时(以几个像素为单位)进行校正。

并且，在产生了量化误差的情况下，大多情况是在行间产生对应于量化阶梯的相同的电平差，因此，在对相同值的电平差进行评价并判断为量化误差进行了传播的情况下，立刻进行反馈以进行精细的逆量化，由此能够防止从边缘附近向CG图像这样的电平差完全相同的平面产生的预测误差的传播。

并且，通过计算电平差的绝对值之和来作为前一行和当前处理对象的行的像素的活性度，由此使量化阶梯变得粗略，或者使量化阶梯变得精细，从而能够在防止画质劣化的同时提高和恢复效率。

并且，本发明的进行图像数据的恢复的程序进行与基于上述进行图像数据的压缩的程序的操作相反的操作，因此与上述进行图像数据的压缩的程序同样，不仅能够高速地进行特定像素电平差评价处理或绝对值和评价处理，而且能够高速地进行逆量化表的切换处理。

附图说明

图1是示出利用了DPCM预测器的第1现有技术的概要的图。

图2是示出利用JPEG、MPEG来进行数据压缩的第2现有技术的概要的图。

图3是示出本发明的原理结构所涉及的图像压缩方式的动作流程图。

图4是示出本发明实施方式所涉及的图像数据的压缩(编码)装置的结构的框图。

图5是示出本发明实施方式所涉及的各种图像格式中的压缩对象像素与周边像素的配置关系的图。

图6A是表示针对预测误差(X—X’)的量化值和量化编号的对应关系的量化表，是由精细的量化阶梯构成的第1量化表。

图6B是表示针对预测误差(X—X’)的量化值和量化编号的对应关系的量化表，是由普通的量化阶梯构成的第2量化表。

图6C是表示针对预测误差(X—X’)的量化值和量化编号的对应关系的量化表，是由粗略的量化阶梯构成的第3量化表。

图7是说明图4所示的连续性评价结果反馈模块的动作的流程图。

图8是说明图4所示的周边电平差决定模块的动作的流程图。

图9A是用于说明本发明实施方式所涉及的图像数据的压缩(编码)装置的动作的流程图。

图9B是说明图9A中的步骤S008中的“局部解码”的处理的流程图。

图10是示出本发明实施方式所涉及的图像数据的压缩装置的系统结构的功能框图。

图11是示出本发明实施方式所涉及的图像数据的恢复(解码)装置的结构的框图。

图12A是表示量化预测误差与设置在逆量化器上的上述量化编号的对应关系的逆量化表，是由精细的量化阶梯构成的第1逆量化表。

图12B是表示量化预测误差与设置在逆量化器上的上述量化编号的对应关系的逆量化表，是由普通的量化阶梯构成的第2逆量化表。

图12C是表示量化预测误差与设置在逆量化器033上的上述量化编号的对应关系的逆量化表，是由粗略的量化阶梯构成的第3逆量化表。

图13是说明图11所示的连续性评价结果反馈模块的动作的流程图。

图14是说明图11所示的周边电平差决定模块的动作的流程图。

图15A是用于说明本发明实施方式所涉及的图像数据的恢复(解码)装置的动作的图。

图15B是说明图15A中的步骤S028中的“局部解码”的处理的流程图。

图16是示出本发明实施方式所涉及的图像数据的恢复装置的系统结构的功能框图。

具体实施方式

以下，参照附图，说明本发明的实施方式。

图3是本发明的原理结构所涉及的图像压缩方式的动作流程图。图3所示的本发明的原理结构中的图像压缩过程与上述第1现有技术的结构的主要的不同点在于：具有自适应量化器300，在由量化器对预测对象像素X的电平值与预测器200所预测的预测值X’之间的预测误差进行量化的情况下，自适应量化器300根据行间的关注像素的电平值的连续性或者周边像素的电平差测量，自适应地选择量化阶梯不同的量化表。然后，根据自适应地选择的量化表来进行量化，经由可变长度编码器400而传送，该可变长度编码器400分配与出现频度对应的码。

图4是示出本发明实施方式所涉及的图像数据的压缩(编码)装置的结构的框图。在图4中，图像数据001表示作为压缩对象的像素的集合，由利用数字方式对图像进行处理的图像处理装置(未图示)来提取该图像数据001。此外，压缩对象像素X(002)表示在当前步骤中作为压缩对象的像素。图5是示出图像格式为交织图像或者渐进图像时的压缩对象像素X与周边像素(行间像素和前一个像素)的配置关系的图。另外，在图5中利用虚线来表示行。

量化器003按照根据来自量化表切换模块017的控制信号而选择的量化表，来对压缩对象像素X(002)与预测值X’(006)之间的差分值即“预测误差”进行量化，该量化表切换模块017根据行间的关注像素(在本例中为像素A、B)的电平值的连续性、周边像素的电平差测量(在本例中为周边像素的电平差的绝对值之和)来选择量化阶梯不同的量化表，该量化器003将预测误差(X—X’)作为输入，输出预测误差量化值(也简单地称为量化值)和量化编号。

图6A是表示针对预测误差(X—X’)的量化值和量化编号的对应关系的量化表，是由精细的量化阶梯构成的第1量化表。图6B是表示针对预测误差(X—X’)的量化值和量化编号的对应关系的量化表，是由普通的量化阶梯构成的第2量化表。图6C是表示针对预测误差(X—X’)的量化值和量化编号的对应关系的量化表，是由粗略的量化阶梯构成的第3量化表。

期望预测误差的绝对值越小，上述量化阶梯的宽度越小，预测误差的绝对值越大，上述量化阶梯的宽度越大。这是因为，存在一般预测误差小的情况是容易预测正确的平坦图像、相反预测误差大的情况则具有容易预测错误的边缘附近的倾向，当平坦部分中存在误差时，人的眼睛易于检测到该误差，因此通过在预测误差小的情况下缩小阶梯宽度，来减小量化误差。期望最小阶梯宽度是1～4左右。

另一方面，在预测误差大的情况下，扩大量化的阶梯宽度以提高压缩效率。期望该阶梯宽度是24～32。基本上，预测误差大的情况的出现频度较少，从而即使在边缘附近的部分的预测误差较大也没有在平坦部分存在误差的情况明显，因此即使扩大阶梯宽度也不易引起问题。这样，通过扩大阶梯宽度来提高压缩效率，相反地对平坦部分进行更精细的量化。

例如，在图6A所示的精细阶梯的第1量化表中，预测误差的绝对值最小设定为0，最大设定为11以上。并且，在图6B所示的普通阶梯的第2量化表中，预测误差的绝对值最小设定为2，最大设定为21以上。并且，在图6C所示的粗略阶梯的第3量化表中，预测误差的绝对值最小设定为4，最大设定为41以上。

另外，关于图6A、图6B、图6C所示的量化值与量化编号的对应关系，在压缩侧、恢复侧需要成为相同的对应。因此，与图6A、图6B、图6C对应地，在恢复侧具有表示量化值和量化编号的对应关系的逆量化表(参照图12A、图12B、图12C)。后面将对此进行叙述。并且，在上述说明中，示出了作为量化表的3个例子，然而不限于此，只要量化阶梯宽度不同的量化表为2个以上即可。

并且，当对边缘较多且复杂的图案进行压缩时存在达不到规定的压缩率的情况，因此，也可以进行自适应量化，该自适应量化具有量化阶梯宽度不同的多个量化表，并在将要超过规定的压缩率的情况下选择阶梯宽度整体上比较粗率的量化表。

可变长度编码器004将从图6A、图6B、图6C中的任意一个量化表中得到的量化编号作为输入，输出可变长度码。压缩码缓冲器005是蓄积可变长度编码器004的输出的缓冲器。预测值006是由预测器018计算出的预测值。

如图5所示，周边像素A(007)是压缩对象像素X的左边的像素。预测用1行缓冲器008是大致保持1行预测用量化结果的缓冲器，例如由移位寄存器构成。

并且，周边像素D(009)是压缩对象像素X的右上方的像素，即，是之前所处理的1行中靠后1列的像素。周边像素C(010)是压缩对象像素X的上方的像素，即，是之前所处理的1行中相同列的像素。周边像素B(011)是压缩对象像素X的左上方的像素，即，是之前所处理的1行中靠前1列的像素。周边像素E(012)是周边像素B(011)左边的像素，即，是之前所处理的1行中靠前2列的像素。另外，在观察原图像时，对于压缩对象像素X而言，周边像素D、周边像素C、周边像素B以及周边像素E在交织图像的情况下分别相当于2行中的图像，在渐进图像的情况下分别相当于1行中的像素。

然后，连续性评价结果反馈模块013根据周边像素A(007)、B(011)来测量电平差，进行连续性评价，在同一电平差连续了规定次数以上的情况下，输出控制信号014，以使用精细量化表(图6A所示的第1量化表)。

关于利用多少次数来判断连续性评价，由于最好在画质劣化变得明显前切换为精细量化表，因此期望小于图像大小。例如，在横向为720像素这样的图像中，当在横向上产生了长度为6像素的线状图像劣化时，由于易于被人的眼睛所检测到，因此设定为6像素以下的值(在本实施方式中为4像素处理)。

图7是说明图4所示的连续性评价结果反馈模块013的动作的流程图。在图7的步骤S041中，对电平差B—A与上一个电平差进行比较。在步骤S042中，判定电平差B—A与上一个电平差是否相同。如果不同，则在步骤S043中，将同一值连续计数器设置为1并进入到步骤S045。而如果相同，则进入到步骤S044，在步骤S044中，对同一值连续计数器加1。

在步骤S045中，判定同一值连续计数器是否为4以上。在计数器的值为4以上时，进入到步骤S046，在步骤S046中，发送表示精细量化阶梯的量化表的控制信号“000”而结束处理。在S045中，计数器的值为4以上的情况是相同值的电平值连续了规定次数以上、并且怀疑预测误差正在进行传播的状态，因此在该处理中，通过切换为更加精细的量化阶梯的量化表，能够更精细地对预测电平值的误差进行检测。因此，在实际上产生了预测误差的传播的情况下，由该处理来对量化表进行切换，从而能够使预测误差不进一步进行传播。

另外，即使在预测误差没有传播，而是作为处理对象的图像实际上就是相同电平值连续的图像的情况下，切换为精细量化表不会产生任何问题。

并且，如果计数器的值不是4以上，则进入到步骤S047，在步骤S047中，把控制移交给周边电平差检测模块015而结束处理。

如上所述，控制信号014表示指示精细量化阶梯的控制信号“000”，或者表示指示以下情况的控制信号，即：使周边电平差检测模块015动作来决定再次使用哪个量化表。

周边电平差决定模块015计算周边像素的电平差之和的绝对值，并将其与阈值进行比较，由此来决定使用哪个量化表。决定后，发送控制信号016。即，控制信号016发送如下的控制信号。

控制信号000：在使用精细量化阶梯的量化表时发送

控制信号001：在使用普通量化阶梯的量化表时发送

控制信号010：在使用粗略量化阶梯的量化表时发送

图8是说明图4所示的周边电平差决定模块015的动作的流程图。在图8的步骤S051中，计算电平差D—C、电平差C—B、电平差B—A、电平差B—E的各绝对值之和，即Ndsub。在步骤S052中，判定Ndsub是否为15以下。如果Ndsub为15以下，则进入到步骤S053，在步骤S053中，发送表示精细量化阶梯的量化表的控制信号“000”而结束处理。即，在活性度低的图像(平坦的图像)中，即使稍微产生图像劣化也易于被人的眼睛所检测到，因此对于这种活性度低的图像，通过利用精细量化表来进行高精度的编码。

关于以何种值来判定Ndsub，在上述说明中使用了15这一阈值，但是不限于此。一般情况下，当像素电平差在2～4左右时，易于被人的眼睛所检测。这里，由于取4个电平差的绝对和，因此人的眼睛所易于检测的像素电平差的总和在8(即2×4)～16(即4×4)的范围内。上述判定中所使用的阈值用于抑制活性度低的图像(平坦图像)中的误差传播，因此只要在上述8～16的范围内决定阈值(在上述中为15)即可。

并且，如果Ndsub不是15以下，则进入到步骤S054，在步骤S054中，判定Ndsub是否为128以上。如果Ndsub不是128以上，则进入到步骤S055，在步骤S055中，发送表示普通量化阶梯的量化表的控制信号“001”而结束处理。并且，如果Ndsub为128以上，则进入到步骤S056，在步骤S056中，发送表示粗略量化阶梯的量化表的控制信号“010”而结束处理。即，在活性度高的图像(平坦部分少的图像)中，即使产生些许的图像劣化，人的眼睛也很难检测到，因此通过对这种活性度高的图像，利用粗略量化表来进行高速编码。

关于以何种值来判定Ndsub，在上述说明中使用了128这一阈值，但是不限于此。一般情况下，活性度高的图像(平坦部分少的图像)中的量化阶梯宽度被设定为24～32，因此上述4个电平差的绝对和是其的4倍，即96～128的范围。只要在该范围中决定阈值(在上述中为128)，并由此来区分粗略量化阶梯的第3量化表和普通量化阶梯的第2量化表的使用即可。

另外，在本实施方式中，作为控制信号将3比特的控制信号(000)、(001)、(010)对应起来，然而只要是能够指示不同的量化阶梯的量化表，则也可以不是这种形式的控制信号。并且，量化表也不限于上述这样的精细、粗略、普通的量化阶梯的量化表，可以具备通过进一步细分而成的4个以上的量化表，或者可以仅仅具备精细、粗略这2种量化表，只要具备2种以上的量化阶梯宽度不同的量化表即可。

接着，量化表切换模块017根据2个控制信号014、016向量化器003输出用于切换量化表的控制信号。预测器018根据周边像素A(007)、B(011)、C(010)来计算压缩对象像素X的预测值X’。

图9A是用于说明本发明实施方式所涉及的图像数据的压缩(编码)装置的动作的流程图。图9B是说明图9A中的步骤S008中的“局部解码”的处理的流程图。在图9A和图9B中，将步骤简略表示为S。

在进入到对图9A中的步骤的说明前，希望注意到在本例中是以如下情况为前提的，即：在处理结束前对所有图像数据进行循环。

S001：从图像数据001取得压缩对象像素X(002)。

S002：在连续性评价结果反馈模块013中，根据周边像素A(007)、B(011)来测量电平差，进行连续性的评价，在同一电平差连续了规定次数以上的情况下，向量化表切换模块017输出使用精细量化表的控制信号014。在并非如此的情况下，进入到S003。

S003：在周边电平差检测模块015中，检测周边电平差的绝对值之和，对周边电平差的绝对值之和进行评价，向量化表切换模块017输出决定量化表的控制信号016。

S004：在预测器018中计算压缩对象像素X(002)的预测值X’(006)。

S005：从压缩对象像素X(002)中减去预测值X’(006)。

S006：向由量化表切换模块017决定的量化表中输入预测误差，计算预测误差量化值(参照图6A～图6C)。

S007：可变长度编码器004根据量化编号来生成码。该码可以是Golomb码也可以是算术码。

S008：为了对下一个像素进行压缩，对周边像素A(007)、B(011)、C(010)和预测用行缓冲器008进行更新(局部解码)。

S009：代入周边像素B(011)作为下一个压缩对象像素的周边像素E(012)。

S010：代入周边像素C(010)作为下一个压缩对象像素的周边像素B(011)。

S011：代入周边像素D(009)作为下一个压缩对象像素的周边像素C(010)。

S012：从预测用1行缓冲器008中取得下一个压缩对象像素的周边像素D(009)。

S013：将周边像素A(007)代入预测用1行缓冲器008。

S014：将量化值与预测值相加，作为下一个压缩对象像素的周边像素A(007)而代入。

图10是示出本发明实施方式所涉及的图像数据的压缩装置的系统结构的功能框图，是将上面所说明的内容功能化而用模块来表示的图。在图10中，本发明实施方式所涉及的图像数据的压缩装置向压缩处理部110输入要进行压缩处理的图像数据102，在压缩处理部110中，首先通过读入部111按照每行读入所输入的图像数据102来提取压缩对象像素，然后将提取出的压缩对象像素输出到预测处理部112。

在预测处理部112中，从该压缩对象像素电平中减去预测器所预测的该压缩对象像素的预测值来计算预测误差，另一方面，评价部113的相当于图4的连续性评价结果反馈模块013的连续性评价部114对该压缩对象像素所涉及的2个特定周边像素的电平差是否连续进行评价，在同一电平差连续了规定次数以上的情况下，生成用于使用例如图6A所示的精细量化表119的控制信号。并且，评价部113的相当于图4的周边电平差检测模块015的周边评价部115对包含计算该压缩对象像素的预测值的像素的周边像素的、每2个周边像素的电平差的绝对值之和进行检测，并且参照将电平差和应该利用的量化表的信息对应起来进行管理的电平差表116，来对周边电平差的绝对值之和进行评价，向切换处理部117分别输入要使用哪个电平的量化表119的控制信号。

在相当于量化表切换模块017的切换处理部117中，根据所输入的控制信号向量化处理部118指示量化表119的切换，在量化处理部118中，对量化表119进行切换，并使用切换后的量化表119来计算预测误差量化值，作为量化处理部118的输出，其输入到相当于可变长度编码器004的编码处理部120中，在编码处理部120中，根据所输入的预测误差量化值生成压缩码，将所生成的压缩码作为压缩处理部110的输出进行蓄积，从而得到压缩数据104。

上述图10所示的图像数据的压缩装置中的处理当然也能够在计算机上来实现。作为该情况下的计算机的硬件资源，虽然未图示，但是可以使用各种寄存器、包含ALU的运算装置、RAM、ROM以及I/O等。并且，能够使上述各模块、预测器、包含量化表的量化器以及编码器等单芯片LSI化，从而可以作为图像数据的压缩装置利用于对上述特性不同的2种图像数据进行处理的各种应用中。

根据这样的本发明的图像压缩装置，利用保持1行已经量化的像素电平值的预测用缓冲器，由此以像素为单位进行量化和编码，同时以像素为单位对在量化过程中是否产生了画质劣化进行评价，并立刻反馈(执行量化表的切换)到下一个像素的量化和编码中。在产生基于量化误差的画质劣化的情况下，将量化表切换为阶梯宽度精细的量化表来进行量化，这样，由于消除(或者减少)了量化误差，因此能够在产生画质劣化的情况下瞬时(以几个像素为单位)进行校正。

在产生了量化误差的情况下，大多情况是在行间产生对应于量化阶梯的相同的电平差。因此，在对相同值的电平差进行评价并判断为量化误差进行了传播的情况下，切换量化表进行精细的量化，由此能够防止预测误差的传播，所述预测误差导致如下情况：例如原本是图像上不存在的行，但从边缘附近产生行。

并且，在记录在DVD中的电影这样的自然图像中，在电平差的变动不是很大的平坦图像(人的皮肤等)中产生画质劣化时，易于被观察到，另一方面，即使在活性度高的图像中产生画质劣化也难以被观察到。因此，通过计算电平差的绝对值之和来作为前一行和当前行的像素的活性度，由此使量化阶梯变得粗略，或者使量化阶梯变得精细，从而能够在防止画质劣化的同时提高压缩效率。

并且，根据本发明的图像压缩装置，利用计数器这样的简易装置来检测特定像素中的同一电平差是否连续出现，从而只要在同一电平差连续出现规定次数以上(例如4次)时进行控制来选择进行精细量化的量化表，即可在行方向产生长的画质劣化前进行校正。

并且，根据本发明的图像压缩装置，利用保持1行的像素电平值的预测用缓冲器来计算压缩对象像素的周边像素的电平差的绝对值之和，并根据该值向量化表切换模块发送表示要使用哪个量化表的控制信号，因此能够根据压缩对象像素周边的活性度(周边像素的像素电平差)立刻对量化器实施反馈。

而且，根据本发明的图像压缩装置，利用对量化表进行切换的控制信号来实施量化表的切换，因此能够利用像素电平差的连续性和压缩对象像素周边的活性度来灵活运用量化的精细度彼此不同的3种量化表，即精细量化表、普通量化表和粗略量化表。并且很明显，在进行更精细的控制的情况下，即使量化表不是3种而是更多种，也能够获得相同的效果。

另外，在本发明的图像压缩装置中，在作为处理对象的图像为渐进图像的情况下以帧为单位，为交织图像的情况下以场为单位，将按照从画面的上部向下部的顺序呈流状流动的图像数据作为处理对象。并且，压缩编码后的压缩数据依据本装置所连接的传送路径的传送协议，按照一定的大小形成分组来进行转送。

图11是本发明实施方式所涉及的图像数据的恢复(解码)装置的结构的框图。在图11中，压缩码031表示在上述图4中经可变长度编码的图像数据的压缩码。并且解码器032将经可变长度编码的图像数据被压缩的码作为输入，而输出与该码对应的量化编号。逆量化器033将量化编号作为输入，而输出预测误差量化值X(034)。

图12A是表示量化值(预测误差量化值)与设置在逆量化器033上的上述量化编号的对应关系的逆量化表，是由精细的量化阶梯构成的第1逆量化表。图12B是表示量化值(预测误差量化值)与设置在逆量化器033上的上述量化编号的对应关系的逆量化表，是由普通的量化阶梯构成的第2逆量化表。图12C是表示量化值(预测误差量化值)与设置在逆量化器033上的上述量化编号的对应关系的逆量化表，是由粗略的量化阶梯构成的第3逆量化表。另外，关于图12A、图12B、图12C所示的量化值与量化编号的对应关系，在恢复侧、压缩侧需要成为相同的对应。因此，与图12A、图12B、图12C对应地，在压缩侧具有表示量化值和量化编号的对应关系的量化表(参照图6A、图6B、图6C)。并且，在上述说明中，示出了作为逆量化器的3个例子，然而不限于此，只要为2个以上即可。

图像格式是交织图像或者渐进图像时的恢复对象像素X与周边像素(行间和前一个像素)的配置关系与图5所示的压缩对象像素X与周边像素(行间和前一个像素)的配置关系相同。但是，将图5中的压缩对象像素替换为恢复对象像素。

将预测误差量化值X(034)与由预测器048计算出的预测值X’(036)相加而得到恢复图像数据035，并且该恢复图像数据035还成为了下一个恢复对象像素的周边像素A(037)。

像图5所示的周边像素A那样，周边像素A(037)是恢复对象像素的左边的像素。预测用1行缓冲器038是大致保持1行预测用的量化结果的缓冲器，例如由移位寄存器构成。像图5所示的周边像素D、C、B、E那样，周边像素D(039)是恢复对象像素的右上方(前行)的像素，周边像素C(040)是恢复对象像素的上方(前行)的像素，周边像素B(041)是恢复对象像素的左上方(前行)的像素，周边像素E(042)是周边像素B(041)左边的前行中的像素。

连续性评价结果反馈模块043根据周边像素A(037)、B(041)来测量电平差，进行连续性评价，在同一电平差连续了规定次数以上的情况下，输出控制信号044，以使用精细量化表(图12A所示的第1逆量化表)。

与压缩时同样地，关于利用多少次数来判断连续性评价，由于最好在画质劣化变得明显前切换为精细逆量化表，因此期望小于图像大小。例如，在横向为720像素的这样的图像中，当在横向上产生了长度为6像素的线状画质劣化时，由于易于被人的眼睛所检测到，因此设定为6像素以下的值(在本实施方式中为4像素处理)。

图13是说明图11所示的连续性评价结果反馈模块043的动作的流程图。在图13的步骤S061中，对电平差B—A与上一个电平差进行比较。在步骤S062中，判定为电平差B—A与上一个电平差是否相同。如果不同，则在步骤S063中，将同一值连续计数器设置为1并进入到步骤S065。而如果相同，则进入到步骤S064，在步骤S064中，对同一值连续计数器加1。在步骤S065中，判定同一值连续计数器是否为4以上。在计数器的值为4以上时，进入到步骤S066，在步骤S066中，发送表示精细量化阶梯的逆量化表的控制信号“000”而结束处理。并且，如果计数器的值不是4以上，则进入到步骤S067，在步骤S067中，把控制移交给周边电平差检测模块045而结束处理。

如上所述，控制信号044表示指示精细量化阶梯的控制信号“000”，或者表示指示以下情况的控制信号，即：使周边电平差检测模块045动作来决定再次使用哪个逆量化表。

周边电平差决定模块045计算周边像素的电平差之和的绝对值，并将其与阈值进行比较，由此来决定要使用哪个逆量化表。决定后，发送控制信号046。即，控制信号046发送如下的控制信号。

控制信号000：在使用精细量化阶梯的逆量化表时发送

控制信号001：在使用普通量化阶梯的逆量化表时发送

控制信号010：在使用粗略量化阶梯的逆量化表时发送

图14是说明图11所示的周边电平差决定模块045的动作的流程图。在图14的步骤S071中，计算电平差D—C、电平差C—B、电平差B—A、电平差B—E的各绝对值之和，即Ndsub。在步骤S072中，判定Ndsub是否为15以下。如果Ndsub为15以下，则进入到步骤S073，在步骤S073中，发送表示精细量化阶梯的逆量化表的控制信号“000”而结束处理。

并且，如果Ndsub不是15以下，则进入到步骤S074，在步骤S074中，判定Ndsub是否为128以上。如果Ndsub不是128以上，则进入到步骤S075，在步骤S075中，发送表示普通量化阶梯的逆量化表的控制信号“001”而结束处理。并且，如果Ndsub为128以上，则进入到步骤S076，在步骤S076中，发送表示粗略量化阶梯的逆量化表的控制信号“010”而结束处理。关于将判定Ndsub的阈值设定为哪个值，对于不限于15和128这些值的情况，以及期望使用哪个范围的值，与对压缩处理的上述说明相同。

另外，在本实施方式中，作为控制信号将3比特的控制信号(000)、(001)、(010)对应起来，然而只要是能够指示不同的量化阶梯的逆量化表，则也可以不是这种形式的控制信号。并且，逆量化表也不限于上述这样的精细、粗略、普通的量化阶梯的逆量化表，可以具备通过进一步细分而成的4个以上的逆量化表，或者可以仅仅具备精细、粗略这2种逆量化表，只要与上述图像数据压缩装置侧的量化表对应地而具备2种以上的逆量化表即可。

接着，量化表切换模块047根据2个控制信号044、046向逆量化器033输出用于切换逆量化表的控制信号。预测器048根据周边像素A(037)、B(041)、C(040)来计算恢复对象像素X的预测值X’。

图15A是用于说明本发明实施方式所涉及的图像数据的恢复(解码)装置的动作的流程图。图15B是说明图15A中的步骤S028中的“局部解码”的处理的流程图。在图15A和图15B中，将步骤简略表示为S。

在进入到对图15A中的步骤的说明前，希望注意到在本例中是以如下情况为前提的，即：在处理结束前对所有图像数据进行循环。

S021：向解码器032输入码数据031，输出量化编号。

S022：在连续性评价结果反馈模块043中，根据周边像素A(037)、B(041)来测量电平差，进行连续性的评价，在同一电平差连续了规定次数以上的情况下，向量化表切换模块047输出要使用精细量化表的控制信号044。在并非如此的情况下，进入到S023。

S023：在周边电平差检测模块045中，检测周边电平差的绝对值之和，对周边电平差的绝对值之和进行评价，向量化表切换模块047输出决定逆量化表的控制信号046。

S024：在预测器048中计算恢复对象像素的预测值X’。

S025：向由量化表切换模块047决定的逆量化表中输入量化编号，计算预测误差量化值。

S026：将预测值与预测误差量化值相加。

S027：将S026的相加结果作为恢复图像数据。

S028：为了对下一个像素进行恢复，对周边像素A(037)、B(041)、C(040)和预测用1行缓冲器038进行更新(局部解码)。

S029：代入周边像素B(041)作为下一个恢复对象像素的周边像素E(042)。

S030：代入周边像素C(040)作为下一个恢复对象像素的周边像素B(041)。

S031：代入周边像素D(039)作为下一个恢复对象像素的周边像素C(040)。

S032：从预测用1行缓冲器038中取得下一个恢复对象像素的周边像素D(039)。

S033：将周边像素A(037)代入预测用1行缓冲器038。

S034：将预测误差量化值与预测值相加，作为下一个恢复对象像素的周边像素A(037)而代入。

图16是示出本发明实施方式所涉及的图像数据的恢复装置的系统结构的功能框图，是将上面所说明的内容功能化而用模块来表示的图。在图16中，本发明实施方式所涉及的图像数据的恢复装置向恢复处理部210输入上述图像数据的压缩装置的输出即压缩数据202，在恢复处理部210中，首先将所输入的图像数据202输入到相当于图11的解码器032的解码处理部211，从解码处理部211获得量化编号，并向相当于逆量化器033的逆量化处理部212输入该量化编号。

评价部212的相当于图11的连续性评价结果反馈模块043的连续性评价部213对恢复对象像素所涉及的2个特定周边像素的电平差是否连续进行评价，在同一电平差连续了规定次数以上的情况下，生成用于使用精细逆量化表218的控制信号。并且，评价部212的相当于周边电平差检测模块045的周边评价部214对包含计算恢复对象像素的预测值的像素的周边像素的、每2个周边像素的电平差的绝对值之和进行检测，并且参照将电平差和应该利用的量化表的信息对应起来进行管理的电平差表215，来对周边电平差的绝对值之和进行评价，向切换处理部216分别输入使用哪个电平的逆量化表218的控制信号。

在相当于量化表切换模块047的切换处理部216中，根据所输入的控制信号向逆量化处理部217指示逆量化表218的切换，在逆量化处理部217中，对逆量化表218进行切换，并使用切换后的量化表218来计算预测误差量化值，并将其输入到预测处理部219。在预测处理部219中，将预测器所预测的恢复对象像素的预测值与使用切换后的量化表218计算出的预测误差量化值相加，得到恢复像素值，对该恢复像素值进行蓄积，从而得到恢复(图像)数据204。

上述图16所示的图像数据的恢复装置中的处理当然也能够在计算机上来实现。作为该情况下的计算机的硬件资源，虽然未图示，但是可以使用各种寄存器、包含ALU的运算装置、RAM、ROM以及I/O等。并且，能够使上述各模块、预测器、包含逆量化表的逆量化器以及解码器等单芯片LSI化，从而可以作为图像数据的恢复装置利用于对上述特性不同的2种图像数据进行处理的各种应用中。

如上所述，与压缩侧相同，在恢复侧也能够对逆量化表进行切换，从而可以对图像数据进行恢复。

产业上的可利用性

本发明的图像数据压缩装置和图像数据恢复装置能够通过单芯片LSI而搭载在所期望的应用设备中，例如，考虑应用于包括汽车导航在内的车内影像数据传送系统和各种娱乐(游戏、动画)设备。作为一例，在车内影像数据传送系统中，希望在后侧也设置显示器，从而能够欣赏到与前侧不同的影像。因此，对由安装在前侧的影像数据处理装置所处理的图像数据进行压缩并向后侧传送，而在后侧通过对其进行恢复来显示图像数据。在对图像数据进行中继的情况下，在中继点反复进行压缩、恢复。