图像信号编码装置和编码方法及图像信号解码装置和解码方法以及记录媒体

摘要

本发明揭示一种图像信号编码装置和图像信号编码方法及图像信号解码装置和图像信号解码方法以及记录媒体。在构成由HD图像进行间抽得到的SD图像的SD象素(在图18中用于“O”表示)的附近、设定作为假想的象素的假想象素(在图18中用于“◎”表示),并由HD象素值求得该象素值,再配置假想象素的象素值的一部分代替SD象素的象素值的一部分。并且,以SD象素中的1个作为注目象素,由其周围的SD象素和假想象素形成预测抽头,借助于预测抽头和规定的预测系数的线性组合,进行求得HD图像的预测值的自适应处理。此外,算出由自适应处理求得的预测值的、对于HD图像的预测误差,并对应于预测误差,校正注目象素的象素值。因此,不会降低编码效率,能得到更加接近于原图像的解码图像。

说明书

技术领域

本发明涉及图像信号编码装置、图像信号编码方法、图像信号解码装置、图像信号解码方法以及记录媒体。特别涉及为了能得到与原图像几乎相同的解码图像而对图像进行间抽并进行压缩编码的图像信号编码装置、图像信号编码方法、图像信号解码装置、图像信号解码方法以及记录媒体。

背景技术

例如，在将标准清晰度或者低清晰度的图像(下面，称为SD图像)变换成高清晰度的图像(下面，称为HD图像)，或者对图像进行放大的场合，利用所谓的插入滤波器等进行不足的象素的象素值的插入(补偿)。

但是，即使利用插入滤波器进行象素的插入，也因不能恢复不包含在SD图像中的HD图像的成分(高频成分)，所以难于得到高清晰度的图像。

因此，本申请人先前建议有将SD图像变换成也包含有SD图像中不包含的高频成分的HD图像的图像变换装置(图像变换电路)。

在这种图像变换装置中，利用SD图像和规定的预测系数的线性组合，进行求出HD图像的象素的预测值的自适应处理，恢复在SD图像中不包含的高频成分。

具体地说，例如现在考虑利用由若干个SD象素(构成SD图像的象素)的象素值(下面称为学习数据)x1,x2,…和规定的预测系数w1,w2,…的线性组合所确定的线性1次组合模式，求得构成HD图像的象素(下面称为HD象素)的象素值y的预测值E[y]。这种场合，预测值E[y]能用式(1)表示。

E[y]=w1x1+w2x2+…                            (1)

这里，为一般化起见，若用式(2)定义由预测系数w的集合形成的矩阵W，用式(3)定义由学习数据的集合形成的矩阵X，用式(4)定义由预测值E[y]的集合形成的矩阵Y’，则成立式(5)那样的观察方程式。 $>>X>=>\begin{array}{}>>>>X>11>>>>>X>12>>>>.>.>.>>>>X>>1>n>>>>>>>>X>21>>>>>X>22>>>>.>.>.>>>>X>>2>n>>>>>>>.>.>.>>>.>.>.>>>.>.>.>>>.>.>.>>>>>>X>>m>1>>>>>>X>>m>2>>>>>.>.>.>>>>X>mn>>>>>>>>> (2)$ >>W>=>\begin{array}{}>>>>W>1>>>>>>>W>2>>>>>>.>.>.>>>>>>W>n>>>>>>>> (3)$ >>Y>\prime >=>\begin{array}{}>>>E>[>>y>1>>]>>>>>E>[>>y>2>>]>>>>>.>.>.>>>>>E>[>>y>m>>]>>>>>>> (4)\end{array}$\end{array}$\end{array}$

XW=Y＇                         (5)

并且，考虑将最小二乘法用于这种观察方程式，求得接近于HD象素的象素值y的预测值E[y]。这种场合，若用式(6)定义由成为教师数据的HD象素的真正象素值y的集合形成的矩阵Y，用式(7)定义由对于HD象素的象素值y的预测值E[y]的残差e的集合形成的矩阵E， $>>Y>=>\begin{array}{}>>>>y>1>>>>>>>y>2>>>>>>.>.>.>>>>>>y>m>>>>>>>> (6)$ >>E>=>\begin{array}{}>>>>e>1>>>>>>>>>>>e>2>>>>>>>>>>·>>>·>>>·>>>>>>e>m>>>>>>>>>>->->->->->->->->->->->->->>(>7>)>>>>\end{array}$\end{array}$

则根据式(5)、成立式(8)那样的残差方程式。

XW=Y+E                  (8)

这种场合，用于求得接近于HD象素的象素值y的预测值E[y]的预测系数w能通过使式(9)所示的平方误差为最小来求得。 $>>>\Sigma >>i>=>1>>m>sup>>e>i>2sup>>->->->->->->->->->->->->->->->->->->->>(>9>)>>>>$

因此，在前述式(9)所示的平方误差对预测系数wi进行微分后成为0的场合，即满足式(10)的预测系数wi，成为用于求得接近HD象素的象素值y的预测值E[y]的最优值。 $>>>e>1>>>>\partial >>>e>1>>>>\partial >>>w>i>>>>+>>e>2>>>>\partial >>>e>2>>>>\partial >>>w>i>>>>+>·>·>·>+>>e>n>>>>\partial >>>e>n>>>>\partial >>>w>i>>>>=>0>>(>i>=>1>,>2>,>·>·>·>,>n>)>>->->->->>(>10>)>>>>$

因此，首先用预测系数wi对式(8)进行微分，则式(11)成立。 $>>>>>\partial >>e>i>>>>\partial >>>w>1>>>>=>>X>>i>1>,>>>>>\partial >>>e>i>>>>\partial >>>w>2>>>>=>>X>>i>2>>>,>·>·>·>,>>>e>i>>>>\partial >>w>n>>>>=>>X>in>>>(>i>=>1>,>2>,>·>·>·>,>m>)>>->->->>(>11>)>>>>$

由式(10)和式(11)能得到式(12)。 $>>>\Sigma >>i>=>1>>m>>>e>i>>>x>>i>1>>>=>0>,>>\Sigma >>i>=>1>>m>>>e>i>>>x>>i>2>>>=>0>,>·>·>·>,>>\Sigma >>i>=>1>>m>>>e>i>>>x>in>>=>0>->->->>(>12>)>>>>$

此外，如考虑式(8)的残差方程式的学习数据x，预测系数w，教师数据y和残差e的关系，则由式(12)能得到式(13)那样的正规方程式。 $>>>(>>\Sigma >>i>=>1>>m>>>x>>i>1>>>>x>>i>1>>>)>>>w>1>>+>>(>>\Sigma >>i>=>1>>m>>>x>>i>1>>>>x>>i>2>>>)>>>w>2>>+>·>·>·>+>>(>>\Sigma >>i>=>1>>m>>>x>>i>1>>>>x>in>>)>>>w>n>>=>>\Sigma >>i>=>1>>m>>>x>>i>1>>>>y>i>>>>$ >>>(>>\Sigma >>i>=>1>>m>>>x>>i>2>>>>x>>i>1>>>)>>>w>1>>+>>(>>\Sigma >>i>=>1>>m>>>x>>i>2>>>>x>>i>2>>>)>>>w>2>>+>·>·>·>+>>(>>\Sigma >>i>=>1>>m>>>x>>i>2>>>>x>in>>)>>>w>n>>=>>\Sigma >>i>=>1>>m>>>x>>i>2>>>>y>i>>>>$ >>>(>>\Sigma >>i>=>1>>m>>>x>in>>>x>>i>1>>>)>>>w>1>>+>>(>>\Sigma >>i>=>1>>m>>>x>in>>>x>>i>2>>>)>>>w>2>>+>·>·>·>+>>(>>\Sigma >>i>=>1>>m>>>x>in>>>x>in>>)>>>w>n>>=>>\Sigma >>i>=>1>>m>>>x>in>>>y>i>>>> (13)$$$

式(13)的正规方程式仅能产生与应该求得的预测系数w的数相同的数，因此，求解式(13)(其中，为了求解式(13)，在式(13)中用与预测系数w相关的系数构成矩阵必须是正则的)，能求得最优预测系数w。此外，在求解式(13)时，能运用例如清除法(Gauss-Jordan消去法)等。

如前所述，求得最优预测系数w的集合并且利用式(1)并用该预测系数W的集合求得接近于HD象素的象素值y的预测值E[y]，是自适应处理(其中求得预测系数w的集合并从该预测系数w的集合求得预测值，也包含在自适应处理中)。

此外，自适应处理与插入处理不同的是重现不包含在SD图像中的包含在HD图像中的成分。也就是说，虽然在自适应处理中若仅仅限于看式(1)，与用所谓的插入滤波器的插入处理是相同的，但因用教师数据y，可以说利用学习，能求得与该插入滤波器的抽头(tap)系数相当的预测系数w，所以能重现包含在HD图像中的成分。也就是说，能容易地得到高清晰度的图像。因此，自适应处理可以说是具有图像的创作作用的处理。

图1示出了利用基于图像特征(类别)的前述自适应处理、将SD图像变换成HD图像的图像变换装置的结构例。

将SD图像供给到类别分类电路101和延迟电路102中，在类别分类电路101中将构成SD图像的SD象素依次作为注目象素并将这种注目象素类别分类成规定的类别。

具体地说，类别分类电路101首先一开始收集若干个在注目象素周围的SD象素构成块(下面称为处理块)，以构成该处理块的例如全部SD象素的象素值模式预先分配的值作为注目象素类别，供给到系数ROM104的地址端(AD)上。

具体地说，例如图2中虚线四边形围住的部分所示，类别分类电路101从SD图像提取以注目象素为中心的5×5的SD象素(在图中用“O”表示)组成的处理块，并输出对应于这些25个SD象素的象素值模式值作为注目象素的类别。

这里，为了表示各SD象素的象素值，在例如用8位(bit)等的多位数的场合，25个SD象素的象素值模式数成为(2⁸)²⁵极大的数，难于对其进行高速处理。

因此，作为进行类别分类前的前置处理，对处理块施行例如ADRC(AdaptiveDynamic Range Coding)处理等，以减少构成其的SD象素的位数。

具体地说，在ADRC处理中，首先从构成处理块的25个SD象素中检测出其象素值最大的象素(下面称为最大象素)和最小的象素(下面称为最小象素)。并且，运算最大象素的象素值MAX和最小象素的象素值MIN的差DR(=MAX-MIN)，并以这种DR作为处理块的局部的动态范围。基于这种动态范围DR将构成处理块的各象素值重新量化成比原来的分配位数少的K位。也就是说，从构成处理块的各象素值减去最小象素的象素值MIN并用DR/2^k除以各减后的值。

其结果，就成为用K位表示构成处理块的各象素值。因此，在例如K=1的场合，25个SD象素的象素值模式数为(2¹)²⁵，与不进行ADRC处理的场合比较，能使图案数大大减少。下面，称这样使象素值成为K位的ADRC处理为K位ADRC处理。

系数ROM104将借助于预先学习求得的预测系数的集合按每个类别存储，当从类别分类电路101供给类别时，就读出存储在对应于该类别的地址中的预测系数的集合，并供给到预测运算电路105中。

另一方面，在延迟电路102中，为了对于预测运算电路105使由系数ROM104供给预测系数的集合的时间与后述的预测抽头生成电路103供给预测抽头的时间一致，将SD图像延迟必要的时间并供给到预测抽头生成电路103中。

预测抽头生成电路103从供给其的SD图像提取用于在预测运算电路105中求出规定的HD象素的预测值的SD象素，将其作为预测抽头供给到预测运算电路105中。也就是说，在预测抽头生成电路103中，从SD图像提取例如与在类别分类电路101中提取的相同的处理块，并将构成该处理块的SD象素作为预测抽头，供给到预测运算电路105中。

预测运算电路105用来自系数ROM104的预测系数w1,w2,…和来自预测抽头生成电路103的预测抽头x1,x2,…，利用式(1)所示的运算、即进行自适应处理，求得注目象素y的预测值E[y]，并输出其作为HD象素的象素值。

具体地说，在这里，从1个预测抽头求出例如在图2中用实线四边形围住的以注目象素为中心的3×3的HD象素(在图2中用“●”表示)的预测值，这种场合，在预测运算电路105中对于这种9个HD象素进行式(1)的运算。因此，在系数ROM104中，在对应于1个类别的地址中存储9组的预测系数的集合。

以其它的SD图像作为注目象素进行下面相同的处理，由此将SD图像变换成HD图像。

接着，图3示出了进行算出存储在图1中系数ROM104中的每个类别的预测系数集合的学习处理的学习装置(学习电路)结构例。

将应该成为学习中的教师数据y的HD图像供给到间抽电路111和延迟电路114中，在间抽电路111中，HD图像例如其象素数由于间抽而减少，并由此成为SD图像。将这种SD图像供给到类别分类电路112和预测抽头生成电路113中。

在类别分类电路112或者预测抽头生成电路113中进行与图1中类别分类电路101或者预测抽头生成电路103的场合相同的处理，并由此分别输出注目象素的类别或者预测抽头。将类别分类电路112输出的类别供给到预测抽头存储器115和教师数据存储器116的地址端(AD)上，将预测抽头生成电路113输出的预测抽头供给到预测抽头存储器115中。

在预测抽头存储器115中，在对应于由类别分类电路112供给的类别的地址中存储由预测抽头生成电路113供给的预测抽头。

另一方面，在延迟电路114中，使HD图像仅延迟对应于注目象素的类别，从类别分类电路112供给到教师数据存储器116中的时间，并仅以其中的在作为注目象素的周围的HD象素的象素值作为教师数据，供给到教师数据存储器116中。

并且，在教师数据存储器116中，在对应于由类别分类电路112供给的类别的地址中存储由延迟电路114供给的教师数据。

重复下面相同的处理，直到将构成由预先学习用准备的全部的HD图像的全部HD象素作为注目象素为止。

这样，在预测抽头存储器115和教师数据存储器116的同一个地址中存储分别与在图2中用“O”表示的SD象素或者在图2中用“●”表示的HD象素有同一位置关系的SD象素或者HD象素作为学习数据x或者教师数据y。

此外，在预测抽头存储器115和教师数据存储器116中，能在同一地址中存储多个信息，因此，在同一地址中，能存储属于同一类别的多个学习数据x和教师数据y。

然后，运算电路117从预测抽头存储器115或者教师数据存储器116读出存储在同一地址中的作为学习数据的预测抽头或者作为教师数据的HD象素的象素值，并用它们根据最小二乘法算出使预测值和教师数据间的误差为最小的预测系数的集合。也就是说，在运算电路117中，对每个类别建立式(13)所示的正规方程式，借助于求解该方程式求得每个类别的预测系数的集合。

这样，在运算电路117求得的每个类别的预测系数的集合，存储在图1中系数ROM104的对应于该类别的地址中。

此外，在前述的学习处理中，虽然也可能产生不能得到用于求得预测系数的集合所必须数量的正规方程式的类别，但对于这种类别，例如借助于忽略类别建立并求解正规方程式得到的预测系数的集合等，可以作为缺省的预测系数的集合使用。

但是，在图1的图像变换装置中，通过间抽HD图像的象素值等使象素值减少而得到SD图像，如前所述，从该得到的SD图像能得到还包含有SD图像不包含的高频成分的HD图像，但对于接近原来的HD图像还有一定限制。其理由是，为了复原到原来的HD图像，仅间抽HD图像的象素值后的SD图像的象素(SD象素)的象素值不是最优的。

因此，本申请人为了能得到更加接近于原来的HD图像的画面质量的解码图像，先前建议有关于利用自适应处理的图像压缩(编码)(例如已公开的日本特愿平8-206552号公报等所示)。

也就是说，为了能根据自适应处理得到更加接近于原来的HD图像的解码图像，图4示出了将其HD图像压缩(编码)成最优SD图像的图像信号编码装置的结构例。

将编码对象的HD图像供给到间抽单元121和误差算出单元124中。

在间抽单元121利用例如单纯地间抽使HD图像成为SD图像，并供给到校正单元122中。校正单元122一从间抽单元121接收到SD图像，开始原样地将该SD图像输出到局部解码单元123中。局部解码单元123具有与例如图1所示的图像变换装置相同的结构，用来自校正单元122的SD图像并借助于进行前述的自适应处理，算出HD象素的预测值并输出到误差算出单元124中。误差算出单元124算出来自局部解码单元123的HD象素的预测值的相对于原来的HD象素的的预测误差(误差信息)，并输出到控制单元125中。控制单元125对应于来自误差算出单元124的预测误差对校正单元122进行控制。

由此，校正单元122按照来自控制单元125的控制，校正来自间抽单元121的SD图像的象素值，并输出到局部解码单元123中。在局部解码单元123中，用由校正单元122供给的校正后的SD图像再次求得HD图像的预测值。

下面，重复相同的处理，直到误差算出单元124输出的预测误差达到规定值以下为止。

当误差算出单元124输出的预测误差达到规定值以下时，控制单元125控制校正单元122，由此，输出预测误差在规定值以下时的校正后的SD图像作为HD图像的最优编码结果。

因此，借助于对这种校正后的SD图像，进行自适应处理，能得到预测误差在规定值以下的HD图像。

因此，如前所述，因从图4的图像信号编码装置输出的SD图像可能说是为得到更加接近于原来HD图像的解码图像的最优图像，所以用这种图像信号编码装置的校正单元122、局部解码单元123、误差算出单元124和控制单元125构成的系统进行的处理是最优处理。

但是，为了得到更接近于原来的HD图像的象素值的预测值，希望由接近于要求出其预测值的HD象素的多个SD象素构成在自适应处理中使用的预测抽头。

然而，如果由多个SD象素构成预测抽头，则离要求出预测值的HD象素远的SD象素将包含在预测抽头中。因此，这种场合，表示与要求出预测值的HD象素所表示的物体不同的物体的SD象素包含在预测抽头中，其结果，预测值的精度降低，并且由该预测值构成的解码图像变差。

因此，有一种方法是，在图4的图像信号编码装置的间抽单元121中，减少从HD图像间抽的象素数，从而使接近于要求出其预测值的HD象素的位置的SD象素增加，但是这样会使编码效率降低。

发明概述

本发明鉴于前述的状况，其目的是能使编码效率不会降低、得到更加接近于原图像的解码图像。

与本发明相关的对图像信号进行编码的图像信号编码装置，包括

发生象素数比原图像信号的象素数少的压缩图像信号的压缩单元；

在构成所述原图像信号的象素的压缩象素的附近，设定作为假想的象素的假想象素，并由所述原图像信号算出该假想象素的象素值的第1算出单元；

将所述压缩图像的象素值的一部分置换成所述假想象素的象素值的一部分的置换单元；

以构成所述压缩图像信号的压缩象素中的1个作为注目象素，并由该注目象素附近的所述压缩象素和所述假想象素形成预测抽头的形成单元；

由所述预测抽头和规定的预测系数预测所述原图像信号的预测值的预测单元；

算出由所述被预测的预测值组成的预测图像信号对于所述原图像信号的预测误差的第2算出单元；和

对应于所述预测误差校正构成所述压缩图像信号的压缩象素的象素值的校正单元。

与本发明相关的对编码图像信号进行解码图像信号解码装置，包括

以构成所述编码图像信号的压缩象素中的1个作为注目象素，并由该注目象素附近的象素形成预测抽头的形成单元；

由所述预测抽头和规定的预测系数生成复原图像信号的象素值的生成单元，

借助于

发生比原图像信号的象素数少的压缩图像信号；

在构成所述原图像信号的象素的压缩象素附近设假设作为假想的象素的假想象素，并由所述原图像信号算出该假想象素的象素值；将所述压缩象素的象素值的一部分置换成所述假想象素的象素值的一部分；

以构成所述压缩图像信号的压缩象素中的1个作为注目象素，并由该注目象素附近的所述压缩象素和所述假想象素形成预测抽头；

由所述预测抽头和规定的预测系数，预测所述原图像信号的预测值；

算出由所述被预测的预测值组成的预测图像信号对于所述原图像信号的预测误差；

对应于所述预测误差，校正构成所述压缩图像信号的压缩象素的象素值，从而发生所述编码图像信号。

与本发明相关的对图像信号进行编码的图像信号编码方法，包括下述步骤：

发生象素数比原图像信号的象素数少的压缩图像信号的步骤；

在构成所述原图像信号的象素的压缩象素的附近，设定作为假想的象素的假想象素，并由所述原图像信号算出该假想象素的象素值的步骤；

将所述压缩图像的象素值的一部分置换成所述假想象素的象素值的一部分的步骤；

以构成所述压缩图像信号的压缩象素中的1个作为注目象素，并由该注目象素附近的所述压缩象素和所述假想象素形成预测抽头的步骤；

由所述预测抽头和规定的预测系数预测所述原图像信号的预测值的步骤；

算出由所述被预测的预测值组成的预测图像信号对于所述原图像信号的预测误差的步骤；和

对应于所述预测误差校正构成所述压缩图像信号的压缩象素的象素值的步骤。

与本发明相关的对编码图像信号进行解码的图像信号解码方法，包括下述步骤：

以构成所述编码图像信号的压缩象素中的1个作为注目象素，并由该注目象素附近的象素形成预测抽头的步骤；

由所述预测抽头和规定的预测系数生成复原图像信号的象素值的步骤，

借助于

发生比原图像信号的象素数少的压缩图像信号；

在构成所述原图像信号的象素的压缩象素附近设定作为假想的象素的假想象素，并由所述原图像信号算出该假想象素的象素值；将所述压缩象素的象素值的一部分置换成所述假想象素的象素值的一部分；

以构成所述压缩图像信号的压缩象素中的1个作为注目象素，并由该注目象素附近的所述压缩象素和所述假想象素形成预测抽头；

由所述预测抽头和规定的预测系数，预测所述原图像信号的预测值；

算出由所述被预测的预测值组成的预测图像信号对于所述原图像信号的预测误差；

对应于所述预测误差，校正构成所述压缩图像信号的压缩象素的象素值，从而发生所述编码图像信号。

在利用与本发明相关的机器能进行解码的记录媒体上，记录

借助于

发生象素数比原图像信号的象素数少的压缩图像信号，

在构成所述原图像信号的象素的压缩象素的附近，设定作为假想的象素的假想象素，并由所述原图像信号算出该假想象素的象素值，

将所述压缩象素的象素值的一部分置换成所述假想象素的象素值的一部分，

以构成所述压缩图像信号的压缩象素中的1个作为注目象素，并由该注目象素附近的所述压缩象素和所述假想象素形成预测抽头，

由所述预测抽头和规定的预测系数预测所述原图像信号的预测值，

算出由所述被预测的预测值组成的预测图像信号对于所述原图像信号的预测误差，和

对应于所述预测误差校正构成所述压缩图像信号的压缩象素的象素值，从而发生的记录信号。

附图简要说明

图1是表示本申请人先前提出的图像变换装置(图像变换电路)的结构的一例的方框图。

图2是用于说明图1中类别分类电路101的处理的图。

图3是表示本申请人先前提出的学习装置(学习电路)的结构的一例的方框图。

图4是表示本申请人先前提出的图像信号编码装置的结构的一例的方框图。

图5是表示采用本发明的图像处理装置的一实施形态的结构的方框图。

图6是表示图5中发送装置1的结构的一例的方框图。

图7是表示图6中发送装置1的功能的结构的一例的方框图。

图8是表示图7中前置处理单元21的结构的一例的方框图

图9A是用于说明图8中间抽电路31的处理的图。

图9B是用于说明图8中间抽电路31的处理的图。

图10是用于说明图8中假想象素形成电路32的处理的图。

图11是用于说明图8中假想象素形成电路32的处理的图。

图12是用于说明图8中前置处理单元21的动作的流程图。

图13是表示图7中最优化单元22的结构的一例的方框图。

图14是表示图13中类别分类自适应处理(预测系数生成)电路41的结构的一例的方框图。

图15是表示图13中类别分类自适应处理电路43的结构的一例的方框图。

图16是用于说明图13中最适合化单元22的动作的流程图。

图17A是表示在图13中类别分类自适应处理(预测系数生成)电路41进行类别分类时形成的预测抽头的图。

图17B是表示在图13中类别分类自适应处理(预测系数生成)电路41进行类别分类时形成的预测抽头的图。

图18是表示在图13中类别分类自适应处理(预测系数生成)电路41进行自适应处理时形成的预测抽头的图。

图19是用于更加详细地说明图16中步骤S13的处理的流程图。

图20是用于说明图19中步骤S33的处理的图。

图21是用于更加详细地说明图16中步骤S14的处理的流程图。

图22是用于说明图21中步骤S66的处理的图。

图23是用于更加详细地说明图16中步骤S15的处理的流程图。

图24是表示图5中接收装置4的结构的一例的方框图。

图25是表示图24中类别分类自适应处理电路73的结构的一例的方框图。

图26是用于说明类别分类自适应处理电路73的动作的流程图。

图27是表示预测抽头的其它结构的一例的图。

实施发明的最佳方式

下面，参照附图对与发明相关的图像信号编码装置、图像信号编码方法、图像信号解码装置、图像信号解码方法以及记录媒体的实施形态进行说明。

图5示出了采用本发明的图像处理装置的一实施形态的结构。将被数字化的HD图像的图像数据供给到发送装置1中。发送装置1利用间抽被输入的图像数据(减少其象素数)，对图像数据进行编码，对图像进行压缩，并以其结果得到的SD图像的通信数据作为HD图像的编码数据，记录在例如光盘、光磁盘、磁带等的记录媒体2上，或者通过例如地面波、卫星线路、电话线路、CATV网等的传送通道3进行传送。

在接收装置4，收到由记录媒体2重放的编码数据，或者接收通过传送通道3传送来的编码数据，解码并解压缩该编码数据，并将其结果得到的HD图像的解码图像供给到未图示的显示器上进行显示。

此外，前述的图像处理装置适用于例如光盘装置、光磁盘装置、磁带装置等的进行图像的记录/重放的装置，或者例如电视电话装置、电视广播系统、CATV系统等的进行图像传送的装置。此外，如后所述，因发送装置1输出的编码数据的数据量少，所以图5的图像处理装置也能适用于传输速率低的、例如手机等的便于移动的便携式终端等。

图6表示发送装置1的结构例。

I/F(InterFace：接口)11进行由外部供给的HD图像的图像数据的接收处理和对于发送机/记录装置16的编码数据的发送处理。ROM(Read Only Memory：只读存储器)12存储IPL(Initial Program Loading：初始程序装载)用的程序及其他的程序。RAM(Random Access Memory：随机存储器)13存储记录在外部存储装置15中的系统程序(OS(Operating System：操作系统))和应用程序，并存储CPU(Central Processing Unit：中央处理单元)14动作的必要的数据。CPU14按照存储在ROM12中的IPL程序，从外部存储装置15将系统程序和应用程序展开到RAM13中，并在该系统程序的控制下执行应用程序，通过这样对由I/F11供给的图像数据进行后述的编码处理。外部存储装置15、例如由磁盘装置等构成，如前所述除存储CPU14执行的系统程序和应用程序外，还存储CPU14动作上必要的数据。发送机/记录装置16将由I/F11供给的编码数据记录在记录媒体2中，或者通过传输通道3进行传输。

此外，通过总线互相连接I/F11、ROM12、RAM13、CPU14和外部存储装置15。在图6中，虽然发送装置1用CPU14构成，但也可以用硬线连接逻辑电路构成。

在如前所述结构的发送装置1中，HD图像的图像数据一供给到I/F11中，其图像数据就供给到CPU14中。CPU14对图像数据进行编码，并将作为该结果得到的编码数据的SD图像供给到I/F11中。I/F11一接收到编码数据，就将其供给到发送机/记录装置16中。发送机/记录装置16将来自I/F11的编码数据记录在记录媒体2中，或者通过传输通道3进行传输。

图7是表示图6中发送装置1的、除去发送机/记录装置16部分的功能的方框图。

将作为应该编码的图像数据的HD图像供给到前置处理单元21和最适合化单元22中。前置处理单元21借助于减少HD图像(原图像)的象素数对其进行压缩，在构成由其结果得到的SD图像(压缩图像)的SD象素的附近，假设作为假想的象素的假想象素，并由HD图像得到其假想象素的象素值。此外，前置处理单元21配置假想象素的象素值的一部分来代替SD象素的象素值的一部分，并供给到最适合化单元22中。

最适合化单元22以来自前置处理单元21的SD象素依次地作为注目象素，进行最适合化处理。具体地说，最适合化单元22由注目象素周围的SD象素和假想象素形成预测抽头，借助于其预测抽头和预测系数的集合的线性组合，求得原图像的预测值并进行自适应处理。此外，最适合化单元22算出其预测值的、对于原来的HD图像的预测误差，并对应于该预测误差，校正注目象素的象素值。并且，最适合化单元22用其被校正的注目象素的象素值，重复相同的处理，直到例如其预测误差达到规定值以下为止，求得为了得到原来的HD图像的预测值是最优的注目象素的SD象素的象素值。

最适合化单元22以来自前置处理单元21的、构成例如1帧(或者1场)的SD图像的全部SD象素作为注目象素，在进行了前述的处理后，用由其结果得到的最优SD图像进行自适应处理，通过这样求得使预测误差更小的每个类别的预测系数的集合。也就是说，最适合化单元22用最优SD图像，更新每个类别的预测系数的集合使预测误差更小。并且，用其每个类别的预测系数的集合再次重复最适合化处理。然后，例如，当1帧部分的预测误差的绝对值之和在规定的阈值以下、或者以规定的次数更新每个类别的预测系数的集合时，输出这时得到的最优SD图像和每个类别的预测系数的集合，作为HD图像的编码结果的编码数据。

下面，在图8中示出了图7中前置处理单元21的结构的一例。

将应该编码的HD图像供给到间抽电路31和假想象素形成电路32中。间抽电路31例如利用间抽减少HD图像的象素数构成SD图像，并供给到假想象素形成电路32中。具体地说，间抽电路31将HD图像分割成长×宽为3×3象素的9象素的正方形块，以各块的几个象素(将在后面叙述)将的平均值作为其中心的象素的象素值构成SD图像。由此，在间抽电路31中，由例如在图9A中用“·”所示的HD象素组成的HD图像，将其间抽成1/9，构成图9B中用“O”所示的SD象素组成的SD图像。

此外，在间抽电路31中，也可以例如仅抽取前述块的中心的象素，构成SD图像。

假想象素形成电路32在来自间抽电路31的构成SD图像的SD象素的附近，假设作为假想的象素的假想象素，并由HD图像求得其象素值。具体地说，假想象素形成电路32在例如图10中用“○”表示的SD象素的左上、左下、右上和右下的位置上，假设图10中用“◎”表示假想象素。并且，假想象素形成电路32求得对应于假想象素位置的、例如4个HD象素(在图9A中用虚线的正方形围住表示)的象素值的平均值，并以它作为其假想象素的象素值。

此外，假想象素形成电路32对于例如1个SD象素对应1个假想象素，并配置对应的假想象素的象素值的一部分、代替SD象素的象素值的一部分。具体地说，假设例如用8位表示HD象素的象素值，则作为其平均值的SD象素和假想象素的象素值也能用8位表示。这种场合。如图11所示，假想象素形成电路32配置假想象素的象素值的MSB(Most Significant Bit)侧的4位、代替SD象素的象素值的LSB(Least Significant Bit)侧的4位。也就是说，假想象素形成电路32分别从SD象素或者假想象素的象素值取出MSB侧的4位，将从SD象素取出的4位配置在MSB侧上、同时将从假想象素取出的4位配置在LSB侧上，构成8位数据，并将其作为SD象素的象素值。

将用如前所述的SD象素构成的SD图像供给到最适合化单元22(图7)中。

下面，参照图12所示的流程图对前置处理单元21的动作进行说明。

前置处理单元21一输入应该编码的HD图像，就将该HD图像供给到间抽电路31和假想象素形成电路32中。间抽电路31一接收到HD图像，就间抽其象素数，构成SD图像。

也就是说，在步骤S1中，间抽电路31将HD图像分割成例如3×3象素的HD图像的块，并进入到步骤S2中。这里，在本实施例中，假设由例如亮度信号Y和色差信号U、V构成HD图像，则在步骤S1中，构成亮度信号块和色差信号块。

在步骤S2中，间抽电路31取任何一个块为注目块，判定该注目块是否为亮度信号块。在判定注目块是(Yes)亮度信号块时，进入到步骤S3，在判定注目块不是(No)亮度信号块时，进入到步骤S4中。

在步骤S3中，间抽电路31计算例如在该注目块中包含的中心的HD象素交叉的十字形范围内的5个HD象素的象素值的平均值，以该平均值作为注目块的中心象素(SD象素)的象素值，并进入到步骤S5中。

另一方面，在步骤2判定注目块不是(No)亮度信号块的场合，也就是说，注目块是色差信号块的场合，在步骤S4中，间抽电路31计算例如构成其注目块的3×3个HD象素的象素值的平均值，并以该平均值作为注目块的中心的象素(SD象素)的象素值，进入到步骤S5中。

在步骤S5中，间抽电路31判定是否将在步骤S1构成的全部块作为注目块进行处理，在判定将全部块作为注目块进行处理时，进入到步骤S6，在判定没有将全部块作为注目块进行处理的场合，返回到步骤S2，并将没有作为注目块的块重新作为注目块重复同样的处理。在步骤S5中，间抽电路31在判定将全部块作为注目块进行处理的场合，也就是说，在构成SD图像的场合，将该SD图像供给到假想象素形成电路32中。

在步骤S6中，假想象素形成电路32，一由间抽电路31供给SD图像，就以构成其SD图像的SD象素中的1个作为注目象素，判定该注目象素是否为亮度信号，当是亮度信号时进入到步骤S7中，当不是亮度信号时进入到步骤S9中。

在步骤S7中，假想象素形成电路32如前所述地从HD象素的象素值求得对应于注目象素的假想象素的象素值，并进入到步骤S8中。如图11所说明的那样，在步骤S8中，假想象素形成电路32配置对应的假想象素的象素值的MSB侧的4位、代替注目象素的象素值的LSB侧的4位，并进入到步骤S9中。

在步骤S9中，假想象素形成电路32判定是否将全部的SD象素作为注目象素进行了处理，在判定为是时结束处理，在判定为不是时返回到步骤S6，并以没有作为注目象素的SD象素作为新的注目象素，重复相同的处理。也就是说，在步骤S9中，假想象素形成电路32在判定将全部的SD象素作为注目象素进行了处理的场合，将象素值的LSB侧的4位置换成假想象素的象素值的MSB侧的4位后的SD象素构成的SD图像、输出到最适合化单元22中(图7)，并结束处理。

在前置处理单元21中，用例如1帧为单位重复前述的处理。

在本实施形态中，仅对于亮度信号构成假想象素，而对于色差信号采用仅用SD象素构成的预测抽头。因此，仅对亮度信号进行置换成假想象素的象素值的MSB侧的4位，对于色差信号不进行这样的置换。

图13示出了图7中最适合化单元22的结构的一例。

将来自前置处理单元21的假想象素形成电路32的SD图像供给到类别分类自适应处理(预测系数生成)电路41和校正电路42中，并将HD图像供给到类别分类自适应处理(预测系数生成)电路41和误差算出电路44中。

当HD图像供给类别分类自适应处理(预测系数生成)电路41，同时由前置处理单元21供给SD图像时，就用其HD图像和SD图像，对每个类别进行自适应处理，通过这样算出每个类别的预测系数w的集合，并输出到类别分类自适应处理电路43和多路化电路46中。

这里，图14示出了类别分类自适应处理(预测系数生成)电路41的结构一例。在图14中，对于与图3的学习装置的场合对应的部分附以相同的标号。也就是说，这种类别分类自适应处理(预测系数生成)电路41除没有设置间抽电路111外，与图3的学习这种结构基本相同。其中，将来自前置处理单元21或者校正电路42的SD图像供给到类别分类电路112和预测系数抽头生成电路113中，将与供给到前置处理单元21中的HD图像相同的HD图像供给到延迟电路114中，而后述的类别抽头形成和预测抽头形成相关的动作则不同。对类别分类自适应处理(预测系数生成)电路41的动作将在后面进行说明。

回到图13，校正电路42按照控制电路45的控制，校正构成SD图像的SD象素的象素值，并将其校正后的象素值输出到类别分类自适应处理(预测系数生成)电路41、类别分类自适应处理电路43和多路化电路46中。借助于用由校正电路42供给的SD象素和由类别分类自适应处理(预测系数生成)电路41供给的每个类别的预测系数w的集合、进行自适应处理，类别分类自适应处理电路43求得HD象素的预测值，并供给到误差算出电路44中。

这里，图15示出了类别分类自适应处理电路43的结构的一例。此外，对于与图1的图像变换装置的场合对应的部分附以相同的标号。也就是说，类别分类自适应处理电路43除设置每个类别的预测系数w的集合能重写的系数ROM104’代替系数ROM104外，与图1中图像变换装置的结构基本相同。在这种系数ROM104’中存储由图13中类别分类适应电路(预测系数生成)电路41供给的每个类别的预测系数w的集合，此外，与类别抽头形成和预测抽头形成相关的动作与图1中图像变换装置不同。对类别分类自适应处理电路43的动作将在后面进行说明。

再回到图13，误差算出电路44算出来自类别分类自适应处理电路43的HD象素的预测值的、对于真的HD象素的象素值的预测误差，并输出到控制电路45中。控制电路45对应于来自误差算出电路44的预测误差，控制校正电路42的SD象素的象素值的校正量。多路化电路46将来自类别分类适应电路(预测系数生成)电路41的预测系数w和来自校正电路42的被校正后的SD象素的象素值进行多化处理，并作为编码数据输出。

下面，参照图16的流程图对最适合化单元22的动作进行说明。

在步骤S11中，类别分类适应电路(预测系数生成)电路41一由前置处理单元21供给SD图像，就借助于用该SD图像和HD图像进行自适应处理，算出每个类别的预测系数w的集合。

具体地说，类别分类适应电路(预测系数生成)电路41以构成SD图像的SD象素依次地作为注目象素，并对于其注目象素构成类别分类用的抽头(下面称为类别抽头)，进行类别分类。在本实施形态中，对于注目象素构成例如如下的类别抽头，并进行类别分类。

也就是说如图17A所示，基于以注目象素为中心的菱形范围内的5个SD象素和4个假想象素共计9个象素，对于亮度信号构成类别抽头。并且，将这9个象素的象素值中的最大值和最小值的差作为动态范围DR，并用这种动态范围DR对类别抽头中的注目象素和与其相邻的4个假想象素的共计5个象素(在图17A中用虚线围住的5个象素)施行1位ADRC处理。并且，该5个象素的象素值模式取作为注目象素的类别。因此，这种场合，因用5位表示借助于对类别抽头中的、以注目象素为中心的5个象素施行1位ADRC处理得到的象素值模式，所以能将亮度信号分类成32(=2⁵)个类别中的任何一个类别。

此外，用将对应于该假想象素的SD象素的象素值的LSB侧的4位左移4位(乘以2⁴)、再加上例如8(=2³)的值，作为假想象素的象素值。但是其它的也可以原样地用将SD象素的象素值的LSB侧的4位左移4位的值，或者用在左移后加上8以外的大于0小于16(2⁴)的值，作为假想象素的象素值。

如图11所示，SD象素的象素值其LSB侧的4位是对应的假想象素的象素值的MSB侧的4位，但其8位值原样地用作SD象素的象素值。但是，也可以用将例如其LSB侧的4位置换成随机发生的大于0小于16(2⁴)的值，作为SD象素的象素值。

另一方面，如图17B所示，基于以注目象素为中心的正方形的范围内的9个SD象素，对大于色差信号构成类别抽头。并且，将这9个象素的象素值中的最大值和最小值的差作为动态范围DR，并用这种动态范围DR对类别抽头中的、以注目象素为中心的菱形范围内的5个象素(在图17B中用虚线围住的5个象素)施行1位ADRC处理。并且，该5个象素的象素值模式取作为注目象素的类别。因此，这种场合，因用5位表示借助于对类别抽头中的、以注目象素为中心的5个象素施行1位ADRC处理得到的象素值模式，所以色差信号也与亮度信号相同，能分类成32(=2⁵)个类别中的任何一个类别。

如前所述，类别分类自适应处理(预测系数生成)电路41决定注目象素的类别后，形成预测抽头。也就是说，如图18所示，类别分类自适应处理(预测系数生成)电路41在注目象素是色差信号的场合，用以其注目象素为中心的7×5(长×宽)的35个SD象素(在图18中用实线或者虚线的“O”表示)形成预测抽头。而类别分类自适应处理(预测系数生成)电路41在注目象素是亮度信号的场合，与色差信号的场合相同，用35个象素形成预测抽头，但用与注目象素相邻的假想象素代替7×5个SD象素中的、其最左上、左下、右上和右下的SD象素(在图18中用虚线的“O”表示)。

并且，类别分类自适应处理(预测系数生成)电路41对于每个类别用预测抽头和HD图像建立式(13)的正规方程式并对其求解，求得每个类别的预测系数w的集合。此外，这种场合，对于注目象素用例如前述的图2中实线正方形围住的范围的位置关系的HD象素，建立正规方程式。将用类别分类自适应处理(预测系数生成)电路41求得的每个类别的预测系数w的集合，供给到类别分类适应电路43中并存储在系数RAM104’中。

在类别分类自适应处理(预测系数生成)电路41中，一求得每个类别的预测系数w的集合，就在最适合化单元22并在步骤S12中取来自前置处理单元21的构成SD图像的SD象素中的1个作为注目象素，并判定该注目象素是否为亮度信号，如果是亮度信号则进入到步骤S13中，如果不是亮度信号则进入到步骤S15中。

在步骤S13中，校正电路42、类别分类自适应处理电路43、误差算出电路44和控制电路45，以注目象素的象素值的MSB侧的4位为对象进行最适合化处理，并进入到步骤S14中。在步骤S14中，校正电路42、类别分类自适应处理电路43、误差算出电路44和控制电路45，以注目象素的象素值剩下的LSB侧的4位为对象进行最适合化处理，并进入到步骤S16中。

另一方面，在步骤S12中，在判定注目象素不是亮度信号的场合，也就是说是色差信号的场合，在步骤S15中，校正电路42、类别分类自适应处理电路43、误差算出电路44和控制电路45，以色差信号为对象进行最适合化处理，并进入到步骤S16中。

在步骤S16中，判定是否以来自前置处理单元21的构成SD图像的全部的SD象素作为对象进行处理。在判定没有以全部的SD象素进行处理的场合，返回到步骤S12，并以没有取作注目象素的SD象素作为新的注目象素，重复相同的处理。

在步骤S16中，在判定以全部的SD象素作为注目象素进行处理的场合，进入到步骤S17中，判定由SD象素预测的HD象素的预测值的、1帧部分的预测误差的总和是否在规定的阈值ε以下，在步骤S17中判定1帧部分的预测误差的总和不在规定的阈值ε以下的场合，返回到步骤S11中，并重复与前述场合相同的处理。但是，这种场合，在类别分类自适应处理(预测系数生成)电路41中不用在步骤S11中前置处理单元21输出的SD象素的象素值，而是用校正电路42输出的后述的最优SD象素的象素值，即对于图14中类别分类电路112和预测抽头生成电路113，输入来自校正电路42的最优SD象素，利用相同的处理求得(更新)每个类别的预测系数w的集合。

并且，在步骤S17中，在判定1帧部分的预测误差的总和在规定的阈值ε以下的场合，进入到步骤S18中，在类别分类自适应处理(预测系数生成)电路41中，这时，用校正电路42输出的SD象素的象素值，算出每个类别的预测系数w的集合。并且，对该SD象素的象素值和每个类别的预测系数w的集合，在多重化电路46中进行多重化处理、取作编码数据，并结束处理。

然后，在最适合化单元22中，等待供给下一帧的HD图像和SD图像，进行同样的处理。

下面，参照图19的流程图对图16中步骤S13的以注目象素的象素值的MSB侧的4位为对象的最适合化处理进行说明。

在类别分类自适应处理(预测系数生成)电路41中，求得每个类别的预测系数w的集合，它一被供给到类别分类自适应处理电路43中，就取来自前置处理单元21的构成SD图像的SD象素中的1个作为注目象素，在步骤S31中，控制电路45将表示校正注目象素的象素值的校正量的变量Δ初始化例如成为0。另外，在步骤S31中，将表示使校正量变化的变化量(下面称为偏移量)的变量S置位成例如16作为初始值。

也就是说，现在的场合，因以注目象素的象素值的MSB侧的4位作为对象，所以对偏移量S置位用于使其MSB侧的4位变化为最小值的16(=2⁴)。

此外，在步骤S31中，将对注目象素的校正次数进行计数的变量i，置位初始值的-1，并进入到步骤S32中。在步骤S32中，次数i加1，并进入到步骤S33中，在用校正量Δ校正注目象素的象素值的校正值进行自适应处理的场合，算出由于该校正而受到影响的HD象素的预测值的预测误差E。

也就是说，这种场合，校正电路42在注目象素的象素值上加上例如校正量Δ，并以其相加后的值作为注目象素的象素值输出到类别分类自适应处理单元43中。这里，对于注目象素在最初施行步骤S33的处理的场合，即次数i=0的场合，因校正量Δ是保持在步骤S31置位的初始值为0的数值不变，所以从校正单元42原样地输出注目象素的象素值。

与类别分类自适应处理(预测系数生成)电路41的场合相同，在类别分类自适应处理电路43中形成图17所示的类别抽头，同时形成图18所示的预测抽头。即预测抽头，用与注目象素相邻的4个假想象素代替以注目象素为中心的7×5个SD象素中的、离注目象素最远的左上、左下、右上和右下的SD象素。

此外，对应于该类别抽头，对注目象素进行类别分类，对应于其结果得到的类别的预测系数的集合从类别分类自适应处理(预测系数生成)电路41供给、并存储在系数RAM104’中的预测系数的集合中选择。并且，由该被选择的预测系数的集合和预测抽头，借助于式(1)所示的线性一次方程式，求得HD象素的象素值的预测值。

此外，在类别分类自适应处理电路43中，在用校正量Δ校正注目象素的象素值的场合，对于由于该校正而受到影响的HD象素，至少也同样能求得预测值。

也就是说，如图20所示，例如以SD象素A作为注目象素进行校正。在本实施形态中，因简单地在包含7×5个SD象素的范围构成预测抽头，所以在由这种7×5个SD象素构成预测抽头的场合中，当该预测抽头中包含SD象素A的情况时，以离开SD象素A最远的SD象素作为注目象素是以SD象素B、C、D、E为注目象素构成7×5象素的预测抽头的情况。并且，在以SD象素B、C、D、E为注目象素构成7×5象素的预测抽头的场合，在本实施形态中分别求得该图中用实线围住的范围b、c、d、e中的3×3的HD象素的预测值。因此，在以SD象素A作为注目象素校正其象素值的场合，由于该校正而受到影响的最坏的情况是包含范围b、c、d、e的最小的正方形，成为图20中用虚线所示的范围内的21×15的HD象素的预测值。

因此，在本实施形态中，在类别分类自适应处理电路43中，至少能求得这种21×15的HD象素的预测值。

将在类别分类自适应处理电路43中求得的HD象素的预测值供给到误差算出电路44中。在误差算出电路44从类别分类自适应处理电路43的HD象素的预测值减去对应的HD象素的真的象素值，求得作为其差值的预测误差A的例如平方和。并且，将这种平方和供给到控制电路45中，作为误差信息E。

控制电路45一从误差算出电路44接收到误差信息，就在步骤S34判定次数i是否为0。在步骤S34中判定次数i是0的场合、即控制电路45接收到的误差信息E是不进行注目象素的校正而得到的场合，进入到步骤S35中，并在存储不进行注目象素的校正而得到的误差信息(未校正时的误差信息)的变量E₀中置位误差信息E，在存储前次得到的误差信息的变量E’中也置位误差信息E。此外，在步骤S35中，校正量Δ仅增加偏移量S，控制电路45控制校正单元42以便由其得到的校正量Δ校正注目象素的象素值。然后，返回到步骤S32，并在后面重复同样的处理。

这种场合，在步骤S32中，因次数i仅增加1而成为1，所以在步骤S34中，判定次数不是0，进入到步骤S36中。在步骤S36中，判定次i是否为1。这种场合，因次数i为1，所以在步骤S36中，判定次数i为1，进入到步骤S37中，判定前次的误差信息E’是否大于本次的误差信息E。在步骤S37中判定前次的误差信息E’不大于本次的误差信息E的场合，即借助于校正量Δ校正注目象素的象素值、使本次的误差信息E比前次的误差信息E’(这里是不进行校正的场合的误差信息)增加的场合，进入到步骤S38中，控制电路45以在偏移量S上乘以-1后作为新的偏移量S，此外，将校正量Δ增加偏移量的2倍，返回到步骤S32中。

也就是说，借助于以校正量Δ(这种场合，校正量Δ=S)校正注目象素的象素值，在比没有校正时误差增加的场合，反转偏移量S的符号(在本实施形态中，在步骤S31中，因将偏移量S置位成正的值，所以在步骤S38中，偏移量的符号由正变成负)。此外，当前次是S的校正量Δ，则成为-S。

在步骤S37中判定前次的误差信息E’大于本次的误差信息E的场合，即借助于以校正量Δ校正注目象素的象素值、使本次的误差信息E比前次的误差信息E’减小的场合(或者与前次的误差信息E’相同的场合)，进入到步骤S39中，控制电路45将校正量Δ增加偏移量S，同时借助于置位本次的误差信息E，对前次的误差信息E’进行更新，返回到步骤S32中。

这种场合，在步骤S32中，次数i再加1成为2，因此在步骤S34或者步骤S36中，分别判定次数i不是0或者1，其结果，从步骤S36进入到步骤40。在步骤S40中判定次数i是否为2。因当前的次数是2，所以在步骤S40中判定次数i是2，进入到步骤S41，并判定是否未校正时的误差信息E₀在当前的误差信息以下而且偏移量S为负。

在步骤S40中，在判定未校正时的误差信息E₀在当前的误差信息以下而且偏移量S为负的场合，也就是说，在即使将注目象素校正+S或者即使校正-S，也比没有校正时误差增加的场合，进入到步骤S42，校正量Δ成为0，并进入到步骤S46。

在步骤S40中在未校正时的误差信息E₀不在当前的误差信息以下、或者偏移量S不是负的场合，进入到步骤S43，判定前次的误差信息E’是否在本次的误差信息E以上。在步骤S43中判定前次的误差信息E’在本次的误差信息E以上的场合，即借助于以校正量Δ校正注目象素的象素值、使本次的误差信息E比前次的误差信息E’减小的场合，进入到步骤S44中，控制电路45将校正量Δ增加偏移量S，同时借助于置位本次的误差信息E，对前次的误差信息E’进行更新，返回到步骤S32中。

这种场合，在步骤S32中，次数i再加1成为3，在步骤S34、步骤36或者步骤S40中，分别判定次数i不是0、1或者2，其结果，从步骤S40进入到步骤43。因此，重复步骤S32至S34、S36、S40、S43、S44的循环处理，直到在步骤S43中判定前次的误差信息E’不在本次的误差信息E以上为止。

在步骤S43中判定前次的误差信息E’不在本次的误差信息E以上的场合，即借助于以校正量Δ校正注目象素的象素值、使本次的误差信息E比前次的误差信息E’增加的场合，进入到步骤S45中，控制电路45将校正量Δ减少偏移量S，并进入到步骤S46中。即这种场合，校正量Δ成为误差增加前的值。

在步骤S46中，控制电路45借助于控制校正电路42，用步骤S42或者S45得到的校正量Δ校正注目象素的象素值，由此，为了基于自适应处理得到预测值，将注目象素的象素值校正成预测误差为最小的最优象素值。

这样，为了求得HD图像的预测值，在将注目象素的象素值的MSB侧的4位最优化成最优值后，返回。

下面，参照图21的流程图对以图16中步骤S14的注目象素的象素值的LSB侧的4位为对象的最适合化处理详细地进行说明。

这种场合，在步骤S51到步骤S66中基本上分别进行与图19中步骤S31到步骤S46的场合相同的处理。

但是，在步骤S51中，在偏移量S中置位1而不是16作为初始值。即现在的场合，因以注目象素的象素值的LSB侧的4位为对象，所以对偏移量S置位用于使其LSB侧的4位变化为最小值的1(=2⁰)。

在步骤S66中，与图19中步骤S46的场合相同，用校正量Δ校正注目象素的象素值，但因此用校正量Δ的16(=2⁴)倍的量校正对应于该注目象素的假想象素的象素值。这是基于以下的理由，即在图11中说明了的那样，注目象素的LSB侧的4位表示对应的假想象素的MSB的4位，例如现在如图22所示，假如对于注目象素、其与左斜下相邻的假想象素对应，则所谓的校正注目象素的LSB侧的4位，就是校正其左斜下相邻的假想象素的MSB的4位。

下面，参照图23的流程图对以图16中步骤S15的注目象素是色差信号的场合的最适合化处理详细地进行说明。

这种场合，在步骤S71到步骤S86中也基本上分别进行与图19中步骤S31到步骤S46的场合相同的处理。

但是，在步骤S71中，在偏移量S中置位1而不是16作为初始值。即对于色差信号置位用于使其8位的象素值变化为最小值的1(=2⁰)。

下面，图24示出了图5的接收装置4的结构例。

在接收机/重放装置71中，重放记录在记录媒体2中的编码数据，或者接收通过传输通道3传输来的编码数据，并供给到分离单元72中。在分离单元72将编码数据分离成SD图像(最优SD图像)的图像数据和每个类别的预测系数w的集合，并将其中的任何一个供给到类别分类自适应处理电路73中。

类别分类自适应处理电路73与构成图13所示的最适合化单元22的类别分类自适应处理电路43相同，求得HD图像的预测值并将其作为解码图像进行输出。这种解码图像为与原来的图像几乎同一的图像。

图25示出了图24中类别分类适应处理电路73的结构的一例。类别分类适应电路73包括类别分类电路201、延迟电路202、预测抽头生成电路203、系数RAM204和预测运算电路205。这些电路分别与图15所示的类别分类适应电路43包括的类别分类电路101、延迟电路102、预测抽头生成电路103、系数RAM104’和预测运算电路105的结构相同。

如前所述结构的类别分类适应电路73，当由分类单元72一供给每个类别的预测系数的集合，就将这些每个类别的预测系数的集合存储在系数RAM204中。并且，在类别分类适应处理电路73中，用存储在系数RAM204中的每个类别的预测系数的集合，对于从分离单元72供给的SD图像，进行与类别分类适应处理电路43的场合相同的处理，求得HD图像的预测值。

也就是说，如图26的流程图所示，在步骤S91中，分别在类别分类电路201和预测抽头生成电路203中形成用图17A、图17B或者图18说明了的类别抽头或者预测抽头。此外，在类别分类电路201中，对类别抽头进行类别分类，并将其结果得到的类别作为地址供给到系数RAM204中。在系数RAM204中读出对应于来自类别分类电路201的类别的预测系数的集合，并供给到预测运算电路205中。

并且，在步骤S92中，预测运算电路205用来自系数RAM204的预测系数的集合和预测抽头生成电路203形成的预测抽头，求得HD图像的预测值并结束处理。

此外，在接收侧即使不是图24所示的接收装置4，也能由利用单纯的插补对被间抽的图像进行解码的装置，不用预测系数而用通常的插补，得到解码图像。但是，这种场合得到的解码图像其画面质量(清晰度)较差。

如前所述，由于在构成利用压缩HD图像得到的SD图像的SD象素的附近假设假想象素，并由HD图像求得该象素值，所以能由接近于注目象素、而且多个象素形成预测抽头，其结果，通过采用该预测抽头进行解码，能得到更接近于原来的HD图像的解码图像。

此外，因配置假想象素的象素值的MSB侧的4位代替SD象素的象素值的LSB侧的4位，所以编码效率也不会降低。

以上，对于采用本发明的对HD图像进行编码/解码的图像处理装置进行了说明，但本发明也能适用于对其它的SD图像等的标准清晰度的图像进行编码/解码的场合。即也能适用于对例如NTSC方式等的标准方式的电视信号采用间抽进行编码/解码的场合。其中，本发明对于数据量多的所谓的高清晰度(high vision)方式的电视信号等进行编码/解码的场合特别有效。此外，本发明还适用于由原来的图像生成各层图像数据并进行解码的所谓的进行分层编码的场合。

此外，在本实施形态中，仅对于亮度信号用假想象素形成预测抽头，但对于色差信号也能用假想象素形成预测抽头。

此外，在本实施形态中，仅用5×7个象素为基础形成预测抽头，但预测抽头不限于5×7个象素。

此外，在本实施形态中，在用假想象素形成预测抽头的场合，仅用5×7个共35个象素形成的块为基础形成由图18所示的35个象素组成的预测抽头，但如图27所示，还能进一步更多地使用接近于其注目象素的假想象素代替远离注目象素的SD象素，形成预测抽头。

此外，在本实施形态中，配置假想象素的象素值的MSB侧的4位代替SD象素的象素值的LSB侧的4位，但也可以配置假想象素的象素值的MSB侧的3位和2位代替SD象素的象素值的LSB侧的3位和2位。但是根据本发明者进行的模拟得到的结果是，在用8位表示SD象素的象素值的场合中，通过配置假想象素的象素值的MSB侧的4位代替SD象素的象素值的LSB侧的4位所得到的解码图像的S/N为最好。此外有这样的趋势，即置换SD图像的象素值的位数越多灰度等级会提高。

此外，在本实施形态中，在间抽电路31中将HD图像间抽成1/9，构成SD图像，但也能用其它的间抽率间抽HD图像，构成SD图像。

此外，如图10所示，在本实施形态中，在斜向相邻的SD象素之间设置1个假想象素，但也可以在它们之间设置2个以上的假想象素。

此外，在本实施形态中，在构成发送装置1的最适合化单元22(图13)中设置类别分类自适应处理(预测系数生成)电路41，并更新每个类别的预测系数的集合，但也可以不更新每个类别的预测系数的集合，原样地使用预先求得的每个类别的预测系数的集合。也就是说，能够基于前述的图25所示的学习装置，利用学习预先求得每个类别的预测系数的集合，并在类别分类自适应处理电路43中使用。这种场合，类别分类自适应处理电路43能与图1所示的图像变换装置结构相同，只要将利用学习装置预先求得的每个类别的预测系数的集合存储在系数RAM104中即可。这种场合，不必设置类别分类自适应处理(预测系数生成)电路41，能简化发送装置1。

在对应于这种发送装置1的接收装置4(图24)中，只要预先存储求得的每个类别的预测系数的集合，在类别分类自适应处理电路73中，用该每个类别的预测系数的集合，求得预测值即可。这种场合，能与图1所示的图像变换装置结构相同，构成类别分类自适应处理电路73。并且，只要利用前述的图3所示的学习装置，利用学习，预先求得每个类别的预测系数的集合，并将这些预先求得每个类别的预测系数的集合存储在系数RAM104中即可。

在图19中，借助于将注目象素的象素值以作为偏移量S的16进行校正，检测出预测误差E最初地成为极小的校正量Δ，但另外，也能对于例如注目象素的象素值能取的全部的值求得预测误差值E，检测其最小值，并基于这种场合的校正量Δ校正注目象素的象素值。这种场合，虽然在处理中花费时间，但能得到S/N更高的解码图像。

此外，在这种对于注目象素的象素值能取的全部的值求得预测误差值E的场合，注目象素的象素值的初始值也可以是任何的值(注目象素的象素值能取的范围内的值)。也就是说，这种场合，无论初始值是什么样的值都能求得预测误差E为最小的校正量Δ。

以上所述的处理与图21和图23说明了的处理相同。

工业上的实用性

在与本发明相关的图像信号编码装置和图像信号编码方法中，借助于发生象素数比原图像信号的象素数少的压缩图像信号，在构成所述原图像信号的象素的压缩象素的附近，设定作为假想的象素的假想象素，并由所述原图像信号算出该假想象素的象素值，将所述压缩象素的象素值的一部分置换成所述假想象素的象素值的一部分，以构成所述压缩图像信号的压缩象素中的1个作为注目象素，并由该注目象素附近的所述压缩象素和所述假想象素形成预测抽头的形成单元，以及由所述预测抽头和规定的预测系数预测所述原图像信号的预测值，算出由所述被预测的预测值组成的预测图像信号对于所述原图像信号的预测误差，并对应于所述预测误差校正构成所述压缩图像信号的压缩象素的象素值，就能不降低编码产率、并得到更加接近于原图像的解码图像。

在与本发明相关的图像信号解码装置和图像信号解码方法中，以构成所述编码图像信号的压缩象素中的1个作为注目象素，并由该注目象素附近的象素形成预测抽头，由所述预测抽头和规定的预测系数生成复原图像信号的象素值。借助于发生比原图像信号的象素数少的压缩图像信号，在构成所述原图像信号的象素的压缩象素附近设定作为假想的象素的假想象素，并由所述原图像信号算出该假想象素的象素值；将所述压缩象素的象素值的一部分置换成所述假想象素的象素值的一部分，以构成所述压缩图像信号的压缩象素中的1个作为注目象素，并由该注目象素附近的所述压缩象素和所述假想象素形成预测抽头，由所述预测抽头和规定的预测系数，预测所述原图像信号的预测值，算出由所述被预测的预测值组成的预测图像信号对于所述原图像信号的预测误差，对应于所述预测误差，校正构成所述压缩图像信号的压缩象素的象素值，从而发生所述被解码的编码图像信号。因此，在与本发明相关的图像信号解码装置和图像信号解码方法中，能得到更加接近于原图像的解码图像。

在利用与本发明相关的机器能解码的记录媒体中记录的记录信号是通过下述过程产生的，即借助于发生象素数比原图像信号的象素数少的压缩图像信号，在构成所述原图像信号的象素的压缩象素的附近，设定作为假想的象素的假想象素，并由所述原图像信号算出该假想象素的象素值，将所述压缩象素的象素值的一部分置换成所述假想象素的象素值的一部分，以构成所述压缩图像信号的压缩象素中的1个作为注目象素，并由该注目象素附近的所述压缩象素和所述假想象素形成预测抽头，由所述预测抽头和规定的预测系数预测所述原图像信号的预测值，算出由所述被预测的预测值组成的预测图像信号对于所述原图像信号的预测误差，和对应于所述预测误差校正构成所述压缩图像信号的压缩象素的象素值，从而发生的记录信号。因此，由该记录信号，能得到更加接近于原图像的解码图像。