考虑人类视觉特征的图像编码和解码方法及装置

摘要

本发明公开一种考虑人类视觉特征的图像编码方法和装置。该图像编码方法包括(a)对在景象单元中输入图像的图像质量分布进行建模以便在景象单元中输入的图像质量从评价区到背景区逐渐降低，(b)根据该图像质量分布的建模结果确定构建一景象的每个区域的量化参数，(c)根据该量化参数量化图像数据，和(d)对该量化的图像数据的熵进行编码。

说明书

技术领域

本发明涉及一种图像编码，且更特别地，涉及一种考虑人类视觉特征的图像编码和解码的方法和装置。

背景技术

一般而言，为了存储/传输目的将图像进行压缩。图1示出了常规图像压缩方法的流程图，其中，为了生成压缩的位流，顺序执行空间/时间预测编码(100)，变换编码(110)，量化(120)和熵编码(130)。在这种情况下，在量化操作120的过程中产生许多的损失。该有损压缩方法包括静止图像的有损压缩方法和活动图像的有损压缩方法。JPEG是有代表性的静止图像的有损压缩方法，而MPEG-1，2，4和H.261和H.263是有代表性的活动图像的有损压缩方法。

同时，在对图像进行编码时执行离散余弦变换(DCT)。在这种情况下，因为为了对整个图像执行DCT，计算的数量太大，所以将图像分割成预定大小的块，即8×8，然后再进行编码。而且，当执行量化时，如果使用每个单元块的量化参数对图像进行编码则信息的数量增加以致每个单元块的量化参数不同。因此，在整个图像中使用相同的量化参数。在MPEG-4和H.263系统中，为了对每个16×16的块通过2来调整量化参数而提供信息。然后，使用该信息达到精确的目标位率。

当使用这样的编码器时，在整个景象(scene)上显示具有相似图像质量的图像。然而，当用户观看图像时，用户认为评价区(region of interest)(ROI)的图像质量比背景区的图像质量更重要。这就是为什么用户能同时看到区域之间存在差异的原因。用户想更仔细地观看评价区(ROI)且略过背景区的其它细节部分。特别地，这种现象在活动图像中更显著。因此，当使用较少的位对图像进行编码时，评价区(ROI)图像质量的提高必须通过为评价区(ROI)分配比背景区更多的位，而不是通过对整个图像均匀分配位来达到。

在MPEG-4和H.263系统中，将一部分图像分割成区域并进行编码。在MPEG-4系统中，用户能使用超过中心面的形状编码来限定像素单元中的区域。上述方法主要用在MPEG-4中，因为操作可以在构成景象的每个对象单元中执行。每个对象使用不同的位流来进行编码，且使用上述结构能在MPEG-4中执行用户的交互作用。使用这种方法，将每个对象的ROI和背景区彼此分离以便对图像进行编码使其有不同的图像质量。然而，对象的分离处理过程是很复杂的。即使使用粗糙的形状将对象互相简单分离，在表示每个对象形状时另外还需要信息，因此降低了压缩率。

而且，在H.263系统中，使用附件K处切片结构模式将一部分图像分割成成组的连续宏块(MB)单元中的区域或某一矩形形状的成组宏块(MB)单元中的区域，并将能图像进行编码。用在H.263系统中的这种方法对误差有很强的作用。在使用多传输通道的环境中的重要部分通过在较好的环境中的传输通道传输以便提高传输效率且阻止在一个区域中出现的误差传到另一个区域中。在这种情况下，ROI可以使用矩形形状的切片结构来编码。然而，为了显示背景区，必须将一部分图像分割成几个矩形，因此，H.263系统的结构变得复杂。

在名称为“Motion-adaptive Modeling Scene Content for very low Bit RateModel assisted Coding of Video Sequences(视频序列的超低位率模型的辅助编码的活动自适应模型化景象内容)”的美国专利5764803中，将一部分图像分割成评价区(ROI)和背景区，然后对图像进行编码。然而，在每个区域中能变化的量化参数的范围有限。因此，由于在评价区(ROI)和背景区之间的图像质量的差异，能看见评价区(ROI)和背景区之间的边界。

而且，在名称为“System and Method for fine grannular scalable(FGS)Video with selective Quality Enhancement(具有选择性质量增强的细粒度伸缩性(FGS)视频的系统和方法)”的美国专利6263022中公开了一种用在包括一基层和一加强层的多传输通道环境中的压缩方法。该方法适合一种传输通道的环境，但是执行内预测是困难的，因此降低了编码效率。而且，虽然提高了评价区(ROI)的图像质量，但是却降低了整体编码的效率。因此，大大降低了背景区的图像质量。即，评价区和背景区之间的图像质量的差异增加了，所以在评价区和背景区之间显著地出现了边界。

而且，在名称为“Intra-frame quantizer Selection for Video Compression(视频压缩的帧内量化器选择)”的美国专利6256423中公开了一种压缩方法，其中定义评价区(ROI)和背景区、在评价区(ROI)和背景区之间的过渡区且确定了各区之间的量化参数。在该方法中，因为过渡区，可稍微阻止在评价区(ROI)和背景区之间的边界出现的现象。然而，每个区域的量化参数的范围有限，且当在一部分区域中存在n个评价区(ROI)时也需要n个过渡区，因此编码方法将变得复杂。此外，为了使区域之间的边界变得光滑，还需要在过渡区和另一个区域之间的另一个过渡区。结果，确定每个区域的量化参数是困难的。为了解决这个问题，也已经使用了迭代选择量化参数的方法，但是该方法导致计算量的增加。

发明内容

本发明提出一种图像编码和解码的方法和装置，其阻止了在评价区(ROI)和背景区之间的边界在图像中形成且该方法通过考虑人类视觉特征需要较小的计算量。

本发明进一步提供一种图像编码和解码的方法和装置，通过该方法和装置，当对图像进行编码和解码时，通过使用多个矩形区域有效执行了对评价区(ROI)的编码和解码。

本发明进一步提供一种记录介质，在该记录介质上，将图像编码和解码的方法记录为通过计算机可执行的程序代码。

根据本发明的一个方面，提供一种图像编码方法。该图像编码方法包括(a)对在景象单元中输入图像的图像质量分布进行建模以便在景象单元中输入的图像质量从评价区到背景区逐渐降低，(b)根据图像质量分布的建模结果确定构成景象的每个区域的量化参数，(c)根据量化参数量化图像数据，和(d)对量化的图像数据的熵进行编码。

根据本发明的另一方面，提供一种图像编码装置。该图像编码装置包括：一图像质量建模单元，用于对在景象单元中输入图像的图像质量分布进行建模以便在景象单元中输入的图像质量从评价区到背景区逐渐降低，且根据图像质量分布的建模结果，确定构成景象的每个区域的量化参数；一自适应量化单元，用于根据由图像质量建模单元确定的量化参数量化图像数据；和一熵编码单元，用于对通过自适应量化单元量化的图像数据的熵进行编码。

根据本发明的另一方面，提供一种图像解码方法。该图像解码方法包括(a)解码图像数据，该图像数据包括每个区域的位置和大小信息以及在一接收位流中的量化参数的值，(b)使用每个区域的位置和大小的信息以及在(a)中恢复的量化参数的值来确定每个区域的量化参数的值以便使图像质量从评价区到背景区逐渐降低，(c)使用量化参数的值对解码的图像数据进行逆量化，和(d)根据与在(a)中恢复的每个区域的位置的值相符的相应位置，为每个区域增加恢复的图像并构建一景象。

根据本发明的另一方面，提供一种图像解码装置。该图像解码装置包括：一熵解码单元，用于对图像数据的熵进行解码，该图像数据包括每个区域的位置和大小信息以及在接收位流中的量化参数的值；一图像质量建模单元，使用每个区域的位置和大小信息和通过熵解码单元恢复的量化参数的值确定每个区域的量化参数的值，以便使图像质量从评价区到背景区逐渐降低；一自适应逆量化单元，根据由图像质量建模单元确定的每个区域的量化参数的值，对通过熵解码单元提供的图像数据进行逆量化；和一图像构建单元，根据与通过熵解码单元提供的每个区域的位置的值相符的相应位置，为每个区域增加恢复图像并构建一景象。

根据本发明的另一方面，提供一种图像编码装置。该图像编码装置包括：一切片建模单元，将每个图像分割成至少一个独立的切片；一图片首部编码单元，将通过切片建模单元分割的切片的位置和大小信息连同其他信息一起编码为一图片首部；和一切片编码单元，通过参照图片首部信息，对切片单元中的图像进行编码。

根据本发明的另一方面，提供一种图像解码装置。该图像解码装置包括：一图片首部解码单元，用于对在位流中的图片首部进行解码；一切片构建单元，使用在图片首部信息中的切片的位置和大小信息构建切片；一切片解码单元，通过参照图片首部，对切片单元的图像进行解码；和一图像构建单元，通过参照由切片构建单元获得的切片的位置和大小的信息，将通过切片解码单元恢复的切片单元中的图像构建为图像的一部分。

根据本发明的另一方面，提供一种图像编码方法。该图像编码方法包括(a)在一部分图像中设置切片的位置和大小，(b)将在(a)中设置的切片的位置和大小信息连同其他信息一起编码为一图片首部，和(c)通过参照在(b)中编码的图片首部信息，在切片单元中对图像进行编码。

根据本发明的另一方面，提供一种图像解码方法。该图像解码方法包括(a)对在位流中的图片首部进行解码，(b)使用包括在(a)中解码的图片首部的切片的有关位置和大小信息构建切片，(c)通过参照在(a)中解码的图片首部，在切片单元中对图像进行解码，(d)通过参照切片的有关位置和大小的信息，将在(c)中解码的切片单元中的图像构建为一部分图像。

根据本发明的另一方面，提供一种图像编码方法，其中将图像分割成具有预定大小的切片单元并对其进行编码。该图像编码方法包括：限定多个矩形区域的有关位置和大小的信息，其中将评价区包括在图像中并且较大的矩形包括较小的矩形；对包括在多个矩形区域中最小的内矩形区域的所有切片进行编码；对排除内矩形区域的外矩形区域没有与较小的内矩形重叠的切片进行编码；和将没有包括在最外边的外矩形区域的区域限定为背景区且对包括在背景区中的切片进行编码。

根据本发明的另一方面，提供一种图像解码方法，其中将图像分割成具有预定大小的切片单元并对其进行编码，将图像分割成背景区和评价区，且将图像在位流中进行解码，该位流通过多个矩形区域来限定，其中将评价区包括在图像中且较大的矩形包括较小的矩形。该图像解码方法包括：对包括位流中的评价区的多个矩形区域的每个的位置和大小信息进行提取；对包括在多个矩形区域中的最小的内矩形区域中的所有切片进行解码；仅解码在切片中排除内矩形的外矩形没有与较小的矩形重叠的切片；和对没有包括在多个矩形区域中的背景区中的所有切片进行解码。

附图说明

结合附图，通过对优选实施例的详细描述，本发明的上述和其它特征和优点将变得更加明显，其中：

图1示出了常规的图像压缩方法的流程图；

图2示意性示出了根据本发明一个实施例的考虑人类视觉特征的图像编码装置的框图；

图3示出了根据本发明一个实施例在图2中的图像编码装置中执行图像编码方法的流程图；

图4A和4B示出了在一景象中确定一评价区(ROI)、一插入区和一背景区的步骤；

图5A到图5C示出了将现有技术的图像质量的分布和本发明的图像质量的分布进行比较的曲线图；

图6A到6C示出了通过图2中的图像质量建模单元确定量化参数的特征；

图7A和7B示出了在线性或非线性量化方法中根据量化参数的变化表示位的数量与图像质量的关系；

图8A到8C示出了将根据本发明的图像编码方法应用到实际图像中的情况与将常规编码方法应用到实际图像中的情况的比较；

图9示意性示出了根据本发明一个实施例的考虑人类视觉特征的图像解码装置的框图；

图10示出了根据本该发明一个实施例在图8中的图像解码装置中执行图像解码方法的流程图；

图11示出了根据本发明一个实施例的图像编码装置的框图；

图12示出了在图11中的图像编码装置中执行图像编码方法的流程图；

图13示意性示出了根据本发明另一个实施例的图像解码装置的框图；

图14示出了在图13中的图像解码装置中执行图像解码方法的流程图；

图15A和15B示出了根据本发明处理切片的方法；

图16示出了将根据本发明的编码方法应用到实际图像中的情况与将常规编码方法应用到实际图像中的情况的主观图像质量的比较；以及

图17示出了将根据本发明的编码方法应用到实际图像中的情况与将常规编码方法应用到实际图像中的情况的客观图像质量的比较。

具体实施方式

下文中，将参照附图详细描述根据本发明的考虑人类视觉特征的图像编码和解码方法及其装置。

图2示意性示出了根据本发明一个实施例的考虑人类视觉特征的图像编码装置的框图。参照图2，图像编码装置包括一图像质量建模单元140，一预测编码单元145，一变换编码单元150，一自适应量化单元155，和一熵编码单元160。

图像质量建模单元140在景象单元中建立输入图像的图像质量分布模型以便在景象单元中输入的图像的图像质量从评价区(ROI)到背景区逐渐降低。而且，图像质量建模单元140根据图像质量分布的建模结果确定构成一个景象的每个区域的量化参数。

预测编码单元145对输入的图像进行预测编码，而变换编码单元150对预测编码过的输入图像进行变换编码。在这种情况下，为了简化编码计算，预测编码单元145和变换编码单元150在具有预定大小的块单元中执行编码。

自适应量化单元155根据由图像质量建模单元140确定的量化参数来对每个MB的图像数据进行量化。

熵编码单元160对通过自适应量化单元155量化的图像数据的熵进行编码。

图3示出了根据本发明一个实施例在图2中的图像编码装置中执行图像编码方法的流程图。

现在，将参照图2和3来描述图2中的图像编码装置的操作。

首先，在步骤200中，图像质量建模单元140对在景象单元中的输入图像进行图像质量分布的建模以便在景象单元中输入的图像的图像质量从评价区(ROI)到背景区逐渐降低。在步骤200之后，在步骤210中，图像质量建模单元140根据图像质量分布的建模结果，确定构成一个景象的具有预定大小即8(像素)  8或16 16的每个块的量化参数并将该确定的量化参数提供给自适应量化单元155。

因为图像质量建模单元140对图像质量进行建模以便输入图像的图像质量从评价区(ROI)的中心区域到背景区逐渐降低，所以量化参数在评价区(ROI)中是小的且逐渐朝向背景区增加。量化参数通过位标(bit target)来确定。这里，图像质量建模单元140能对图像质量进行建模以便图像质量分布具有高斯分布。另外，图像质量建模单元140在每个景象的评价区(ROI)和背景区之间能设置一预定的插入区，且能对图像质量分布进行建模以便在评价区(ROI)的中心获得最好的图像质量且每个区域的图像质量将在背景区降低，但是在背景区中的差异在插入区是不显著的。例如，图像质量建模单元140能在一个景象中确定评价区(ROI)250和背景区260，如图4A所示，且能设置插入区300来去除块现象，该块现象是由在彼此互相连接的区域中的区域之间的图像质量的差异引起的，如图4B所示。图像质量建模单元140通过对图像质量进行建模来确定量化参数以便将图像质量自然地在插入区中连接。在插入区中的量化参数可以线性或非线性变化。图像质量的建模将参照图5和6来详细描述。

在步骤210之后，在步骤220中，自适应量化单元155输入每个区域的预测编码和变换编码图像数据，而图像质量建模单元140根据由图像质量建模单元140确定的量化参数量化每个区域的图像数据。同时，通过图像质量建模单元140提供的量化参数从景象的评价区(ROI)到背景区增加，因此通过量化引起的损失程度是不同的。即，最少的损失是在评价区(ROI)的中心，在该评价区中是最吸引人的眼睛的，损失朝向背景区增加，在该背景区中，相对少地吸引人的眼睛。

在步骤220之后，在步骤230中，熵编码单元160对通过自适应量化单元155量化的图像数据的熵进行编码并输出图像数据的编码的熵作为位流。

如上所述，通过考虑人类视觉特征对预定图像质量进行建模，量化参数从评价区(ROI)到背景区逐渐增加，因此有效地去掉在区域间的块现象，同时提高了编码效率。

图5A到5C示出了将现有技术的图像质量的分布和本发明的图像质量的分布进行比较的曲线图。在图5A到5C中，X轴和Y轴分别代表每个图像的空间域，而Z轴代表图像质量。且假定图像的评价区(ROI)是景象的中间部分。

图5A示出了图像质量建模单元140对一个景象中图像质量分布进行建模，使得在评价区(ROI)的中心具有高斯分布的图像质量分布的情况。参照图5A，图像质量分布在图像的中心平均具有两维高斯分布，其中最好的图像质量是在评价区(ROI)中获得且图像质量将在背景区中逐渐降低。在这种情况下，在图像质量中变化的斜率可根据X和Y轴的离散(dispersion)值来调整。可根据评价区(ROI)的数量形成不同的图像质量分布。此外，在这种情况下，在一个景象中对由图像质量分布引起的量化参数分布进行建模并传送其模型，而不是对每个单元块的量化参数进行编码并传送该量化参数。例如，如果相当于评价区(ROI)的中心的单元块的位置和离散值被传输，则所有单元块的量化参数可在接收器中自动计算出来。

图5B示出了在评价区(ROI)和背景区之间放置插入区以便减少图像质量中快速差值的情况。在这种情况下，将一个量化参数分配给每个区域。量化参数变化的间隔根据区域的大小来设置。不需要通过在编码器和解码器中设置相同的规则将附加信息插入在间隔中。例如，在矩形区域的情况下，如果将相当于每个宽度和长度20％的区域设置为一间隔，在该间隔中，量化的参数是变化的，则可将变化的量化参数应用到相当于来自每个区域的外边的20％的块的区域中并对其进行编码。即使当解码量化参数时，将变化的量化参数应用到相当于20％的部分，这样对变化的量化参数可进行正确地编码。而且，通过在编码器和解码器中使用相同的量化方法，在没有插入有关改变量化参数的方法的附加信息的情况下，量化参数根据预设的规则可以变化。

图5C示出了将现有技术中一个景象分成评价区(ROI)和背景区的情况的图像质量的分布。在这种情况下，由于在两个区域之间的图像质量的不同，发生在两个区域之间的边界出现块现象，因此破坏了图像质量。

最后，参照图5A和5B，图像质量从评价区(ROI)到背景区逐渐降低，且因此用户不能感觉到在评价区(ROI)和背景区之间的图像质量的差异。然而如图5C所示，由于在评价区(ROI)和背景区之间的图像质量的快速差异，用户感觉到块现象。

图6A到6C示出了通过图2中的图像质量建模单元140确定量化参数的特征。为方便起见，假定将空间域的0-2和8-10设置为背景区，将空间域的2-8设置为评价区(ROI)，且量化参数从0-31变化。

图6A示出了在图4B或5B的插入区域中量化参数线性变化的情况，图6B示出了在图4B或5B的插入区域中量化参数非线性变化的情况。参照图6A和6B，量化参数被确定以便在评价区(ROI)和背景区之间的图像质量的差异不是快速变化而是在评价区(ROI)和背景区之间的插入区中逐渐变化。图6C示出了在没有常规插入区的情况下当将景象分割成评价区(ROI)和背景区时量化参数的特征，且在图6C中，在评价区(ROI)和背景区之间的量化参数的差异是快速的。因此，块现象可能出现在评价区(ROI)和背景区之间的边界处。

同时，量化参数的线性/非线性特征可以通过量化方法的特征来确定，如图6A和6B所示。即，根据在量化参数中的变量来确定位的数量和图像质量是线性变化还是非线性变化。

图7A和7B示出了在线性或非线性量化方法中根据量化参数的变化，表示位的数量与图像质量的关系，且在图7A和7B中使用MPEG-4和H.26L编码器。

图7A示出了根据量化参数变化的图像质量的变化，并示出了MPEG-4编码器具有非线性特征和H.26L编码器具有线性特征。此外，图7B示出了根据量化参数变化的位数量中的变化，并示出了MPEG-4编码器具有非线性特征和H.26L编码器具有线性特征。即，线性或非线性改变量化参数的方法使通过量化方法来确定，因此不需要传输附加信息。而且，位的数量在评价区(ROI)中减少，且位的数量朝向背景区增加。因此，位的所有数量没有大的变化且不需要附加计算。

图8A到8C示出了将根据本发明的编码方法应用到实际图像中的情况与将常规编码方法应用到实际图像中的情况的比较。图8A示出了使用根据本发明的自适应量化方法的情况，且图8B示出了在图像的中间部分形成矩形评价区(ROI)、将景象的区域分割成两个区域，且在每个区域中对不同的量化参数进行编码的情况。而且，图8C示出了在没有分割评价区(ROI)的情况下，在景象的所有块中对相同的量化参数进行编码的情况。

参照图8A到8C，图像的主观图像质量通过使用评价区(ROI)的编码来得到提高，如图8B所示，而不是在所有块中使用相同的量化参数，如图8C所示。然而，形成了在ROI和背景区之间的边界。由于边界现象，限制了在评价区(ROI)和背景区之间的图像质量的产生差异从而限制了编码ROI的效率。然而，在图8A中的自适应编码方法的情况中，在ROI和背景区之间设置插入区，图像质量在插入区中逐渐变化以便在两个插入区之间的图像质量的差异没有出现显著变化。

图9示意性示出了根据本发明一个实施例的考虑人类视觉特征的图像解码装置的框图。参照图9，图像解码装置包括一图像质量建模单元300，一熵解码单元310，一自适应逆量化单元320，一图像恢复单元330和一图像构建单元340。

图10示出了根据本发明一个实施例在图8中的图像解码装置中执行图像解码方法的流程图。参照图9和10，熵解码单元310接收一位流并对属于每个区域的数据的位流进行解码。在步骤410中，在位流中对包括每个区域位置信息的图像数据、量化参数的值和每个区域的大小进行解码。

在步骤420中，图像质量建模单元300使用通过熵解码单元310进行解码的每个区域的位置和大小信息和数据的量化参数值来确定相应区域的量化参数的值。图像质量建模单元300将量化参数的值提供给自适应量化单元320。在这种情况下，量化参数的值可设置为在预定间隔处逐渐变化以便在每个区域之间的量化参数的值没有快速变化。如上参照图5A到5C和6A到6C所述的，图像质量分布可被建模为集中在评价区(ROI)具有高斯分布，或在ROI和背景区之间可以放入一插入区以便减少在图像质量中的快速变化。这样，在上述编码方法中执行设置一个间隔，其中通过图像质量建模单元300确定的每个区域的量化参数的值是变化的，或执行对一量化参数的改变。

在步骤430中，使用由图像质量建模单元300确定的量化参数的值，自适应逆量化单元320逆量化通过熵解码单元310传送的每个块的数据或数据f。

在步骤440中，图像恢复单元330对具有预定大小的每个块执行逆变换，补偿预测信息并恢复图像。

在步骤450中，图像构建单元340根据与由熵解码单元310提供的每个区域的有关位置的信息相符的相应位置，通过将每个区域的恢复图像增加到图像一部分中而构建一景象。

将上面描述的根据本发明的自适应图像解码装置的结构和操作用于对在通过图2中的自适应图像编码装置编码的图像进行解码。该操作是逆向执行自适应图像编码装置中的操作，并如编码方法中的执行设置其中每个块的量化参数的值是变化的一个间隔，或改变在自适应图像解码装置中执行的量化参数。这样，为方便起见，这些操作将不再在这里重复。

图11示出了根据本发明一个实施例的图像编码装置的框图。参照图11，根据本发明的图像编码装置包括一切片建模单元1100，一图片首部编码单元1200和一切片编码单元1300。切片编码单元1300包括一空间/时间预测编码部分1310，一变换和量化部分1320，和一熵编码部分1330。

切片建模单元1100将图像1000分割成至少一个独立的切片以便由用户独立地对任意期望的区域进行编码。即，切片建模单元1100可以限定ROI为矩形区域且可以构建ROI和多个独立切片的ROI外面的区域。此外，在图像1000的一部分中，切片建模单元1100可以构建一区域以便用几个矩形区域使一大的矩形区域与一小的矩形区域重叠，且可以构建一小的矩形区域和一没有与在多个独立切片中的小的矩形区域重叠的大的矩形区域。

图片首部编码单元1200对在图像中解码所有切片所需的公共信息进行编码并将该编码的信息传输到切片编码单元1300中。在这种情况下，切片的数量，形状，位置和大小都包括在传输信息中。

通过参照从图像首部编码单元1200中输入的图片首部信息，切片编码单元1300在切片单元中对图像进行编码。为此，空间/时间预测编码部分1310去掉空间和时间重叠信息。变换和量化部分1320对空间/时间预测编码部分1310的输出执行预定的变换例如DCT，并量化一变换参数。熵编码部分1330对该变换和量化部分1320的输出的熵进行编码且并产生一压缩位流。

当通过网络对图像进行编码和传输时，切片编码单元1300将图像分割成切片单元。特别地，将图像分割成矩形切片单元并对其进行编码，这样，减少了切片内预测损失。而且，使用分割成矩形内和外区域的切片结构，执行ROI编码和画中画(PIP)编码。这里，在ROI编码中，将图像分割成评价区(ROI)和背景区，ROI的图像质量提高了，且背景区的图像质量降低了以便使用严格的位率提高主观的图像质量。在PIP编码中，可对包括矩形切片的部分进行独立解码以便象其他图像一样利用该部分。

根据本发明，当包括多个切片的矩形区域与另一个矩形区域重叠时，将在重叠区域和背景区域之间的预定区域设置为插入区以便在ROI编码操作中，由于在ROI和背景区之间的图像质量的快速变化，阻止了主观图像质量的降低。此外，在PIP编码操作过程中，可使用具有各个尺寸的PIP。

图12示出了在图11中的图像编码装置中执行的图像编码方法的流程图。参照图12，如果设置独立处理的矩形区域的位置和大小，则在步骤1400中，切片建模单元1100将相应的矩形区域分割成至少一个独立切片。在步骤1500中，图片首部编码单元1200对图片首部进行编码，且在步骤1600中，对切片的编码通过切片编码单元1300执行。

这里，切片编码(步骤1600)包括空间/时间预测编码，以去掉存在于切片单元中的图像的空间和时间上重叠的信息(步骤1610)，执行预定的变换，例如DCT，并对去掉重叠信息的数据进行量化(步骤1620)，且对量化数据的熵进行编码并生成一压缩的位流(步骤1630)。

图13示意性示出了根据本发明另一个实施例的图像解码装置的框图。参照图13，根据本发明的图像解码装置包括一图片首部解码单元2000，一切片构建单元2100，一切片解码单元2200和一图像构建单元2300。该切片解码单元2200包括一熵解码部分2210，一逆量化和逆变换部分2220，和一图像恢复部分2230。

图片首部解码单元2000对通过网络接收的位流中的图片首部信息进行解码。将有关每个解码的矩形区域的切片的数量、形状、位置和大小信息传输到切片构建单元2100中，且将其它的信息传输到切片解码单元2200中。

响应通过图片首部解码单元2000传输的每个解码的矩形区域的切片的数量、形状、位置和大小信息，切片构建单元2100选择切片的位置，处理矩形区域的重叠部分并构建切片。矩形区域的重叠部分的处理将在下面参照图15来描述。

通过参照从图片首部解码单元2000输入的图片首部信息，切片解码单元2200对切片单元中的图像进行解码。为此，熵解码部分2210对位流的熵进行解码，且逆量化和逆变换部分2220对熵解码的位流执行逆量化和逆变换。而且，图像恢复部分2230补偿逆量化和逆转换部分2220的输出数据的空间/时间预测编码信息并恢复该图像。在这种情况下，响应通过切片构建单元2100输入的信息，将在切片单元中恢复的图像增加到通过图像构建单元2300构建的一部分图像中。

将根据本发明具有上述结构的图像解码装置用来解码通过图11中的图像编码装置编码的图像。图像解码装置的操作与图像编码装置的操作反向执行。然而，图像解码装置的切片处理操作的基本特征与图像编码装置的相同。因此，为简洁起见，这些操作将不再在这里重复。

图14示出了在图13的图像解码装置中执行的图像解码方法的流程图。参照图14，在步骤2500中，将图片首部信息在接收的位流中进行解码。在这种情况下，在步骤2600中，有关每个解码的矩形区域的切片的数量、形状、位置和大小的信息通过切片构建单元2100传输，且响应输入的信息，切片构建单元2100选择切片的位置，处理矩形区域的重叠部分并构建切片。在步骤2700中，在构建的切片上执行解码，且在步骤2800中，通过参照切片的位置和大小而构建图像。

这里，切片解码(步骤2700)包括对位流的熵进行解码(步骤2710)，对熵解码的数据执行逆量化和逆转换(步骤2720)，并对经过逆变换的数据补偿空间/时间编码信息(步骤2730)。

图15A和15B示出了根据本发明处理切片的方法。参照图15A，图像500的一部分包括两个矩形区域502和503和一背景区域504。这两个矩形区域502和503互相重叠。而且，两个矩形区域502和503和背景区域504由多个独立的切片组成。

将两个矩形区域502和503中的较小的矩形区域502完全包括在较大的矩形区域503中。在这种情况下，较大的矩形区域503表示没有与较小的矩形区域(有阴影的部分)502重叠的一部分，从该部分中排除较小的矩形区域502(从较大的矩形区域503中排除有阴影部分的区域)。在这种情况下，较小的矩形区域502包括用户认为在图像500的图片中较重要的区域，即评价区(ROI)，且将较大的矩形区域503用作放在ROI501和背景区504之间的插入区。这里，包括ROI501的较小的矩形区域和用作插入区的较大的矩形区域503，使用左上位置信息520和510和右下位置信息521和511来表示每个矩形区域的位置和大小的信息。如上所述，这两个矩形区域502和503以及背景区域504包括多个独立的切片且在切片单元中对其进行编码和解码。而且，当对示出在图15A中的图像进行解码和编码时，优选地，按照较小矩形区域502、较大矩形区域503、和背景区域504的顺序对图像进行编码，并且可以通过根据编码的矩形区域的顺序分配区域号来识别区域。例如，如图15A所示，可以将区域id＝0的号分配给最先编码的矩形区域502，且将区域id＝1的号分配给下一个编码的矩形区域503，而将id＝2分配给背景区域504。

同样地，在ROI501和背景区504之间设置插入区503，以便有效地减少在ROI和背景区之间的边界的出现。

这里，可对构成较小的矩形区域502的多个切片独立进行编码。因此，当不需要对整个图像进行解码时，仅对构成包括ROI的较小矩形区域502的切片进行编码。在这种情况下，从较小的矩形区域502中恢复的图像变为画中画(PIP)。将从较大的矩形区域503中恢复的图像增加到从较小的矩形区域502中恢复的图像中，并构成另一个较大的PIP。因此PIP可以逐步地构建作为在一部分图像中的矩形区域的号，即可从较小的图像到较大的图像来表示。

在图15B中，图像600的一部分包括三个矩形区域603、604和605以及背景区606。两个矩形区域603和604没有互相重叠而重叠在另一个矩形区域605中。而且，这三个矩形区域603、604和605以及背景区606包括多个独立的切片。

参照图15B，两个矩形区域603和604中的每一个包括不同的ROI601和602，这两个不同的ROI是用户认为在图像600的切片中的较重要区域。这里，包括ROI601和602的较小的矩形区域603和604和用作插入区的较大的矩形区域605使用左上位置信息630、620和610和右下位置信息631、621和611来表示有关每个矩形区域的位置和大小的信息。如上所述，这三个矩形区域603、604和605以及背景区域606由多个独立的切片组成且在切片单元中对其进行编码和解码。而且，当对示出在图15B中的图像进行解码和编码时，优选地，按照较小矩形区域603和604、较大矩形区域605、和背景区域606的顺序对图像编码，且通过根据编码的矩形区域的顺序分配区域号来识别区域。例如，如图15B所示，可以将区域id＝0的号分配给最先编码的矩形区域603，且将区域id＝1的号分配给下一个编码的矩形区域604，将区域id＝3的号分配给下一个编码的较大的矩形区域605，而将id＝4分配给背景区域606。

同样地，在ROI601和602以及背景区606之间设置插入区605，以便有效地减少在ROI和背景区之间的边界的出现。

这样，ROI编码或PIP编码通过使用切片结构能有效地执行，其中矩形区域的里面是ROI，而矩形区域的外边是背景区域。特别地，如上所述，几个矩形区域被互相重叠，以便减少在区域之间的边界且能支持具有各种尺寸的PIP。此外，对包括ROI的切片进行编码使得对误差有更强作用以便可在具有误差的传输环境中获得较好的主观图像质量。

图16示出了将根据本发明的编码方法应用到实际图像中的情况与将常规编码方法应用到实际图像中的情况的主观图像质量的比较。参照图16，左列表示使用常规编码方法的主观图像质量，而右列表示使用根据本发明的编码方法的主观图像质量，示出了20％的分组有损率的结果。在图16中，注意的是提高了评价区(ROI)的图像质量从而提高了整个主观图像质量。而且，ROI更加受到保护而免于误差以便提高整个主观图像质量。

图17示出了将根据本发明的编码方法应用到实际图像中的情况与将常规编码方法应用到实际图像中的情况的客观图像质量的比较。参照图17，左列表示在整个图像中的PSNR，且右列表示在评价区(ROI)中的PSNR。在图17中，应注意的是使用根据本发明的编码方法的整个图像中和ROI中的PSNR比使用常规的编码方法改善了。

此外，本发明可作为在计算机可读取的记录介质上的计算机可读取的代码来实现。计算机可读取的记录介质包括各种记录装置，在这些记录装置上可存储计算机可读取的数据。计算机可读取的记录介质包括ROM、RAM、CD-ROM、磁带、软磁盘和光学数据存储装置，且进一步包括载波(即在因特网上传输)。将计算机可读取的存储介质安装在与网络连接的计算机系统上，因此能以分散的方式存储和执行计算机可读取的代码。

如上所述，根据本发明的考虑人类视觉特征的图像编码方法和装置，将景象分割成评价区(ROI)和背景区，且执行对图像质量分布的建模以便在ROI和背景区之间的图像质量的差异不是快速的，由此提高了图像质量。此外，ROI编码可通过使用矩形区域而有效地执行，对每个区域在切片单元中进行独立地编码和解码。特别地，矩形区域彼此互相重叠以便有效地防止了在ROI和背景区之间的边界的出现，由此提高了主观图像质量。进一步，不需要迭代调整每个区域的量化参数，以便符合位的给定数量，因此不需要较大的计算量。

虽然已经参照本发明优选实施例示出并说明了本发明，但是可以理解的是，在没有背离通过所附权利要求限定的本发明的实质和范围的情况下，本领域普通技术人员可以在形式和细节上对本发明做出各种改变。