一个数字化图像的向量量化和逆向量量化的方法和设备

摘要

在向量量化一个数字化图像时,选择将被量化图像范围(QB)小于例如一个图像(B)的图像块(BB)。在重现时,内插和/或外插没有位于将被量化图像范围(QB)内的像素(NBP)。

说明书

本发明涉及一个数字化图像的向量量化和逆向量量化。

向量量化和与之联系的逆向量量化被用于数字化图像的编码和压缩。它的基础是将图像分到二维的图像范围内并且确定一个代码字，上述代码字以最详细的方式说明关于一个可预先给定的类似的测量的当时要量化的图像范围。代码字是向量，这个向量首先作为一个标准向量组存储在一个所谓的代码手册中。在这个代码手册中，将向量影射在说明将量化的图像范围的图像信息中。从这个以前的方法中，得出向量量化的概念。

在一个图像范围下，在这个文件的框架下，理解当时将被量化的数字图像的象素组。图像范围可能具有一个任意的形状和大小。

另外一个向量被称作量化向量，这个向量被包括在一个代码手册中并且它作为图像信息的向量元素值。上述图像信息将被量化。

一个向量被称作图像向量，这个向量分别说明一个图像范围，并且这个向量包括各个图像范围的将被量化的图像信息作为向量元素。

在图像信息下，例如是亮度信息，一个属于各自象素的亮度值，例如是色度信息，一个属于各自象素的色度，或者是频谱系数例如DCT变换系数(离散余弦变换)。

这里还公开了对二维的矩形的图像范围中将被编码的数字化图像的分类[1]。这时还对所谓的图像块中的图像象素分类。

一般的亮度值和/或色度值属于图像块的象素。各个象素的亮度值和/或色度值分别作为图像向量的元素构成将被量化的图像向量。这时将被量化的图像向量在这个已知的方法中和代码手册的量化向量组比较，上述代码手册中的量化向量一般首先被存储并且例如存储在一个只读存储器(ROM)中。选择代码手册的那一个量化向量，这个向量关于一个预先给定的类似比例和图像向量最类似。作为类似比例，一般使用图像向量和量化向量的单独元素平方差的和。如果确定“最好的”量化向量，那么一般为了标识量化向量确定代码手册的索引。另外这个索引被称作代码手册的纪录。使用该纪录清楚的标识各个量化向量。然而同样可能独自使用量化向量作为代码手册的纪录。一般对代码手册的纪录编码并且传输到一个接收者。    

为了再现数字化的图像，当在接收者中存在的代码手册中解码后，接收到的纪录被映射在量化向量上，并且它为了再现数字化的图像使用量化向量作为近似的图像信息。

通过这种以前的方法，显著降低了传输数字化图像的图像信息的必需的传输速率，因为当时仅必需传输代码手册的纪录而不是传输各个图像块的全部图像向量。

在文件[2]中另外公开了充分利用量个图像块间的校正，以便于因此能另外降低必需的传输速率。在文件[1]中说明的方法被称作有限状态向量量化(FSVQ)。当前输入向量的各自状态通过当时在此之前直接进行的编码即被量化的图像向量或者量化向量来定义。有限状态向量量化是一类向量量化，这类向量量化使用数字存储器[2]。

在文件[1]中另外说明有限状态向量量化(FSVQ)的方法：所谓的侧面匹配向量量化(SMVQ)和所谓的重叠匹配向量量化(QMVQ)。

两种方法解决在对图像块编码时块方式参数产生的问题。

在SMVQ方法中，假定能够使用第一阶的马尔可夫过程说明将被量化图像的行和列的亮度信息的分配，即假设属于象素的相邻行和列的亮度值被相互高度校正。在这个假设下，在一个将被编码的图像块的图像块边缘上的各个象素包括首先被编码的、相邻的图像块的大部分图像信息。构成了所谓的状态代码手册，这个代码手册包括代码字，代码字包括边缘图像点，这些边缘图像点和首先提到的被编码的边缘图像点相比具有大的类似性。为了选择用于各个图像块的代码手册中最匹配的量化向量使用状态代码手册。SMVQ或者FSVQ的优点是对于通过量化向量没有最佳说明图像向量的情况，产生的错误对于重现图像的观察者来说根据相邻图像决的校正常常不能被过多地看到。

在OMVQ方法中，为了量化图像块，通过部分的重叠相邻图像块的行和列的部分来实现。为了确定用于各个图像块的量化向量，在相同的方法中，象在FSVQ方法或者SMVQ方法中一样，预先进行。在重现图像时，各个图像块通过下面方法再次恢复到原始大小：使用象素的一行或者一列限制图像块之间的重叠的行或者列，重叠象素的亮度值或者色度的平均值分配给上述象素。

已经公开的方法具有一些显著的缺点。其中一个是方法太复杂，这导致在通过计算机执行这些方法时显著的计算时间要求。

在文件的框架下，可以将计算机不仅理解一个电气数据处理设备而且还是任意一个具有一个处理器的装置，使用上述处理器可以处理数字数据。

另外已经公开的方法的假设一个马尔可夫过程，即数字化图像的相邻象素的高度校正。在这个方法中，一个关于以前已经编码的图像块的信息的附加的说明和考虑是必需的，这将再次导致要求提高必需的传输速率。

在[3]中说明向量量化的原理。

因此本发明基于的任务是说明一个用于向量量化和逆向量量化一个数字化的图像的方法，在这个方法中避免了已经公开的方法的缺点。

此任务通过根据权利要求1的方法和根据权利要求8的装置解决该问题。

数字化的图像被分为至少一个将被量化的图像范围和至少一个不被量化的图像范围。将被量化的图像范围通过映射图像范围的图像信息到代码手册中至少一个纪录上来实现。这个映射还被称作向量量化。代码手册的各个纪录被分配给图像范围，在重现数字化的图像时，将纪录映射到在代码手册中分配给纪录的近似的图像信息上。在使用近似的图像信息的条件下，重现各个图像范围。象素，即还没有被量化的数字化图像的范围，通过对至少一个已被量化的图像范围的图像信息的内插法和/或外插法来重现。

使用这个十分简单的方法，可能不必量化全部数字化图像，而仅需量化数字化图像的一部分范围。

相对于已经公开的方法，还不是必需通过第一阶的马儿可夫过程可以说明图像信息的过程。

该方法相对于已经公开的方法在执行上显著简化。这导致显著降低了为了量化和逆量化和因此全部编码或者解码数字化图像对计算能力的要求。

本发明优选的另外改进从从属权利要求中得出。

通过下面方法降低在传输图像中所必需的带宽需求：将被量化的图像范围的大小被适合的设计，即例如依赖于数字化图像的语义，选择与将被量化图像范围大小不同的图像范围。使用这种方法，例如图像信息的范围内，在十分均匀的具有较高冗余的图像范围中，达到将被量化的图像范围的微小的大小，以便于能够保证已经构造的图像具有好的质量。另一方面，例如在图像的范围中，这种图像具有十分详细的结构，较大的图像范围的量化时必需的，以便于能够在实际上很好的模拟这些。如果量化较小大小的图像范围，那么内插超过较大数量的未被量化的图像范围的象素，并且相反的仅外插超过很小数量的未被量化的图像范围的象素。

因此在图像语义上的必需的传输速率可能有一个最佳匹配。

另外可以优选考虑关于图像的基本知识，例如对于图像信息十分均匀图像范围的基本知识；和在选择将被分别量化的图像范围的大小时，十分详细布置的图像范围的基本知识。还通过这个另外的设计，实现改善必需的传输速率。

在附图中说明了本发明的实施例，并且进一步的详细说明。

图中：

图1一个具有象素的一个数字化图像和将被量化的图像范围的示意图；

图2在图像边缘上的一个将被量化的图像范围和象素，通过外插逆量化的图像范围的图像信息重现；

图3流程图，其中说明根据本发明方法的单独的处理步骤；

图4一个示意图，其中说明具有不同大小的将被量化的图像范围的方法的另外设计；

图5一个计算机装置，一般使用该装置执行本方法。

图1中说明一个数字化图像B。在这个数字化图像B中，具有任意数量的象素BP，一般的亮度和/或色度明显的属于上述象素。

然而在频谱范围内处理数字化图像B时，例如频谱系数，例如所谓的DCT系数被分配给象素。

属于象素的值被称作图像信息。一般使用图像信息说明图像B的语义。

通过点线，在图1中表示在图像B的范围内象素BP的数目是任意的。

另外在图1中说明将被量化的图像范围QB。一个将被量化的象素QBP位于一个将被量化的图像范围B的范围内，在另外说明到至少一个在一个所谓代码手册中存储的量化向量映射时，考虑这个象素QBP。一个未被量化的象素NBP没有位于一个将被量化的图像范围内，这个象素在映射到量化向量时不被考虑。

为了简化说明本方法，图1中将被量化的图像范围QB具有一个正方形的形状。

然而这根本不是必需的。将被量化的图像范围QB的形状一般是任意的。同样将被量化的图像范围QB的大小也是可以预先任意给定的。

在一种方法中将图像信息分配给分别构成向量的像素仅仅必须是明确的，在代码手册范围内单独元素的分配也就是在队列中量化向量的范围内单独元素的分配仅仅必须相同。

图2说明一个将被量化的图像范围QB和像素BP，像素BP没有位于将被量化的图像范围QB中。通过贯穿的连接线L象征表示对于不位于将被量化图像范围内QB中的各个像素NBP，通过沿着贯穿线L内插图像信息或者外插各个线L相邻像素的图像信息得出图像信息。外插特别适合于图像边缘上一个将被量化的图像范围QB，因为在图像的边缘范围内，不存在另外的将被量化的图像范围QB，这个图像范围QB包括信息，这种信息可能通过在将被图像范围QB的相应的像素之间的内插来考虑。在这种情况下，对于一个位于图像边缘上的将被量化的图像范围QB执行各个图像信息的外插是有意义的。

图3中以流程图的形式，在单独的方法步骤中说明本方法。

在第一步301中，图像B的像素BP被至少分组为一个将被量化的图像范围QB，其中图像BP的另一个像素BP没有被分组到将被量化的图像范围QB。

位于将被量化的图像范围QB中的一个像素BP的图像信息分别构成图像范围向量的元素。在图像范围向量的范围内，分配给单独像素或者像素QBP的图像信息的队列一般是任意的，然而队列必须和量化向量的向量元素必须一致，上述量化向量包括在代码手册中。

图像范围向量被至少映射到代码手册中的一个量化向量上。例如这通过分别将图像范围向量和量化向量的至少一部分比较的方法来实现，通过例如构成量图像范围向量和量化向量的单独元素平方差的和方法来实现。选择那一个量化向量，这个向量关于一般可以自由给定的类似的方法和图像向量最类似。

一般一个索引属于代码手册中的量化向量，这个索引明确表示各个量化向量。另外索引被称作代码手册的纪录。然而代码手册的纪录还可能可以量化向量本身。

象上面已经说明的，在第二个步骤302中，图像信息以图像范围向量的形式被映射到代码手册的纪录上。

代码手册的各个纪录在另外的步骤303中被明确分配给当时将被量化的图像范围QB，这个图像范围的图像范围向量被映射到量化向量上。

在图像B的逆向量量化中，代码手册的纪录被映射到接近的图像信息上，量化向量上304。通过代码手册的纪录表明的量化向量能被理解为接近的图像信息，上述量化向量在重现图像B时被用于图像范围。

在使用量化向量的情况下，重现将被量化的图像范围QB 305。通过将量化向量范围内的各个图像信息分配给将被量化的图像范围内的分别被明确表示的象素QBP的方法，实现上述操作。

在逆量化时，在最后的步骤306中，通过下面方法重现没有位于一个将被量化的图像范围内的象素NBP：通过内插与未被量化的图像范围NQB的象素相邻的象素的图像信息内插在两个将被量化的图像范围QB之间的象素。

象素NBP没有位于一个将被量化的图像范围QB内，也没有位于若干个将被量化的图像范围QB之间，例如位于图像B的边缘。上述象素NBP优选的通过下面的方法来确定：通过外插邻接的将被量化的图像范围QB的图像信息和外插将被量化的图像范围QB中包括的象素QB的图像信息。

例如为了内插单独像素BP的亮度和色度的图像信息并且为了确定用于像素NBP的图像信息，这个像素没有位于一个将被量化的范围QB内，原则上可以使用每个任意的内插函数，也就是每个任意的函数。下面的一维函数作为优选的并且表明是足够的：

  f(x₀)=(14x_-1+10x_-2+4x_-3+12x₁+6x₂+(-2)x₃)/s    (1)。

使用函数f(x₀)表示各个像素NBP将被确定的图像信息。使用x_-1、x_-2、x_-3、x₁、x₂、x₃表示像素的图像信息，该像素沿着一个可预先给定的方向与像素NBP相邻，对于像素NBP将确定图像信息的各个值。在本方法的一个变体中，预先提供在使用函数的条件下，不仅仅确定一个像素NBP的图像信息的值，而且通过内插同时确定任意数量的像素NBP，这些像素NBP沿着可预先给定的方向，没有位于一个将被量化的图像范围QB中。

这同一个术语表的规则还适合于一个优选的可使用的外插函数，这种函数例如具有下面的结构：

F(x0)=(14x-1+10x-2)/s                                (2)使用S表示被考虑的像素BP的图像信息的值的和，例如像素BP所有亮度的和，该像素在内插时或者外插时被考虑。

在本方法的改进中提供了在图像B的范围内适合的选择图像范围的大小，例如依赖于图像B的语义。

在这种关系中，例如能够将图像B的结构理解为语义，例如在图像B的范围内，是否存在图像信息的十分大的变化，例如色度的变化，也就是是否图像B在范围内明显的具有详细结构，或者是否图像范围内具有一个十分均匀的结构，例如具有尽可能一致的亮度的较大范围或者具有尽可能一致的色度。

为了简化说明，另外仅说明具有2*2像素或者4*4像素大小的图像块做为将被量化的图像范围。

一般另外说明的原理也可以应用在任意数目的像素上，也就是应用在任意大小的将被量化的QB上

作为用于图像B的语义的数值t，例如对于通过亮度说明图像信息的情况，可以应用亮度的变量例如从最大亮度值max和最小的亮度min差以及最大亮度max和最小亮度min和的比例中得出上述变量，上述亮度是在内差或者外差中考虑：t=(max-min)/(max+min)                                    (3)

如果数值t小于一个可预先给定的界限，那么例如仅仅量化一个2*2的图像块Z是足够的，并且例如8*8像素BP将被量化的图像块的剩余部分当重现时可以被内插。然而如果值大于限制，那么例如量化一个4*4的图像块V是必须的，以便于可以更好的复制图像块中包括的细节结构。

在图4中说明这种在将被量化图像块QB之间内插情况，这种将被量化的图像块QB具有不同大小。对于这种情况，自然一个根据不同大小和形状使用的将被量化的图像范围，以便于执行相应的向量量化和逆向量量化。

另外，在本方法的一个改进中，其中在本方法中，在开始本方法时，考虑关于图像语义的基本知识。如果例如在量化图像前，公开了图像B的一个较大范围具有一个一致的结构，并且图像的一小部分仅仅具有一个很高的细节结构，那么在使用提高了的细节结构精确量化部分时，即使用一个将被量化的图像范围QB，能够优选量化，并且例如在逆量化时，仅仅通过外插将被量化图像范围QB的边缘点，优选的确定图像的其余部分。

不依赖于在以上说明的向量量化的方法，可以使用下面用于向量量化的方法。

在这种方法中，不采用图像信息的内插或者外插，而是对于一个将被量化的图像范围QB，这个图像范围QB例如小于全部图像B，通过下面方法重现不位于一个将被量化的图像范围内的像素BNP：例如确定一个任意数量的平均值，例如将被量化的图像范围QB直接相邻的像素，并且这个平均值属于各自的像素NBP。

通过以上说明的方法，显著降低了必须的代码手册的规模，因为将被量化的图像范围QB再次显著小于已经公开的方法中的情况，在那里图像B的所有像素被量化。

下面研究能够说明了本方法的优点。

对于一个大小为6×6图像块的图像块例如代码手册的大小为256³⁶纪录。对于大小为4×4个像素的一个图像块将代码手册中的纪录数目减小到256¹⁶。从这个原因出发，通过根据本发明的方法和与此相联系的内插，显著降低了将被量化的图像范围QB的大小，通过这种方法，可能显著加快或者替换的显著精确的进行编码。

另外通过内插这种以前的方法，在基于块的图像编码时，显著降低了已产生的块形式因数。

另外显著降低传输代码手册的纪录所必需的传输速率。

在图5中另外说明第一个计算机R1，使用这个计算机执行根据本发明的方法。

另外，在图5中说明一个摄影机KA，使用摄影机摄影图像序列，它们在第一个计算机R1中转化为数字化图像B序列。数字化图像B存储在第一个计算机R1的一个存储器SP1中。另外在这个装置中为第一个计算机R1提供一个屏幕B1。

在传输数字化图像B时，在传输数字化图像B之前，在单独的图像段BS1、BS2上应用本方法。从中得出的频谱系数通过通道K传输到第二个计算机R2，该系数被存储在第二个存储器SP2中。在逆图像变换编码和逆一致映射后，数字化图像B在第二个计算机R2中被再次重现，并且在第二个屏幕B2上描绘给一个用户。

在这个文本的框架下，引用下面的出版物。

[1]T.Kim，用于图象的新的有限状态向量量化(New Finite State

Vector Quanti sers for Image),Proceedings of ICASSP，第

1180-1183页，1988年。

[2]R.F.Chang和W.T.Chen，使用变化的边匹配有限状态向量量化

的图象编码“Image Coding using Variable-Side-Match

Finite-State Vector Quantisation”,IEEE Transactions Image

Processing，第2卷，104页-108页，1993年一月

[3]N.Nasrabadi和R.King，使用向量量化的图象编码：回顾“Image

Coding Using Vector Quantization:A Review”,IEEE

Transactions on Communications，第36卷，第8期，1988年8

月。