防止图像质量下降的图像处理设备和方法

摘要

提供一种用于防止当图像的比特格式被转换时发生图像质量下降的图像处理设备和方法。当原始图像被转换为具有特定颜色分辨率的图像时，通过获得原始图像和将被转换的图像的像素之间的误差，并且使用误差扩散方案最小化原始图像和将被转换的图像之间的误差，将被转换的图像可保持接近原始图像的图像。

说明书

                        技术领域

本发明总体上涉及一种图像处理设备和方法，具体地讲，涉及一种用于防止当图像的比特格式被转换时发生图像质量下降的图像处理设备和方法。

                        背景技术

通常，随着例如蜂窝电话的移动通信终端的性能的显著增加，市场上已经广泛存在能够实现各种多媒体功能的移动通信终端。具体地讲，用于执行由移动通信终端支持的各种多媒体功能的内容或图像的质量已经发展为较高质量。尽管在这种移动通信终端中用于执行多媒体功能的菜单屏幕或屏幕的性能级别与个人计算机(PC)或者电视(TV)中的菜单屏幕或屏幕的性能级别基本上相似，但是至少在用于在这种屏幕上进行显示的显示单元中存在技术差距。

液晶显示器(LCD)主要用于移动通信终端的显示单元，并且显示单元的颜色再现性能是18比特颜色级别或者更少。具体地讲，用于驱动移动通信终端的显示单元的后端芯片的接口是16比特级别。当通过这种显示单元显示图像的颜色时，接口的比特数目非常重要。通常，由于在PC或数字TV中实现24比特真彩色，因此可被用于图像的颜色的数目是16,700,000(＝2²⁴)。

然而，移动通信终端的显示单元可仅识别65,000(＝2¹⁶)种颜色，这比可由PC或数字TV识别的16,700,000(＝2²⁴)种颜色少得多。当使用PC再现将由移动通信终端显示的内容时，24比特图像被编辑，当编辑的24比特图像存储在移动通信终端中时，24比特图像必须被转换为具有可由移动通信终端的显示单元支持的颜色分辨率的图像。如果移动通信终端的显示单元支持16比特颜色，则移动通信终端通过将使用PC编辑的24比特图像转换为16比特图像来存储该图像。

在早期的移动通信终端中包括的LCD的颜色分辨率是256种颜色，并且具有与256种颜色相应的质量的位图图像被用于图形用户界面(GUI)。尽管由于硬件发展速度的快速增加引起移动通信终端的LCD接口的性能倍增，然而内容更新速度慢，从而如图1中的视图(a)所示，具有比16比特低很多的颜色分辨率的内容被提供给移动通信终端。当用于图像的颜色分辨率小于16比特时，即使在PC中使用24比特颜色编辑该图像并且将该图像转换为16比特图像，在移动通信终端一方也没有问题。

然而，根据移动通信终端的GUI的快速发展，应用范围变宽，因此，用于编辑图像的颜色分辨率大于16比特。因此，当在PC中图像的比特格式被转换时，也就是说，如果图像被转换为具有由支持16比特颜色的移动通信终端可支持的颜色分辨率的图像，则由于移动通信终端不能表达在24比特颜色使用的所有颜色，因此使用将16,700,000种颜色中的最接近的颜色映射到代表性颜色的方法来创建转换的图像，以从24比特原始图像表达65,000种颜色。

如图1中的视图(b)所示，当照片或者与照片相应的高质量图像在PC中被编辑并且被转换为将在移动通信终端中使用的图像时，丢失的颜色的数目显著，从而发生图像质量的极度下降。更详细地，如图2所示，与24比特图像中的像素值0～255相应的颜色可被映射到与16比特图像中的像素值0相应的颜色，并且与24比特图像中的像素值256～511相应的颜色可被映射到与16比特图像中的像素值1相应的颜色。也就是说，尽管在24比特原始图像中与像素值512和767相应的颜色是不同的颜色，但是在执行图像比特格式转换处理之后，这些颜色被映射到与16比特图像中的像素值2相应的相同颜色。

如上所述，如果24比特图像被转换为16比特图像，则图像质量极度下降。图3示出当24比特图像被转换为16比特图像时发生的图像质量的下降。通过放大图3中的视图(a)中示出的24比特图像的一部分获得的图3中的视图(a’)中示出的图像平滑渐变，而由于通过转换图3中的视图(a)中示出的图像获得的图3中的视图(b)中示出的16比特图像不能使用所有的24比特颜色，所以接近每一代表性颜色的颜色被表达为图3中的视图(b)中示出的16比特图像中的代表性颜色，从而发生不连续渐变。在图4中的视图(a)中颜色分布在整个范围(图4中的视图(a)示出图3中的视图(a’)中示出的图像的像素分布)，而在图4中的视图(b)中颜色分布在子取样的代表性值上，而不是分布在整个范围(图4中的视图(b)示出在图3中的视图(b’)中示出的图像的像素分布)。

如上所述，根据现有技术，照片或者与照片相应的高质量图像(即，使用多于65,000种颜色的图像)被编辑，被转换为适合于移动通信终端的图像，并被发送给移动通信终端。由于不能按原样使用在使用多于65,000种颜色表达的图像中使用的所有颜色，因此通过在图像比特格式转换处理中使用代表性颜色来映射并表达该图像。因此，在将原始图像转换为适合于移动通信终端的图像的处理中(在PC中执行)，图像质量极度下降。为了有效地实现在移动通信终端中使用的GUI，需要一种当在外部装置(例如PC)中图像被转换为适合于移动通信终端的图像时最小化图像质量下降的方法。此外，需要一种在移动通信终端执行对下载的或者存储的图像的转换而无需将原始图像转换为适合于移动通信终端的图像的方法。

                        发明内容

本发明的目的在于基本上解决至少以上问题和/或缺点，并且提供至少以下优点。因此，本发明目的在于提供一种当高质量原始图像被转换为适合于移动通信终端的图像时最小化图像质量的下降的图像处理设备和方法。

本发明的另一目的在于提供一种当在移动通信终端中高质量原始图像被转换为适合于移动通信终端的图像时最小化图像质量的视觉下降的图像处理设备和方法。

根据本发明的一方面，提供一种用于防止当图像的比特格式被转换时发生图像质量下降的图像处理设备，该设备包括：解码器，用于对输入的N比特原始图像解码；图像预处理器，通过提取每一像素的误差值产生误差补偿的图像，将通过将每一像素的误差值与对于预定相邻像素的每一个的不同权重比例相乘获得的值累加来产生误差扩散的图像，并且把将被转换的M比特图像与误差扩散的图像相加，其中，所述每一像素的误差值是解码的N比特图像和所述将被转换的M比特图像的相同位置的像素之间的差值；M比特转换器，用于将误差补偿的图像转换为M比特图像；图像压缩器，用于压缩转换的M比特图像；存储器，用于存储压缩的M比特图像和包含M比特图像的存储信息的索引表；和控制器，用于控制将从图像压缩器输出的压缩M比特图像存储在存储器中，并且控制将当压缩的M比特图像存储在存储器中时产生的存储信息存储在索引表中。

根据本发明的另一方面，提供一种防止当在图像处理设备中图像的比特格式被转换时发生图像质量下降的方法，所述方法包括：确定输入的N比特原始图像的格式，并执行适合于确定的格式的解码；通过提取每一像素的误差值产生误差补偿的图像，将通过将每一像素的误差值与对于预定相邻像素的每一个的不同权重比例相乘获得的值累加来产生误差扩散的图像，并且把将被转换的M比特图像与误差扩散的图像相加，其中，所述每一像素的误差值是解码的N比特图像和所述将被转换的M比特图像的相同位置的像素之间的差值；将误差补偿的图像转换为M比特图像；压缩转换的M比特图像；和存储压缩的M比特图像和包含M比特图像的存储信息的索引表。

根据本发明另一方面，提供一种防止当图像的比特格式被转换时发生图像质量下降的移动通信终端，所述移动通信终端包括：解码器，用于对输入的N比特原始图像解码；图像预处理器，通过提取每一像素的误差值产生误差补偿的图像，将通过将每一像素的误差值与对于预定相邻像素的每一个的不同权重比例相乘获得的值累加来产生误差扩散的图像，并且把将被转换的M比特图像与误差扩散的图像相加，其中，所述每一像素的误差值是解码的N比特图像和所述将被转换的M比特图像的相同位置的像素之间的差值；M比特转换器，用于将误差补偿的图像转换为M比特图像；存储器，用于存储转换的M比特图像；和控制器，用于控制将从M比特转换器输出的转换的M比特图像存储在存储器中。

根据本发明另一方面，提供一种防止当在移动通信终端中图像的比特格式被转换时发生图像质量下降的方法，所述方法包括以下步骤：确定输入的N比特原始图像的格式，并执行适合于确定的格式的解码；通过提取每一像素的误差值产生误差补偿的图像，将通过将每一像素的误差值与对于预定相邻像素的每一个的不同权重比例相乘获得的值累加来产生误差扩散的图像，并且把将被转换的M比特图像与误差扩散的图像相加，其中，所述每一像素的误差值是解码的N比特图像和所述将被转换的M比特图像的相同位置的像素之间的差值；将误差补偿的图像转换为M比特图像；和存储转换的M比特图像。

                        附图说明

通过下面结合附图进行的详细描述，本发明的上述和其他目的、特点和优点将会变得更加清楚，其中：

图1示出解释用于传统移动通信终端的内容图像的质量的示图；

图2是示出当24比特图像被转换为16比特图像时映射到24比特图像的颜色的16比特图像的颜色的一般的表；

图3示出解释根据现有技术的当24比特图像被转换为16比特图像时发生的图像质量的下降的示图；

图4示出图3中示出的24比特图像和16比特图像的特定区域的像素分布示图；

图5是根据本发明的防止当图像的比特格式被转换时发生图像质量下降的图像处理设备的框图；

图6是示出根据本发明的防止当在图5中示出的图像处理设备中图像的比特格式被转换时发生图像质量下降的方法的流程图；

图7是根据本发明的用于防止当图像的比特格式被转换时发生图像质量下降的移动通信终端的框图；

图8是示出根据本发明的防止当在图7中示出的移动通信终端中图像的比特格式被转换时发生图像质量下降的方法的流程图；

图9是用于解释根据本发明的在用于防止图像质量的下降的图像预处理操作中误差扩散方法的示图；和

图10示出根据本发明的在用于防止图像质量下降的图像预处理操作中使用16比特图像和误差补偿图像输出的最终16比特图像。

                      具体实施方式

将在下面参照附图来描述本发明的优选实施例。在附图中，尽管相同或相似部件在不同的附图中示出，但是它们由相同标号来表示。在下面的描述中，由于已知功能或构造将在不必要的细节上使得本发明模糊，因此不对它们进行详细描述。

本发明提供一种执行当高质量图像被转换为用于移动通信终端的图像时最小化图像质量的视觉下降的预处理过程的图像处理方法。在本发明中，假设高质量图像(即原始图像)的颜色分辨率是24比特，并且用于移动通信终端的图像的颜色分辨率是16比特。本发明提供一种用于最小化当24比特图像被转换为16比特图像时发生的图像质量的视觉下降的图像处理设备。当24比特图像被转换为16比特图像时以及当N比特高质量图像被转换为M比特图像时，可应用本发明的图像处理方法(这里，M＜N)。

此外，当高质量原始图像被转换为用于移动通信终端的图像时，通过在外部装置(例如PC)中执行转换处理转换的图像数据可被存储在移动通信终端中，或者使用包括在移动通信终端中的在本发明中建议的图像处理设备，高质量图像(例如下载的图像)可被转换为用于移动通信终端的图像。因此，在本发明中，将描述在外部装置(例如PC)中将高质量原始图像转换为用于移动通信终端的图像的方法、以及用于在移动通信终端中将高质量原始图像转换为用于移动通信终端的图像的方法。

现在将参照图5和图6来描述在包括在外部装置(例如PC)中的在本发明中建议的图像处理设备中将高质量原始图像转换为用于移动通信终端的图像的方法。图5是根据本发明的防止当图像的比特格式被转换时发生图像质量下降的图像处理设备500的框图。参照图5，图像处理设备500包括：控制器520，用于执行用于图像比特格式转换的一般控制操作；解码器501；图像预处理器510；16比特转换器502；图像压缩器503；存储器504和接口单元505。

如果多个原始图像(这些原始图像的比特格式将被转换)被输入，则控制器520确定每一个输入的原始图像的格式。由于具有各种格式的图像可被输入，所以控制器520确定每一个输入的原始图像的格式以执行适合于所述格式的解码，并且控制解码器501来执行解码。控制器520控制图像预处理器510通过补偿原始图像和16比特图像之间的误差来产生误差补偿的图像，并且控制16比特转换器502将误差补偿的图像转换为16比特图像。稍后将描述在图像预处理器510中通过补偿原始图像和16比特图像之间的误差来产生误差补偿的图像的详细处理。控制器520控制图像压缩器503来压缩转换的16比特图像数据，将该压缩的16比特图像数据存储在存储器504中，并将关于压缩的16比特图像数据的信息存储在索引表中。其后，控制器520对所有的输入原始图像执行N比特转换操作。如果用户请求将存储在存储器504中的压缩的图像数据发送给移动通信终端530，则控制器520控制接口单元505将压缩的图像数据和索引表发送给移动通信终端530。

已经对从控制器510输入的特定图像格式执行解码的解码器501根据图像格式对输入的原始图像的每一个解码，并输出解码的原始RGB图像。也就是说，解码器501将具有BMP、JPG、或者PNG格式的图像解码为具有R(红)、G(绿)和B(蓝)通道(channel)的格式的图像，并将24比特无损解码的原始RGB图像输出给图像预处理器510。解码的原始RGB图像被临时存储在缓冲器(未显示)中，以在预处理操作中被使用。

已经接收到解码的原始RGB图像的图像预处理器510通过原始RGB图像和将被转换的图像之间的扩散运算(diffusion operation)来补偿误差，以防止在图像比特格式转换处理中发生图像质量的任何下降。图像预处理器510包括24比特图像/16比特图像误差值提取器511、第一图像误差扩散单元512、16比特图像/第一误差扩散图像加法器513、第二图像误差扩散单元514和16比特图像/第二误差扩散图像加法器515。现在将详细描述用于补偿原始图像和转换的图像之间的误差以防止在由图像预处理器510的部件执行的图像比特格式转换处理中发生图像质量下降的操作。

当解码的24比特原始RGB图像被输入时，24比特图像/16比特图像误差值提取器511提取误差值，该误差值是原始RGB图像的R、G和B通道的每一个的每一像素值与将被转换的16比特图像的R、G和B通道的每一个的每一像素值之间的差值。24比特图像/16比特图像误差值提取器511连续地将提取的误差值提供给第一图像误差扩散单元512，第一图像误差扩散单元512将差别从原始RGB图像的相关像素值朝着与存在于与提供的误差值的每一个相应的位置的像素相邻的像素扩散。

现在将参照图9详细描述误差扩散运算。参照图9，如果对存在于原始RGB图像和将被转换的16比特图像的相同位置的像素N提取误差值，则在像素N₁₀的方向上被加权7/16，在像素N₁₁的方向上被加权1/16，在像素N₀₁的方向上被加权5/16，并且在像素N₀₀的方向上被加权3/16。也就是说，对像素N₁₀、N₁₁、N₀₁和N₀₀的每一个累加将像素N的误差值乘以误差值的特定比例获得的值。对存在于像素N的右侧的像素N₁₀累加通过将像素N的误差值乘以7/16获得的值。同样，对存在于像素N的下右对角线方向上的像素N₁₁累加通过将像素N的误差值乘以1/16获得的值。此外，对存在于像素N下方的像素N₀₁累加通过将像素N的误差值乘以5/16获得的值，并对存在于像素N的下左对角线方向上的像素N₀₀累加通过将像素N的误差值乘以3/16获得的值。

其后，如果对像素N₁₀提取误差值，并且将该误差值提供给第一图像误差扩散单元512，则对存在于像素N₁₀右侧的像素N₂₀累加通过将像素N₁₀的误差值乘以7/16获得的值，对存在于像素N₁₀的下右对角线方向上的像素N₀₂累加通过将像素N₁₀的误差值乘以1/16获得的值，对存在于像素N₁₀下方的像素N₁₁累加通过将像素N₁₀的误差值乘以5/16获得的值，并对存在于像素N₁₀的下左对角线方向上的像素N₀₁累加通过将像素N₁₀的误差值乘以3/16获得的值。因此，当误差扩散运算从像素N进行到像素N₁₀时，通过误差扩散运算，对像素N₁₁累加通过将像素N的误差值乘以1/16获得的值和通过将像素N₁₀的误差值乘以5/16获得的值，并且对像素N₁₁进一步累加通过将像素N₂₀的误差值乘以3/16获得的值和通过将像素N₀₁的误差值乘以7/16获得的值。

如上所述，第一图像误差扩散单元512使用抖动方案(dithering scheme)通过每一像素位置上的误差的扩散影响16比特图像使用光错觉以使得16比特图像看上去像原始RGB图像。可通过实验确定在每一像素周围的像素方向上的扩散比例，并且每一像素周围的像素方向上的扩散比例的和必须是1。从第一图像误差扩散单元512输出的误差扩散的图像被存储在缓冲器中。

16比特图像/第一误差扩散图像加法器513将误差扩散的图像与从原始RGB转换得到的16比特图像相加，并且将相加的图像输出给第二图像误差扩散单元514。

第二图像误差扩散单元514使用与在第一图像误差扩散单元512中的误差扩散运算相同的方式，将差别从原始RGB图像的相关像素朝着与存在于与相加的图像和16比特图像之间的误差值的每一个相应的位置的像素相邻的像素扩散。

16比特图像/第二误差扩散图像加法器515通过将16比特图像与从第二图像误差扩散单元514输出的第二误差扩散的图像相加来产生最终图像(即第二补偿的图像)，并将产生的最终图像输出给16比特转换器502。

如上所述，通过24比特图像和16比特图像之间的误差扩散运算使用相邻像素可最小化24比特图像和将被转换的16比特图像之间的量化误差。

当从第二图像误差扩散单元514输出的最终图像被输入到16比特转换器502时，16比特转换器502将最终图像转换为16比特图像，并将转换的16比特图像输出给图像压缩器503。图像压缩器503压缩输入的16比特图像。哈夫曼方法可用作压缩方法。

压缩的16比特图像被存储在存储器504中，并且关于存储的16比特图像的地址和图像大小的信息被记录在索引表中。当压缩的图像被发送给移动通信终端530时，通过使用索引表管理存储的16比特图像的存储信息并且发送索引表，即使多个压缩的图像被发送给移动通信终端530，但是移动通信终端530可通过参照索引表使用期望的图像。

接口单元505执行用于将由图像处理设备500压缩的16比特图像数据和索引表发送给包括在移动通信终端530中的接口单元531的接口连接操作。

现在将参照图6描述根据本发明优选实施例的图5中示出的在图像处理设备500中执行的图像比特格式转换处理。

在步骤600，如果多个原始图像被顺序输入到图像处理设备500，则在步骤602，控制器520确定输入的原始图像的每一个的格式，并且控制解码器通过根据确定的图像格式执行解码来产生原始RGB图像。产生的原始RGB图像被临时存储在缓冲器中。

在步骤604，控制器520控制图像预处理器510通过补偿原始RGB图像和16比特图像之间的误差来产生误差补偿的图像。现在将详细描述误差补偿。原始RGB图像和16比特图像的相同位置的像素值之间的差值是误差值，并且通过使用抖动方案将每一像素的误差值朝着与该像素相邻的像素扩散，来产生第一误差扩散的图像。第一误差扩散的图像与16比特图像相加，并且通过使用抖动方案将相加的图像和与16比特图像之间的误差值的每一个朝着与每一参考像素相邻的像素扩散，来产生作为第二误差扩散的图像的最终图像。

在步骤606，控制器520控制16比特转换器502将最终图像转换为16比特图像。控制器520在步骤608中控制压缩器503压缩转换的16比特图像数据，并将压缩的16比特图像数据存储在存储器504中。关于压缩的16比特图像数据的信息被存储在索引表中。

控制器520在步骤610中确定是否所有的多个原始图像被完全N比特转换。如果确定所有的多个原始图像被完全N比特转换，则此处理结束。如果确定所有的多个原始图像没有被完全N比特转换，则此处理回到步骤602以继续图像比特格式转换。

现在将参照图7和图8来描述在移动通信终端中将高质量原始转换为用于移动通信终端的图像的方法。图7是根据本发明的用于防止当图像的比特格式被转换时发生图像质量下降的移动通信终端700的框图。参照图7，移动通信终端700包括：控制器720，用于执行用于图像比特格式转换的一般控制操作；解码器701；图像预处理器710；16比特转换器702和存储器704。解码器701、图像预处理器710、16比特转换器702和存储器704执行与图5中示出的解码器501、图像预处理器510、16比特转换器502和存储器504的用于图像比特格式转换相同的操作。移动通信终端700的控制器720确定多个原始图像的格式的每一个，并且控制解码器701根据每一格式产生用于执行解码的原始RGB图像。产生的原始RGB图像被临时存储在缓冲器(未显示)中。控制器720控制图像预处理器710通过补偿原始图像和16比特图像之间的误差来产生误差补偿的图像。产生误差补偿的图像的详细操作与图5中示出的图像预处理器510的操作相同。控制器720控制16比特转换器702将误差补偿的图像转换为16比特图像，并将转换的16比特图像数据存储在存储器704中。控制器720执行图像比特格式转换操作，并且顺序地将转换的16比特图像数据存储在存储器704中，直到将被转换的所有原始图像被完全16比特转换。

包括在图像预处理器710中的24比特图像/16比特图像误差值提取器711、第一图像误差扩散单元712、16比特图像/第一误差扩散图像加法器713、第二图像误差扩散单元714和16比特图像/第二误差扩散图像加法器715分别与图5中示出的24比特图像/16比特图像误差值提取器511、第一图像误差扩散单元512、16比特图像/第一误差扩散图像加法器513、第二图像误差扩散单元514和16比特图像/第二误差扩散图像加法器515相应。尽管图5中示出的图像处理设备500包括图像压缩器503和用于存储关于压缩的数据的信息的索引表以将比特格式转换的图像发送给移动通信终端530，但是由于图7中示出的移动通信终端700自己转换每一原始图像，因此移动通信终端700不必包括图5中示出的图像压缩器503和索引表。

现在将参照图8描述根据本发明的在图7中示出的移动通信终端700中执行的图像比特格式转换处理。

在步骤800中，如果多个原始图像被顺序输入到移动通信终端700，则控制器720在步骤802确定输入的原始图像的每一个的格式，并且控制解码器701通过根据确定的图像格式进行解码来产生原始RGB图像。产生的原始RGB图像被临时存储在缓冲器中。

在步骤804，控制器720控制图像预处理器710通过补偿原始RGB图像和16比特图像之间的误差来产生误差补偿的图像。现在将详细描述误差补偿。

原始RGB图像和16比特图像的相同位置的像素值之间的差值是误差值，并且通过使用抖动方案将每一像素的误差值朝着与该像素相邻的像素扩散，来产生第一误差扩散的图像。第一误差扩散的图像与16比特图像相加，并且通过使用抖动方案将相加的图像和16比特图像之间的误差的每一个朝着与每一参考像素相邻的像素扩散，来产生作为第二误差扩散的图像的最终图像，对于步骤804参照图10，如(a)所示的原始RGB图像的16比特图像与如(b)所示的误差扩散的图像相加，并且随后产生如(c)所示的误差补偿的图像。

在步骤806，控制器720控制16比特转换器702将最终图像转换为16比特图像。在步骤808。控制器720将转换的16比特图像数据存储在存储器704中。

控制器720在步骤810确定是否所有的多个原始图像被完全N比特转换。如果确定所有的多个原始图像被完全N比特转换，则此处理结束。如果确定所有的多个原始图像没有被完全N比特转换，则此处理回到步骤802以继续图像比特格式转换。

如上所述，根据本发明，当原始图像被转换为具有特定颜色分辨率的图像时，通过获得原始图像和将被转换的图像的像素之间的误差的每一个，并且使用误差扩散方案最小化原始图像和将被转换的图像之间的误差，将被转换的图像可保持接近原始图像的图像。此外，当外部装置(例如PC)将图像转换为用于移动通信终端的图像以有效地实现在移动通信终端中使用的GUI时，可最小化图像质量的任何下降的发生。此外，移动通信终端可自己执行下载的或者存储的图像的图像比特格式转换处理，而不需要将原始图像转换为用于移动通信终端的图像的外部装置。

尽管已经参照其特定优选实施例显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。