不受照明变化影响的图像检索方法和装置

摘要

提供一种不受照明变化影响的图象检索方法和装置。图象检索方法包含：输入查询图象；从查询图象中检测照明颜色并把照明颜色转换为标准照明颜色；通过使用颜色描述符提取查询图象的颜色信息；及通过把提取的颜色信息与数据库的颜色信息相比较来检索相似的图象，数据库预先转换各种图象为标准照明颜色图象并提取和储存图象的颜色信息。根据本方法，不改变颜色描述符的结构或者使用颜色信息的相似性比较，仅仅通过加入标准照明转换的上述步骤实现不受照明变化影响的图象检索。

说明书

技术领域

本发明涉及一种图象检索方法，并尤其涉及一种不受照明变化影响的图象检索方法和装置。

背景技术

现有各种图象检索方法。其中之一是基于文本的图像检索方法，其中文本附属于图象并且通过存取文本检索需要的图象。当使用文本检索图象时，在用于描述画面的文本表达上存在限制。而且，对于检索图象的不同用户图象的语义解释会有变化，使得总体上与用户需要检索的图象不同的图象被检索并输出的情况频繁发生。

另一种方法是基于内容的图象检索方法，其中需要检索的图象的主要特性被用于检索图象。用在基于内容的图像检索方法中的图象中的主要特性特征包括颜色、结构、形状、运动信息等。当使用图象中的这些主要特性特征检索图象时，找到想要被用户检索的图象的概率增加了。因此，该方法能够降低由于基于文本的图象检索中的语义不同而发生的检索误差。

在基于颜色的检索中，其中其为基于内容的检索方法的一种类型，通过使用在图象的各种信息中关于图象的像素颜色的分布、种类或位置的信息找到相似的图象。在基于颜色的检索中的领先的检索方法是使用MPEG-7颜色描述符的图象检索方法，这是当前由ISO/IEC15938-3采用的标准。颜色描述符被大致地分为四种类型：主要颜色描述符、颜色结构描述符、颜色布局描述符和可伸缩颜色描述符。

当预定的颜色或少量颜色表示整个图象或图象的一部分中的特征时，使用主要颜色描述符。

颜色结构描述符使用直方图和(together with)局部颜色结构信息。当特性信息被提取时，不独立地提取每个像素上的颜色信息，而是考虑到相邻像素上的颜色信息而被提取。

颜色布局描述符表示一种颜色的空间分布。假定通过将x-y平面均匀分割预定的尺寸而获得的单元是块(bin)，则图象中现有的颜色的空间分布能够用具有64位值的块的号码来表示。由于当使用颜色布局描述符时相似的计算能够以非常简单的方式执行，能够快速地执行检索。而且，自然图象或者颜色草图图象能够被用作为查询。因此，该颜色布局描述符能够被恰当地应用在视频浏览和检索中。

可伸缩颜色描述符表示通过Harr变换编码的颜色直方图的定性表示(qualitative expression)，并使用色调饱和度值(HSV)颜色空间。由于两个图象之间的相似性由可伸缩颜色描述符之间的加重平均距离确定，相似的计算能够快速执行。

但是，使用通过使用上述的MPEG-7颜色描述符表示的颜色信息的图象检索方法对照射敏感。因此，当图象被拍照时，由于周围照明的小小差异，具有同样内容的图象可以具有不同的颜色信息，使得图象检索不被精确地执行。例如，由于由时间和天气变化引起的颜色信息变化(例如，图象中的亮度和阴影)、由不同的照明(例如白炽灯或荧光灯)引起的颜色信息变化或当相同的图象由不同的图象获取装置(例如由不同的制造商生产的摄像机)获取时颜色信息变化发生时，自然图象不可能被精确地检索。

发明内容

因此，本发明提供一种不受照明变化影响的图象检索方法和装置，其中为了不受照明变化影响检索图象，储存在图象数据库中的查询图象和多个图象被转换为在标准照明下照明颜色的图象并且转换的图象的颜色信息被互相比较。

一方面，本发明提供一种不受照明变化影响的图象检索方法，包括：输入查询图象；从查询图象中检测照明颜色并把照明颜色转换为标准照明颜色；通过使用颜色描述符提取查询图象的颜色信息；和通过把提取的颜色信息与数据库的颜色信息相比较来检索相似的图象，其中数据库预先将各种图象转换为标准照明颜色图象并提取和储存图象的颜色信息。

另一方面，本发明提供一种不受照明变化影响的图象检索装置，包括：接收查询图象的查询图象输入单元；标准照明颜色转换单元，其从查询图象中检测照明颜色并把照明颜色转换为标准照明颜色；查询图象颜色信息提取单元，其通过使用颜色描述符提取转换的查询图象的颜色信息；数据库，其预先将需要被检索的各种图象转换为标准照明颜色图象并提取和储存图象的颜色信息；和相似图象检索单元，其通过把被转换为标准照明颜色图象的查询图象的颜色信息与储存在数据库中的各种图象上的颜色信息相比较来找到相似的图象。

另一方面，本发明提供一种标准照明颜色转换方法，包括：从输入的查询图象中除去低亮度部分和自亮度部分；在除去低亮度部分和自亮度部分后从剩余像素中检测图象的照明颜色；并将检测到的照明颜色转换为标准照明颜色。最好，检测步骤，包括：把低亮度部分和自亮度部分已经被除去的查询图象的每个像素的三基色值XYZ转换为色度坐标(x，y)；把转换的色度坐标投影在一个x-y平面上；将x-y平面均匀分割为预定尺寸的格子；计数每个分割的格子中存在的投影像素的数量；如果计数结果表示格子的计数值小于预定值则除去格子中的像素；和在除去后计算剩余格子的中心坐标的平均值，并确定平均值作为输入图象的标准照明颜色。

另一方面，本发明提供一种计算机可读介质，它含有嵌入其中的计算机程序用来执行上述的图象检索方法和标准照明颜色转换方法。

附图说明

通过下面结合示例性地示出一例的附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：

图1是本发明的图象检索程序的流程图；

图2是用于检测查询图象中的照明颜色并转换颜色为标准照明颜色的步骤的流程图；

图3A到3D是用于解释转换颜色为标准照明颜色的程序的图；

图4是用于描述图象的颜色描述符的表达形式的实施例的图；

图5A和5B表示了使用本发明的图象检索方法之前和之后的检索结果；

图6表示了用在一个实验中的室外自然图象的例子；

图7表示了用在实验中的在室内拍照的物体的固定图象的例子；

图8是执行上述图象检索方法的图象检索装置的框图；及

图9是标准照明颜色转换单元的详细框图。

具体实施方式

参照图1的本发明的图象检索程序的流程图，首先，在步骤S110，用户输入查询图象和不受照明变化影响检索图象的请求。在步骤S120，照明颜色在查询图象中被检测并且颜色被转换为标准照明颜色。在步骤S130，通过使用颜色描述符提取查询图象的颜色信息。在步骤S140，通过把提取的颜色信息与数据库中的颜色信息相比较搜索出相似的图象，其中数据库预先把各种图象转换为标准照明颜色的图象并提取和储存图象的颜色信息。

参照图2，现在将详细说明用于检测在查询图象中的照明颜色并把检测到的颜色转换为标准照明颜色的步骤S120。图2是用于检测查询图象中的照明颜色并将颜色转换为标准照明颜色的步骤S120的流程图。

首先，在步骤S210中，在输入查询图象中，低亮度部分和自亮度部分被除去。在步骤S220中，图象的照明颜色从剩余像素中被检测，并且在步骤S230检测到的照明颜色被转换为标准照明颜色。

用于在输入查询图象中除去低亮度和自亮度部分的步骤S210按照下述步骤执行。首先，输入查询图象的红、绿和蓝(RGB)像素值被转换为国际照明委员会(CIE)三基色值XYZ。

接着，通过使用转换的三基色值XYZ，具有低亮度值的像素被除去。有很多种用于确定一个像素是否具有低亮度值的方法。例如，如果一个像素的Y值包括在所有像素的Y值的最低的5％中，可以确定该像素具有低亮度值。

下面，通过获得自发光阈值，图象中的自亮度像素被除去。自亮度像素是指诸如太阳和电灯的发光物体的图象的像素。自发光阈值也能够通过使用现有技术方法获得，并且具有大于阈值的值的像素作为自亮度像素被确定并除去。

用于从剩余像素中检测输入图象的照明颜色的步骤S220按照下述步骤执行。首先，在低亮度部分和自亮度部分被除去的查询图象中每个像素的三基色值XYZ被转换为色度坐标(x，y)。例如，色度坐标的x值可以通过诸如X/(X+Y+Z)的公式计算，而色度坐标的y值可以通过诸如Y/(X+Y+Z)的公式计算。

图3A到3D是用于解释转换颜色为标准照明颜色的处理的图。参照图3A到3D，现在将详细说明转换处理。

首先，转换的(x，y)值被投影在x-y平面上。接着，获得如图3A所示的图形。如图3B所示，这样获得的x-y平面被均匀分割为预定尺寸的块。例如，x-y平面可以被分为60×60的格子平面。接着，每个块中的像素数量被计数并储存。如果该数量小于任意的阈值，则该块被除去。

接着，获得图3C中的结果。接下来，通过用剩余块的中央坐标值的总和除以剩余块的数量，获得平均色度(x_av，y_av)310并且被确定为输入图象的照明颜色。特别的是，通过用剩余块的x中央坐标值的总和除以剩余块的数量获得x_av，并且通过通过用剩余块的y中央坐标值的总和除以剩余块的数量获得y_av。

最后，现在将解释把检测的照明颜色转换为标准照明颜色的步骤S230。首先，找到对应于标准色温6500K的日光位置上的标准照明色度坐标(x_c，y_c)320。接着，通过使用平均色度(x_av，y_av)310，标准照明色度坐标(x_c，y_c)320和布拉福德颜色自适应转换矩阵，输入图象的每个像素的三基色值XYZ被转换为标准照明的三基色值X′Y′Z′。最后，这样转换的标准照明的三基色值X′Y′Z′被转换为RGB值。

在通过使用预定颜色描述符提取查询图象的颜色信息的步骤S130中，使用上述各种颜色描述符。即，通过使用用于表达查询图象和数据库图象中的图象的颜色的MPEG-7标准颜色描述符描述图象。

图4是用于描述图象的颜色描述符的表达形式的实施例的图。该实施例包含关于四种颜色描述符的信息。

在通过比较提取的颜色信息与数据库中的颜色信息用于搜索相似图象的最终步骤S140中，其中数据库预先转换各种图象为标准照明颜色的图象并提取和储存图象的颜色信息，通过计算提取的颜色描述符之间的距离，检索结果按距离增加的顺序输出。

图5A和5B示出了使用本发明的图象检索方法之前和之后的检索结果。

使用当现有技术的图像检索方法并且给出用于检索与邮箱图象非常相似的图象的命令时，与邮箱图象完全不同的图象被输出。但是，当使用本发明的图象检索方法时，如图5B所示获得精确的结果。

表1a到1d表示使用本发明的图象检索方法时的增益变化。

表1a

不转换为标准照明颜色转换为标准照明颜色增益变化(ANMRR)使用参数    0.183983    0.298456    +0.114473不使用参数    0.325878    0.409459    +0.083581表1b不转换为标准照明颜色转换为标准照明颜色增益变化(ANMRR)使用参数    0.429638    0.306655    -0.122983不使用参数    0.469480    0.340987    -0.128493表1c不转换为标准照明颜色转换为标准照明颜色增益变化(ANMRR)使用参数    0.710394    0.355556    -0.354838不使用参数    0.739785    0.389964    -0.349821表1d不转换为标准照明颜色转换为标准照明颜色增益变化(ANMRR)使用参数    0.488618    0.409816    -0.078802不使用参数    0.566681    0.464205    -0.102476

表1a是当使用MPEG-7标准中定义的CCD数据组时的结果，并表示当使用根据本发明的不受照明影响的检索方法时，当使用参数时增益增加了0.11，而不使用参数时增益增加了0.08。该结果是希望的，因为使用不同的照明具有相同的内容的图象很少包括在CCD数据组本身中。

表1b是当使用如图6所示的自然室外图象时的结果。表1c是使用如图7所示的室内拍照的物体的组图时的结果。表1d是MPEG-7CCD数据组和室外自然图象一同使用时的结果。参照表1b到1d，其示出了本发明的检索方法是优秀的。

图8是执行上述图象检索方法的图象检索装置的框图。

图象检索装置包括查询图象输入单元810，标准照明颜色转换单元820，查询图象颜色信息提取单元830，数据库840和相似图象检索单元850。

查询图象输入单元810接收用以检索不受照明变化影响的图象的请求和来自用户的查询图象。

标准照明颜色转换单元820检测查询图象中的照明颜色并把颜色转换为标准照明颜色。为此，低亮度部分和自亮度部分被除去，图象的照明颜色从剩余像素中检测，并且检测到的照明颜色被转换为标准照明颜色。这些程序已经在上文中被详细地说明了。

查询图象颜色信息提取单元830通过使用预定的颜色描述符来提取查询图象的颜色信息。即，图象通过使用MPEG-7标准颜色描述符被描述，描述符表达了查询图象和数据库图象的颜色。

数据库840把需要检索的各种图象预先转换为标准照明颜色并提取和储存图象的颜色信息。

通过把转换为标准照明颜色的查询图象的颜色信息与储存在数据库中的各种图象的颜色信息相比较，相似图象检索单元850找到相似的图象。

图9是标准照明颜色转换单元820的详细框图。

噪声消除单元910除去输入的查询图象中的低亮度部分和自亮度部分。在噪声消除单元910除去噪声后，照明颜色检测单元920从剩余像素中检测图象的照明颜色。转换单元930把检测到的照明颜色转换为标准照明颜色。

本发明可以在一种计算机可读存储介质上用一种代码实现，该代码能够由计算机读出。计算机可读存储介质能够是储存了计算机可读数据的各种记录装置。

计算机可读存储介质包括诸如磁性存储介质(例如ROM、软盘、硬盘等)、光学可读介质(例如CD-ROM、DVD等)的存储介质和载波(例如通过互联网的发送)。而且，计算机可读记录介质能够分布在通过网络连接的计算机系统上并能够以分布模式储存并执行计算机可读代码。

尽管本发明已经参照上述实施例被说明，但是本发明不限于上述实施例，并且很显然的是，在不背离由所附权利要求限定的本发明宗旨和范围的前提下对本发明进行各种形式和细节上的修改是可以由本领域技术人员实现的。因此，本发明的范围不由以上的说明确定而由所附的如权利要求确定。

如上所述，不改变颜色描述符的结构或使用颜色信息的现有技术检索方法中的相似性比较方法，通过只加入标准照明转换的上述步骤，使得本发明实现不受照明变化影响的图象检索。即，提供一种方法，通过它当图象使用颜色信息检索时，在不同照明下拍得的同一图象能够被检索。根据该方法，用户在不同的时间点、在不同的天气条件、不同的照明和用不同的拍摄装置拍得的同一图象能够被有效地检索。