色彩描述分析设备、色彩描述分析方法及色彩描述分析程序

摘要

本发明提供了一种色彩描述分析设备，将自然语言描述转换为对指定色彩空间中的值的分布加以表示的数据，自然语言描述是以与以自然语言表达的色彩相关的描述，所述色彩描述分析设备包括色彩比率确定装置，通过使用对色彩之间的关系加以指示且包括在自然语言描述中的词和短语，来确定在自然语言描述中包括的每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率。

说明书

技术领域

本发明涉及一种色彩描述分析设备、色彩描述分析方法和色彩描述 分析程序，用于基于与自然语言文本中的色彩相关的描述来分析色彩。

背景技术

近年来，能够直接拍摄数字静止/视频图像的数字静止照相机和数 字视频照相机是普遍的，因而可以将大量数字图像累积为数据并容易地 参考所累积的数据。例如，诸如静止图像共享服务“Flickr” (http://www.flickr.com)和视频图像共享服务“YouTube” (http://www.youtube.com)之类的网站提供允许世界范围的用户自由 地登记、搜索和参考静止/视频图像的服务。此外，大多数在线商品销售 网站和拍卖网站提供丰富的照片图像，以使用户检查并比较商品。

此外，还将利用监视照相机拍摄的视频图像累积为数字数据。通过 计算机以图像分析的方式执行搜索，来增加搜索个人、对象等的效率。

在针对数字图像的搜索中，如果与搜索的目标相同或相类似的对象 的数字图像就在手边，则可以通过计算机进行图像数据之间的图像匹配， 来高速地搜索和检索类似图像(例如，参见非专利文献1)。然而，有时 候，不容易获取或产生作为用于匹配的样本的这种数字图像。例如，当 还没有看见要搜索的真实物品并且必须通过使用诸如从人处获悉的故事 或文档中的描述之类的线索来检索图像时，必须基于描述(其通过使用 词表达了图像的特征)来进行图像搜索。

存在基于以自然语言描述的查询文本(查询)来搜索图像的相关技 术。在这种方法中，通过将查询文本与先前分配给每个图像的每个元数 据(以自然语言的词和短语描述)相匹配来执行搜索。还存在通过将与 查询文本中包括的色彩和形状相关的自然语言表述相应地转换为图像的 特征量来进行搜索的方法。

在采用了使用元数据的前一种搜索方法的情况下，执行与普通关键 字搜索基本相同的过程。例如，非专利文献2公开了能够通过使用工具 来进行图像搜索的方法，其中该图像搜索与通过分配元数据给(从文档 (博客)自动地提取的)每个图像来进行的文档全文本搜索相类似。在 将元数据与查询文本相匹配的这种方法中，必须提前分配必要且足够量 的元数据给每个图像。因此，操作成本以及元数据的理解程度成为了问 题。

在后一种的搜索方法中，存在通过将关于形状的自然语言表述转换 为图像的形状特征量来进行搜索的方法。例如，非专利文献3公开了如 下方法：通过将诸如“有角的”和“轮廓鲜明的”之类的感观词与形状 特征量相关联来执行搜索，其中形状特征量通过使用符号和数字值来表 达在图像中包括的对象(例如，椅子)的一部分的长度、角度等。

后一种搜索方法还包括通过将关于色彩的自然语言表述转换为图 像的色彩特征量来进行搜索的方法。例如，专利文献1公开了如下方法， 即通过将诸如“蓝色”或“类似黄色”之类的色彩相关的表述转换为以 色彩空间(RGB、HIS等)中的值的分布来表达的色彩特征量，来搜索外 衣、风景相片等。这种使用色彩特征量的图像搜索方法还可用于搜索没 有提前分配元数据的图像。使用色彩特征量的图像搜索方法还对以下情 形有效：不能有效地执行使用形状特征量的图像搜索(当专门检索相同 形状的条项(T恤，手帕等)，当检索具有不确定形状的对象的照片图像 (例如，自然风景)时，等等)。

引用列表

专利文献

专利文档1：JP-2009-3581A

非专利文献

非专利文献1：Kobayakawa等，″Interactive Image Retrieval Based  on Wavelet Transform and Its Application to Japanese Historical Image  Data″，Transactions of Information Processing Society of Japan，Vol.40，No. 3，pp.899-911，1999

非专利文献2：Ihara等，″Mobloget：A Retrieval System for Texts and  Images in Blogs″，Workshop on Interactive Systems and Software (WISS2005)，pp.69-74，2005

非专利文献3：Harada等，″On Constructing Shape Feature Space for  Interpreting Subjective Expressions″，Transactions of Information Processing  Society of Japan，Vol.40，No.5，pp.2356-2366，1999

发明内容

技术问题

然而，在将自然语言文本描述的色彩相关的表述转换为色彩特征量 的方法中(例如，专利文档1中描述的方法)，对于一个搜索图像或图像 中的一个对象，仅可以指定一种色彩。例如，在由例如“具有红色和蓝 色图案的针织衫”或“在白色背景上有蓝色线的衬衣”等两种或多种色 彩的组合来表达查询文本的情况下，不可以执行指定两种或多种色彩的 图像搜索，并且不能高精度地搜索并检索目标图像。

要解决以上问题的本发明的目的在于，提供一种色彩描述分析设 备、色彩描述分析方法和色彩描述分析程序，使得当基于自然语言形式 的颜色相关的描述来进行图像搜索时，即使当以自然语言表达的色彩相 关的描述描述了两种或多种色彩时，也可以高精度地搜索并检索期望图 像。

问题的解决方案

根据本发明的一个方面，提供了一种色彩描述分析设备，将自然语 言描述转换为对指定色彩空间中的值的分布加以表示的数据，自然语言 描述是与以自然语言表达的色彩相关的描述，所述色彩描述分析设备包 括色彩比率确定装置，所述色彩比率确定装置通过使用对色彩之间的关 系加以指示且在包括在自然语言描述中的词和短语，来确定在自然语言 描述中包括的每种色彩占据的每个区域与作为自然语言描述的对象的图 像的整个区域的比率。

根据本发明的另一方面，提供了一种色彩描述分析设备，将自然语 言描述转换为对指定色彩空间中的值的分布加以表示的数据，自然语言 描述是与以自然语言表达的色彩相关的描述，所述色彩描述分析设备包 括色彩比率确定装置，其中，对于自然语言描述指定的色彩以及先前存 储的指定色彩，所述色彩比率确定装置确定每种色彩占据的每个区域与 作为自然语言描述的对象的图像的整个区域的比率。

根据本发明的另一方面，提供了一种色彩描述分析方法，其中，通 过如下步骤产生对指定色彩空间中的值的分布加以表示的数据：通过使 用对色彩之间的关系加以指示且包括在自然语言描述中的词和短语，确 定在自然语言描述中包括的每种色彩占据的每个区域与作为自然语言描 述的对象的图像的整个区域的比率，所述自然语言描述是以自然语言表 达的色彩相关的描述。

根据本发明的另一方面，提供了一种色彩描述分析方法，其中，通 过如下步骤产生对指定色彩空间中的值的分布加以表示的数据：对于自 然语言描述指定的色彩以及先前存储的指定色彩，确定每种色彩占据的 每个区域与作为自然语言描述的对象的图像的整个区域的比率。

根据本发明的另一方面，提供了一种用于使计算机执行如下过程的 色彩描述分析程序：通过使用对色彩之间的关系加以指示且包括在自然 语言描述中的词和短语，来确定在自然语言描述中包括的每种色彩占据 的每个区域与作为自然语言描述的对象的图像的整个区域的比率；以及 产生对指定色彩空间中的值的分布加以表示的数据，所述自然语言描述 是以自然语言表达的色彩相关的描述。

根据本发明的另一方面，提供了一种用于使计算机执行如下过程的 色彩描述分析程序：对于自然语言描述指定的色彩以及先前存储的指定 色彩，确定每种色彩占据的每个区域与作为自然语言描述的对象的图像 的整个区域的比率；以及产生对指定色彩空间中的值的分布加以表示的 数据。

本发明的有益效果

根据本发明，当基于自然语言形式的颜色相关的描述来进行图像搜 索时，即使当以自然语言表达的色彩相关的描述描述了两种或多种色彩 时，也可以高精度地搜索并检索期望图像。

附图说明

[图1]描述了示出根据本发明的色彩描述分析设备的功能性结构的 示例的框图。

[图2]描述了示出向色彩描述分析设备输入的输入/输出数据及通 过使用色彩描述分析设备进行的图像搜索的示例的说明性示图。

[图3]描述了示出字典的具体示例的说明性示图。

[图4]描述了示出由色彩比率确定装置执行的过程的示例的说明性 示图。

[图5]描述了示出色彩描述分析装置的硬件结构的示例的说明性示 图。

[图6]描述了示出色彩描述分析设备输入自然语言文本并分析在搜 索目标图像中包括的色彩的示例的流程图。

[图7]描述了示出根据第二示例性实施例的色彩描述分析设备的功 能性结构的示例的框图。

[图8]描述了示出第二示例性实施例中的字典的具体示例的说明性 示图。

[图9]描述了示出指示每种类别的信息以及指示在第二示例性实施 例中的对象结构知识中包括的类别之间的关系的信息的具体示例的说明 性示图。

[图10]描述了示出第二示例性实施例中的色彩值调节装置校正在 搜索目标图像中包括的每种色彩(在色彩空间中)的区域的执行的示例 的说明性示图。

[图11]描述了示出第二示例性实施例中的色彩比率调节装置调节 色彩区域的面积比率的示例的说明性示图。

[图12]描述了示出根据第三示例性实施例的色彩描述分析设备的 功能性结构的示例的框图。

[图13]描述了示出第三示例性实施例中的色彩区域调节装置调节 色彩空间中的每个局部区域的尺寸的示例的说明性示图。

[图14]描述了示出色彩描述分析设备的最小功能性结构的示例的 框图。

具体实施方式

<第一示例实施例>

在下文中，将参考附图描述本发明的第一示例性实施例。图1是示 出了根据本发明的色彩描述分析设备的功能性结构的示例的框图。如图 1所示，本示例实施例中的色彩描述分析设备包括字典101、自然语言文 本输入装置102、色彩描述提取装置103、色彩比率确定装置104及图像 特征量产生装置105。色彩描述分析设备能够通过使用这些装置产生与 关于色彩的输入自然语言描述相对应的图像特征量数据。换句话说，本 发明的色彩描述分析设备将自然语言文本中的关于色彩的描述转换为图 像特征量。具体地，通过根据程序操作的信息处理设备(例如，个人计 算机)来实现色彩描述分析设备。

例如，根据本发明的色彩描述分析设备可适用于对利用照相机拍摄 的累积图像进行图像检索(图像搜索)。基于此目的，通过采用色彩描述 分析设备，使得能够基于从人处获悉的图像的对象的特征(通过询问获 得的信息等等)进行图像搜索。根据本发明的色彩描述分析设备尤其适 用于搜索期望的产品/装备(衣服、鞋等)、适用于将根据自然语言文本 产生的色彩分布与搜索的原始预期目标的色彩分布相比较，从而分析人 记忆的色彩与实际色彩之间的差异，分析照明的效果或者调节照明等等。

字典101是包括了表示色彩的自然语言词(自然语言形式的词)(在 下文中，也被称作“色彩描述”)和表示色彩之间的关系的自然语言词(在 下文中，也被称作“相关术语”)的字典。具体地，在诸如磁盘设备或光 盘设备之类的存储设备中存储字典101。

具体地，通过信息处理设备的CPU根据程序及诸如键盘和鼠标之类 的输入设备操作来实现自然语言文本输入装置102。自然语言文本输入 装置102具有根据用户操作输入作为自然语言形式的关于搜索目标图像 (作为搜索的目标的图像)的描述的查询文本的功能。附带地，在本示 例实施例中，具体地假设自然语言文本输入装置102输入了对搜索目标 图像的关于色彩的特征加以描述的查询文本。

自然语言文本输入装置102还可以被配置为输入或接收包括查询文 本的文件，其中该查询文本描述了搜索目标图像。

具体地，通过根据程序操作的信息处理设备的CPU来实现色彩描述 提取装置103。色彩描述提取装置103具有如下功能：通过使用字典101 从自然语言文本输入装置102输入的查询文本中提取表示了色彩的词 (色彩描述)。色彩描述提取装置103还具有如下功能：通过使用字典 101从自然语言文本输入装置102输入的查询文本中提取相关术语。

具体地，通过根据程序操作的信息处理设备的CPU来实现色彩比率 确定装置104。色彩比率确定装置104具有如下功能：基于色彩描述提 取装置103提取的色彩描述及相关术语来确定在查询文本中包括的色彩 之间的比率。在本示例实施例中，色彩比率确定装置104提取对与色彩 描述提取装置103提取的色彩描述相对应的色彩空间加以表示的值以及 与来自字典101的相关术语相对应的分比率。色彩比率确定装置104基 于提取的值(表示色彩空间)和分比率确定搜索目标图像中的色彩区域 和色彩比率(由在查询文本中包括的色彩所表示的区域的比率)。

具体地，通过根据程序操作的信息处理设备的CPU来实现图像特征 量产生装置105。图像特征量产生装置105具有如下功能：基于色彩比 率确定装置104确定的色彩比率，产生图像特征量，图像特征量表示搜 索目标图像的关于色彩的特征(表示指定色彩空间中的值的分布的数 据)。在该示例实施例中，图像特征量产生装置105产生图像特征量，其 中包括由色彩比率确定装置104确定的色彩区域与色彩比率，同时色彩 区域与色彩比率彼此相关联。

图2是示出了向色彩描述分析设备输入的输入/输出数据以及通过 使用色彩描述分析设备进行的图像搜索的示例的说明性示图。例如，如 图2所示，本示例实施例中的自然语言文本输入装置102根据用户操作 输入查询文本，例如“具有蓝色背景上的黄色线的衬衣…”。如图2的示 例所示，即使对于使用多个色彩来描述的搜索目标图像(例如，“蓝色背 景上的黄色线”)，本示例实施例中的色彩描述分析设备也能够根据以自 然语言描述的文本(在下文中，被称作“自然语言文本”)来产生图像特 征量数据，该图像特征量数据包括关于如下内容的信息：占据了色彩空 间中特定区域的一个或多个局部区域，以及每个局部区域中色彩在搜索 目标图像的整个区域中的占有率(占有的面积比率)。可以通过使用由色 彩描述分析设备产生的图像特征量来进行图像匹配，由此执行诸如针对 搜索目标图像的图像搜索之类的操作。

图3是示出了字典101的具体示例的说明性示图。可以通过参考准 备包括如图3所示内容的字典101来执行色彩描述提取装置103从自然 语言文本中提取关于色彩的描述(色彩描述)，以及色彩比率确定装置 104确定色彩比率(以自然语言文本描述的色彩的区域在色彩空间中的 占有率)的操作。

例如，当由自然语言文本输入装置102输入的自然语言文本是“蓝 色背景上的黄线”时，色彩描述提取装置103能够通过参考图3所示的 字典101来提取“蓝色”和“黄色”作为色彩名称。色彩描述提取装置 103还能够提取存在于色彩名称之间的相关术语(表示关系的词)“on”。 作为表示关系的词(相关术语)，色彩描述提取装置103从位于查询文本 中包括的两个色彩名称之间的字符串排他地提取相关词。在本示例中， 色彩描述提取装置103按照提取的顺序从查询文本中提取色彩描述和相 关术语，例如[色彩名称：黄色]，[关系：上]以及[色彩名称：蓝色]。

接下来，以下将描述色彩比率确定装置104根据提取的词序列确定 每种色彩在色彩空间中的区域以及每个区域的色彩比率的过程。图4是 示出了由色彩比率确定装置104执行的过程的示例的说明性示图。当如 图4(a)所示，输入的自然语言文本是“蓝色背景上的黄色线”时，色 彩描述提取装置103根据与以上过程相似的过程提取[色彩名称：黄色]， [关系：上]以及[色彩名称：蓝色]。此处，色彩比率确定装置104可以 通过再次参考图3所示的字典101，来确定[色彩名称：蓝色]的区域 (240，1.0，0.5，0.15)，其中通过将[色彩名称：蓝色]的色彩区域宽度W 加到[色彩名称：蓝色]的色彩空间(图3所示的字典101中的HSV空间) 的值[色彩名称：蓝色]，来获得[色彩名称：蓝色]的区域 (240，1.0，0.5，0.15)。色彩比率确定装置104还可以根据类似过程确定 [色彩名称：黄色]的区域(60，1.0，0.5，0.08)。

随后，对于色彩空间中的两个色彩的每个确定区域，色彩比率确定 装置104通过采用(色彩区域之间的)区域分比率来确定色彩间比率， 其中通过结合了两个色彩的相关术语[关系：上]来表示区域分比率。在 本示例中，图3所示的字典101已经指定比率0.2∶0.8，作为与[关系： ON]相对应的分比率。因此，色彩比率确定装置104能够判断目标图像中 的[色彩名称：黄色]的区域的占有率(面积比率)等于0.2(20％)，以 及目标图像中的[色彩名称：BLUE]的区域的占有率(面积比率)等于0.8 (80％)。

作为另一示例，以下将输入的自然语言文本包括色彩描述“白色背 景上的蓝色和红色”的情况。此外，在这种情况下，色彩比率确定装置 104能够根据与图4(a)所示的过程类似的过程将色彩“蓝色”、“红色” 和“白色”的面积比率分配成如图4(b)所示的0.1∶0.1∶0.8，其中 通过该比率可以确定构成特定目标图像的色彩的色彩比率。附带地，图 4(b)的示例中的色彩比率确定装置104被配置为关于色彩名称的结合， 通过将[关系：与]优先于[关系：上]来确定比率。

色彩比率确定装置104还可以进一步通过使用在图3所示的字典 101中包括的默认色彩的值来确定色彩区域的面积比率。例如，色彩比 率确定装置104可以被配置为，仅当从自然语言文本提取的色彩相关的 描述中包括的色彩名称的数目是0时，或者仅当包括了一个色彩相关的 描述时，通过使用默认色彩来确定色彩比率。备选地，即使当在查询文 本中包括了两个或多个色彩名称时，如果结合了两个或多个色彩的相关 术语表示等分(例如，[关系：与])，则色彩比率确定装置104可以通过 附加地将默认色彩用作作为等分对象的色彩中的一个色彩，来确定色彩 比率。

在图3所示的字典101的示例中，将默认色彩指定为白色。因此， 例如，当从自然语言文本提取了仅一个色彩[色彩名称：红色]时，则色 彩比率确定装置104可以通过将默认色彩用作作为等分的对象的色彩中 的一个色彩，来确定色彩比率。在这种情况下，色彩比率确定装置104 判断在查询文本中包括的色彩描述和相关术语与[色彩名称：白色]、[关 系：与]以及[色彩名称：红色]相对应，并且根据以下表达式(1)确定 色彩比率：

[HSVW：180，0，1.0，0.1]×[0.5]

[HSVW：0，1.0，0.5，0.1]×[0.5]…(1)

附带地，假设例如先前已经通过管理色彩描述分析设备的系统管理 员等输入并登记在字典101中包括的每个色彩的表示了色彩空间的值 (在本示例中，采用了HSV的值)及每个相关术语的分比率的值。可以 例如通过对过去进行的图像搜索的历史日志进行汇总，来将每个相关术 语的分比率的值确定为统计量。假定在本示例性实施例中，例如由于对 先前图像搜索的历史日志的汇总而获得了指示如下内容的统计量并且根 据统计量来设置字典101：在使用了相关术语“与”的情况下，色彩间 比率是约50％，以及在使用了相关术语“上”的情况下，色彩间比率是 80∶20。

尽管在本示例性实施例中将HSV空间用作每个色彩的色彩空间，但 是色彩空间的类型不限于在本示例性实施例中示出的色彩空间；只要空 间表示色彩空间，就可以使用不同类型的空间，例如RGB空间或HLS空 间。

根据以上描述的过程，如图4所示，对于由在字典101中描述的色 彩名称所标识的每个对象(一个图像中)的色彩，可以确定色彩区域和 色彩比率。因此，图1所示的图像特征量产生装置105能够输出由色彩 比率确定装置104确定的一组或多组数据(每个数据包括色彩区域和色 彩比率)，作为图像特征量。

根据以上描述的结构和过程，色彩描述分析设备能够根据输入的自 然语言文本(查询文本)产生图像特征量，该图像特征量包括色彩空间 中的区域以及与构成图像的一个或多个色彩相关的占有率。这使得能够 基于如图2所示示例中的自然语言文本搜索由两个或多个色彩形成的图 像。

接下来，以下将描述色彩描述分析设备的硬件结构。图5是示出了 色彩描述分析设备的硬件结构的示例的框图。如图5所示，可以通过与 通用计算机设备的硬件结构相类似的硬件结构来实现色彩描述分析设备 12。色彩描述分析设备12包括CPU(中央处理单元)121、主存储单元 122、输出单元123、输入单元124、通信单元125和辅助存储单元126。

例如，主存储单元122是由RAM(随机访问存储器)实现的主存储 器。主存储单元122被用作数据的工作区域及临时回收区域(临时保存 区域)。输出单元123由显示设备(例如，液晶显示器)或打印设备(例 如，打印机)来实现。输出单元123具有输出数据的功能。输入单元124 由诸如键盘或鼠标之类的输入设备来实现。输入单元124具有输入数据 的功能。在通过加载文件来进行数据输入的情况下，输入单元124还可 以通过用于从外部记录介质读取数据的设备等来实现。通信单元125与 外围设备相连。通信单元125具有发送和接收数据的功能。辅助存储单 元126例如由ROM(只读存储器)或硬盘设备来实现。

通过如图5所示的系统总线127将以上部件121-126连接在一起。

在图5所示的示例中，色彩描述分析设备12的辅助存储单元126 存储了各种程序，其中所述各种程序用于基于作为自然语言文本输入的 查询文本来分析在搜索目标图像中包括的色彩。例如，辅助存储单元126 存储了用于使计算机执行如下过程的色彩描述分析程序：通过使用指示 了色彩之间的关系并包括在自然语言描述中的词和短语，确定自然语言 描述(作为与以自然语言表达的色彩相关的描述)中包括的每个色彩占 据的每个区域与作为自然语言描述的对象的图像的整个区域的比率，以 及产生对指定色彩空间中的值的分布加以表示的数据。

还可以通过安装电路部件来以基于硬件的方式实现色彩描述分析 设备12，其中电路部件包括硬件部件，例如嵌入了用于在色彩描述分析 设备12中实现图1所示功能的程序的LSI(大规模集成电路)。备选地， 还可以通过使计算机的CPU121执行提供了图1所示部件的上述功能的程 序来以基于软件的方式实现色彩描述分析设备12。因此，CPU121能够通 过从辅助存储单元126加载程序到主存储单元122中并运行该程序来控 制色彩描述分析设备12，由此以基于软件的方式实现前述功能。

接下来，将描述操作。图6是示出了色彩描述分析设备输入自然语 言文本并分析在搜索目标图像中包括的色彩的过程的示例的流程图。首 先，由想要进行图像搜索的用户操作色彩描述分析设备，从而指示该设 备输入查询文本，其中该查询文本通过使用自然语言(自然语言文本) 来描述了用户想要搜索的图像(搜索目标图像)的特征(具体是色彩)。 然后，色彩描述分析设备的自然语言文本输入装置102根据用户操作来 输入自然语言(步骤S10)。

随后，色彩描述分析设备的色彩描述提取装置103基于字典101从 自然语言文本输入装置102输入的自然语言文本中提取关于搜索目标图 像的色彩描述和相关术语(步骤S11)。随后，色彩描述分析设备的色彩 比率确定装置104基于色彩描述提取装置103提取的色彩描述和相关术 语确定在查询文本中包括的色彩之间的比率(步骤S12)。在本示例性实 施例中，色彩比率确定装置104从字典101提取对与提取的色彩描述相 对应的色彩空间加以表示的值以及与相关术语相对应的分比率，然后基 于提取的(表示色彩空间)值和分比率来确定搜索目标图像中的色彩区 域和色彩比率。

随后，色彩描述分析设备的图像特征量产生装置105基于由色彩比 率确定装置104确定的色彩比率，产生对搜索目标图像中关于色彩的特 征加以表示的图像特征量(步骤S13)。在本示例性实施例中，图像特征 量产生装置105产生了图像特征量，该图像特征量包括由色彩比率确定 装置104确定的色彩区域和色彩比率，同时色彩区域与色彩比率彼此相 关联。

此后，由色彩描述分析设备产生的图像特征量被输入到执行图像搜 索的图像搜索设备(未示出)。图像搜索设备基于色彩描述分析设备产生 的图像特征量来执行图像搜索，图像搜索设备搜索并提取与搜索目标图 像相匹配的图像。附带地，可以通过使用单个(公共)信息处理设备或 分离的信息处理设备，来实现色彩描述分析设备和图像搜索设备。

如上所描述，根据本示例性实施例，色彩描述分析设备根据通过键 盘输入的自然语言文本或由通信单元经由网络加载或接收的文件，来产 生表示图像特征量的数据。通过使用经由网络与色彩描述分析设备12 相连的图像搜索设备(未示出)，或者通过使用在与色彩描述分析设备 12相同的硬件中执行的图像搜索程序，可以实现针对一个色彩或者两个 或多个色彩形成的图像的图像搜索。

具体地，色彩描述分析设备提取在输入的自然语言文本中包括的多 个色彩描述，同时还提取相关术语。色彩描述分析设备基于提取的色彩 描述和相关术语确定关于多个色彩的色彩区域和色彩比率。然后，色彩 描述分析设备产生图像特征量，该图像特征量包括了彼此相关联的确定 的色彩区域和色彩比率。因此，即使当以自然语言描述的色彩相关的描 述描述了两个或多个色彩时，当基于自然语言的色彩相关的描述进行图 像搜索时，可以将色彩相关的描述转换为关于图像的色彩特征量。因此， 当基于自然语言的色彩相关的描述进行图像搜索时，即使当以自然语言 描述的色彩相关的描述描述了两个或多个色彩时，也可以高精度地搜索 并检查期望的图像。换句话说，即使当搜索目标图像由两个或多个色彩 构成时，也可以基于自然语言形式的清楚且简单的表述来搜索并检索期 望的图像。

<第二示例性实施例>

接下来，将参考附图描述本发明的第二示例性实施例。图7是示出 了根据第二示例性实施例的色彩描述分析设备的功能性结构的示例的框 图。如图7所示，本示例性实施例中的色彩描述分析设备与第一示例性 实施例中的色彩描述分析设备的不同之处在于，除了图1所示的部件之 外，该设备还包括对象结构知识107、对象描述提取装置108、色彩值调 节装置109和色彩比率调节装置110。此外，在本示例性实施例中的字 典106中包括的信息与在第一示例性实施例中的字典101中包括的信息 不同。

本示例性实施例中的自然语言文本输入装置102、色彩描述提取装 置103、色彩比率确定装置104和图像特征量产生装置105的功能与第 一示例性实施例中描述的这些装置相同，从而为了简洁而省略了其中的 重复说明部分。

图8是示出了第二示例性实施例中字典106的具体示例的说明性示 图。如图8所示，本示例性实施例中的字典106与第一示例性实施例中 的字典101的不同之处在于，与图3所示的字典101相比较，字典106 还包括对象名称字典、前置修饰词字典和后置修饰词字典。

对象名称字典包括非色彩的对象(例如，诸如衣服之类的对象)的 名称，其中从可以是搜索目标图像的特征的词中选择该对象。例如，在 图8所示的对象名称字典中包括的描述“衣服名称：运动衫、衣服、蓝 色”指示了由词“衣服名称：运动衫”表示的对象是类别“衣服”的实 例。在图8的示例中，色彩“蓝色”是“衣服名称：运动衫”的默认色 彩。可以按照与第一示例性实施例中说明的字典101中的默认色彩相同 的方式将针对“衣服名称：运动衫”的这种默认色彩用于图像中被辨认 为运动衫的区域中。

附带地，尽管通过将衣服(运动衫、夹克等)当作可能在搜索目标 图像中包括的对象的示例来说明本示例性实施例，但是对象不限于本示 例性实施例中所示出的这些对象；还可以针对诸如个人物品(包、照相 机等)之类的其它对象来进行分析。

如图8所示，前置修饰词字典包括从可以是搜索目标图像的特征的 词选择的前置修饰词(“明亮”、“薄”等)。同时，后置修饰词字典包括 从可以是搜索目标图像的特征的词选择的后置修饰词(“类似”、“类型” 等)。

对象结构知识107包括了指示每种类别(搜索目标图像中可能包括 的对象所属的目录)的信息以及指示类别之间的关系的信息。图9是示 出了如下信息的具体示例的说明性示图：指示每种类别的信息，以及指 示在第二示例性实施例中的对象结构知识107中包括的类别之间的关 系。具体地，在诸如磁盘设备或光盘设备之类的存储设备中存储对象结 构知识107。

在图9的示例中，“衣服”、“上衣”、“外套”、“上半身”等表示类 别，以及附着于将类别相连的箭头上的“类别”、“盖写”、“优先级”等 表示特定关系(每种关系表示了类别之间的关系)。对于类别间关系中的 关系“盖写”和“优先级”，对象结构知识107还描述了(参见图9)处 于每个箭头(表示类别之间的关系)的尾部的类别与处于箭头的顶部的 类别占据了图像中多少百分比的共享区域。

在图9所示的对象结构知识107中，例如，设置类别“上衣外套” 和“上衣”(它们由于被归类到了相同的类别“上半身”而共享了相同区 域)，使得类别“上衣外套”具有优于类别“上衣”的“优先级”。根据 该设置，当同时以自然语言文本描述与“上衣外套”相对应的对象以及 与“上衣”相对应的对象时，可以根据图9所示的设置来判断与“上衣 外套”相对应的对象的色彩占据了共享区域的0.7(70％)以及与“上 衣”相对应的对象的色彩占据了相同共享区域的余下0.3(30％)。相反， 当已经设置了“盖写”时，可以判断与处于箭头尾部的类别相对应的对 象的色彩占据了共享区域的1.0(100％)，即，整个区域。

附带地，假设例如先前已经通过管理色彩描述分析设备的系统管理 员等输入并登记了在字典106中包括的对象名称字典、前置修饰词字典 和后置修饰词字典。还假定例如先前已经通过管理色彩描述分析设备的 系统管理员等输入并登记了对象结构知识107。

在图7中，具体地，通过根据程序操作的信息处理设备的CPU实现 对象描述提取装置108。对象描述提取装置108具有参考字典106从而 从自然语言文本输入装置102输入的自然语言文本提取(在字典106中 的对象名称字典中描述的)对象名称的功能。对象描述提取装置108还 具有从对象名称字典提取所提取的对象名称所属的类别的功能。对象描 述提取装置108还具有判断对象名称所属的类别与关于色彩描述提取装 置103提取的对象名称的色彩描述(即，色彩描述提取装置103提取的 所有色彩描述中与对象描述提取装置108提取的对象名称相关的色彩描 述)之间的相应关系的功能。简而言之，对象描述提取装置108通过使 用字典106从自然语言文本提取对象的名称并判断对象的类型。

尽管在图7的示例中将对象描述提取装置108设置为在色彩描述提 取装置103之后用于执行过程的装置，色彩描述提取装置103与对象描 述提取装置108之间的前后关系不限于图7所示的关系。例如，还可以 在色彩描述提取装置103之前设置对象描述提取装置108。在这种情况 下，对象描述提取装置108首先执行从自然语言文本输入装置102输入 的自然语言文本提取对象名称的过程，以及此后色彩描述提取装置103 执行从自然语言文本提取色彩描述的过程。还可以并发且并行地执行由 色彩描述提取装置103与对象描述提取装置108进行的过程。

在图7中，具体地，通过根据程序操作信息处理设备的CPU实现了 色彩值调节装置109。色彩值调节装置109具有参考字典106从而从自 然语言文本输入装置102输入的自然语言文本中提取色彩名称以及关于 色彩的修饰词的功能。具体地，色彩值调节装置109从自然语言文本提 取在前置修饰词字典中包括的前置修饰词以及在后置修饰词字典中包括 的后置修饰词。色彩值调节装置109还具有基于提取的前置修饰词和后 置修饰词来校正色彩空间中的每种颜色的区域的功能。简而言之，色彩 值调节装置109通过使用在字典106中包括的色彩相关的修饰词来调节 自然语言文本中以自然语言描述的每种色彩在指定色彩空间中占据的区 域的位置或尺寸。

图10是示出了如下过程的示例的说明性示图：第二示例性实施例 中的色彩值调节装置109校正在搜索目标图像中包括的每种色彩(在色 彩空间中)的区域。例如，当在图10所示的输入的自然语言文本中存在 描述“红色类似”时，色彩值调节装置109从描述“红色类似”提取连 续元素[色彩名称：红色]和[后置修饰词：类似]的集合。随后，色彩值 调节装置109通过使用(在本示例中，“相加”)“类似”的校正值(0，-0.1， 0，0.2)来校正对色彩空间中的“红色”的区域加以表示的值(0，1.0，0.5， 0.1)，从而确定对校正区域加以表示的值(0，0.9，0.5，0.3)。然后，色彩值 调节装置109将校正值用作表示了“红色类似”的值。

在本示例性实施例中，色彩比率确定装置104通过使用由色彩值调 节装置109获得的校正值，来确定搜索目标图像中的色彩区域和色彩比 率。

在图7中，具体地，通过根据程序操作的信息处理设备的CPU实 现色彩比率调节装置110。色彩比率调节装置110具有参考字典106和 对象结构知识107，由此调节由色彩比率确定装置104确定的整个对象 中每种色彩的区域的占有的面积比率(占有率)的功能。具体地，在由 两个或多个部分对象的结合形成对象区域的情况下，色彩比率调节装置 110基于部分对象之间的组成比率，来相应地改变占据了部分对象的色 彩之间的面积比率。简而言之，色彩比率调节装置110通过使用在对象 结构知识107中包括的对象类型之间的关系，来确定占据了图像中与每 个对象相对应的特定区域的每种色彩的面积比率。

图11是示出了第二示例性实施例中色彩比率调节装置110调节色 彩区域的面积比率过程的示例的说明性附图。在图11所示的示例中，假 定至少描述了作为字典106中衣服名称的属于类别“上衣外套”的“夹 克”和属于类别“上衣”的“针织衫”。还假定对象结构知识107(在图 11中简单表示为“知识”)至少描述了如下信息：指示了关系-类别“上 衣外套”被“归类”到类别“上半身”下的信息、指示了关系-“上衣” 被“归类”到类别“上半身”下的信息、指示了关系-类别“上衣外套” 具有由于类别“上衣”的“优先级”)的信息、以及指示了具有“优先级” 的类别中的实例的色彩的占有率等于0.7(70％)(优先级：0.7)的信 息。

在图11所示的示例中，当输入的自然语言文本是“米色夹克和红 色针织衫”(步骤0)时，色彩比率调节装置110基于字典106的内容判 断占据夹克的色彩中的米色的比率是100％(色彩比率：1.0)以及占据 针织衫的色彩中的红色的比率是100％(色彩比率：1.0)(步骤1)。

随后，色彩比率调节装置110基于字典106的内容判断夹克是一种 上衣外套(类别“上衣外套”的实例)以及针织衫是一种上衣(类别“上 衣”的实例)(步骤2)。

此外，色彩比率调节装置110能够基于对象结构知识107的内容判 断类别“上衣外套”和类别“上衣”均被归类到了类别“上半身”下。 色彩比率调节装置110还能够判断在重叠的情况下(当上衣外套与上衣 彼此重叠的情况下，类别“上衣外套”具有优于类别“上衣”的“优先 级”)。色彩比率调节装置110还能够判断，在类别“上半身”中的所有 实例中，具有“优先级”的实例的色彩具有“0.7”(70％)的占有率。 因此，色彩比率调节装置110能够确定，整个“上半身”中的“米色” (作为夹克的色彩)的占有率等于1.0×0.7以及整个“上半身”中的“红 色”(作为针织衫的色彩)的占有率等于1.0×(1.0-0.7)(步骤3)。因 此，色彩比率调节装置110能够确定色彩组成比率是米色0.7∶red 0.3 (步骤4)。

在本示例性实施例中，在经历了由色彩比率调节装置110进行的面 积比率调节之后，图像特征量产生装置105基于色彩区域产生图像特征 量。

可以通过与图5所示的第一示例性实施例中的色彩描述分析设备相 类似的硬件结构来实现本示例性实施例中所示的色彩描述分析设备。

如上所描述，根据本示例性实施例，色彩描述分析设备从输入的自 然语言文本提取对象名称和类别，从而校正在搜索目标图像中包括的每 种色彩的(色彩空间中的)区域。然后，色彩描述分析设备调节在搜索 目标图像中包括的色彩区域的面积比率，并且在面积比率调节之后基于 色彩区域产生图像特征量。因此，本示例性实施例使得即使当不同色彩 的两个或多个对象重叠时，也能够根据自然语言文本产生图像的色彩空 间中的图像特征量。因此，可以通过对自然语言文本的使用来搜索并提 取其中不同色彩的两个或多个对象重叠的图像。

<第三示例性实施例>

接下来，将参考附图描述本发明的第三示例性实施例。图12是示 出了根据第三示例性实施例的色彩描述分析设备的功能性结构的示例的 框图。如图12所示，本示例性实施例中的色彩描述分析设备与第一示例 性实施例中的色彩描述分析设备的不同之处在于，除了图1所示的部件 之外，该设备还包括色彩区域调节装置111。

此外，在本示例性实施例中的字典101中包括的信息与在第一示例 性实施例中的字典101中包括的信息等同，因而为了简洁而省略了其重 复说明部分。本示例性实施例中的自然语言文本输入装置102、色彩描 述提取装置103、色彩比率确定装置104和图像特征量产生装置105的 功能与第一示例性实施例中描述的这些装置等价，从而为了简洁而省略 了其中的重复说明部分。

如图12所示，除了在第一示例性实施例中描述的部件之外，本示 例性实施例中的色彩描述分析设备还配置有色彩区域调节装置111。具 体地，通过根据程序操作的信息处理设备的CPU来实现色彩区域调节装 置111。色彩区域调节装置111具有如下功能：当色彩描述提取装置103 从自然语言文本提取了多个色彩名称时，根据色彩空间中所提取的色彩 名称表示的局部区域之间的距离来调节色彩空间中的每个局部区域的尺 寸。换句话说，对于作为自然语言文本的对象的图像的整个区域，色彩 区域调节装置111根据在自然语言文本中包括的色彩在指定色彩空间中 占据的区域之间的距离，来调节在自然语言文本中包括的每种色彩占据 的每个区域的尺寸。

图13是示出了第三示例实施例中的色彩区域调节装置111调节色 彩空间中的每个局部区域的尺寸的过程的示例的示意性示图。例如，在 色彩空间的局部区域1和2处于特定位置关系(其中局部区域1和2的 边界色彩之间的距离等于如图13(a)所示的特征值(特定距离))的情 况下，色彩区域调节装置111不执行改变色彩空间中从每个局部区域1、 2的中心色彩至边界色彩的距离的过程。在局部区域1和2之间的距离 大于如图13(b)所示的特定距离的情况下，色彩区域调节装置111执 行增大从每个局部区域1、2的中心色彩至边界色彩的距离的过程，直到 局部区域1和2的边界色彩之间的距离的最小值下降到特定值为止。相 反，在局部区域1和2之间的距离小于如图13(c)所示的特定距离的 情况下，色彩区域调节装置111执行减小从每个局部区域1、2的中心色 彩至边界色彩的距离的过程，直到局部区域1和2之间的距离的最小值 增大到特定值为止，或者直到局部区域1和2之间的重叠消失为止。

在图13(b)和13(c)所示的情况下，可以设置限制值，该限制 值与增大或减小从每个局部区域的中心色彩至边界色彩的距离的比率相 关。色彩区域调节装置111还可以通过测量局部区域1和2的中心色彩 之间的距离来执行调节，而不是增大/减小局部区域的边界色彩之间的距 离。在这种情况下，色彩区域调节装置111执行如下过程：通过减小彼 此面对的局部区域1和2的部分(区域)的尺寸来避免重叠，同时通过 增大如图13(d)所示局部区域1和2的另一侧的部分(区域)来维持 或增大色彩空间中的局部区域1和2的占有尺寸。

在本示例性实施例中，在经历了由色彩区域调节装置111进行的尺 寸调节之后，图像特征量产生装置105基于色彩区域产生图像特征量。

可以通过与图5所示的第一示例性实施例的色彩描述分析设备的硬 件结构相类似的硬件结构来实现本示例性实施例所示的色彩描述分析设 备。

如上所描述的，根据本示例性实施例，已经从自然语言文本提取了 多个色彩名称的色彩描述分析设备调节色彩空间中的每个局部区域的尺 寸。然后，色彩描述分析设备在尺寸调节之后基于色彩区域产生图像特 征量。因此，通过根据色彩空间中与以自然语言指定的色彩相对应的局 部区域之间的相对距离来调节每个局部区域的尺寸，可以维持以自然语 言指定的每种色彩的独立性，同时还可以保持宽目标范围的与产生的图 像特征量相匹配的图像。这能够有效地进行图像搜索，其中自然语言文 本被用作输入，可理解度高，以及很好地结合了以自然语言文本输入的 条件。

尽管已经通过以上第一至第三示例性实施例描述了本发明的优选 实施例，但是根据本发明的色彩描述分析设备不限于以上示例性实施例。 因此，可以对根据本发明的色彩分析设备的结构和功能进行本领域技术 人员可理解的在本发明的范围内的多种修改。

接下来，将描述根据本发明的色彩分析设备的最小结构。图14是 示出了色彩描述分析设备的最小功能性结构的实例的框图。如图14所 示，色彩描述分析设备包括作为其最小结构部件的色彩比率确定装置 104。如图14所示的最小结构中的色彩描述分析设备执行将自然语言描 述转换为对指定色彩空间中的值的分布加以表示的数据的过程，其中自 然语言描述作为与以自然语言表达的色彩相关的描述。色彩比率确定装 置104具有如下功能：通过使用对色彩之间的关系加以指示并且在自然 语言描述中包括的词和短语，确定在自然语言描述中包括的每种色彩占 据的每个区域与作为自然语言描述的对象的图像的整个区域的比率。

根据在图14所示的最小结构中的色彩描述分析设备，当基于自然 语言形式的色彩相关的描述进行图像搜索时，即使当以自然语言表达的 色彩相关的描述描述了两种或多种色彩时，也可以高精度地搜索并检索 期望图像。

在以上描述的示例性实施例中示出了色彩描述分析设备的以下特 性的结构(1)-(16)：

(1)色彩描述分析设备，将自然语言描述转换为对指定色彩空间 中的值的分布加以表示的数据(例如，图像特征量)，自然语言描述是与 自然语言表达的色彩相关的描述(例如，自然语言文本)，所述色彩描述 分析设备包括(例如，由色彩比率确定装置104实现的)色彩比率确定 装置，所述色彩比率确定装置通过使用对色彩之间的关系加以指示且包 括在自然语言描述中的词和短语(例如，相关术语)，来确定在自然语言 描述中包括的每种色彩占据的每个区域与作为自然语言描述的对象的图 像的整个区域的比率(例如，色彩比率)。

(2)色彩描述分析设备可以被配置为包括(例如，由图像特征量 产生装置105实现的)数据产生装置，基于由色彩比率确定装置确定的 结果来产生对指定色彩空间中的值的分布加以表示的数据。数据产生装 置产生包括如下数据的数据作为对色彩空间中的值的分布加以表示的数 据：对自然语言描述中以自然语言表达的色彩在指定色彩空间中占据的 区域加以表示的数据，以及对以自然语言表达的色彩在作为自然语言描 述的对象的图像的整个区域中的占有率(例如，色彩比率)加以表示的 数据。

(3)色彩描述分析设备还可以被配置为包括(例如，存储字典101 的存储设备)字典存储装置，存储了至少包括如下信息的字典(例如， 字典101)：与色彩名称相关的信息，以及与指示了色彩之间的关系的词 和短语相关的信息，色彩名称用于识别与自然语言文本中的色彩相关的 描述。

(4)在色彩描述分析设备中，字典存储装置可以被配置为存储字 典，其中该字典至少包括作为指示色彩之间的关系的词和短语的平行标 记(例如，诸如“ni”和“to”之类的日语的后置词缀(诸如“on”和 “and”之类的英语词缀))。

(5)在色彩描述分析设备中，字典存储装置可以被配置为存储字 典，其中该字典还包括关于色彩相关的修饰词(例如，前置修饰词和后 置修饰词)的信息。色彩描述分析设备还可以包括(例如，由色彩值调 节装置109实现的)色彩值调节装置，通过使用在字典中包括的色彩相 关的修饰词，来调节在自然语言描述中以自然语言表达的色彩在指定色 彩空间中占据的区域的位置或尺寸。

(6)色彩描述分析设备，将自然语言描述转换为对指定色彩空间中 的值的分布加以表示的数据，自然语言描述是与以自然语言表达的色彩 相关的描述，所述色彩描述分析设备包括(例如，由色彩比率确定装置 104实现的)色彩比率确定装置，其中，对于自然语言描述指定的色彩 以及先前存储的指定色彩(例如，图3所示的默认色彩)，所述色彩比率 确定装置确定每种色彩占据的每个区域与作为自然语言描述的对象的图 像的整个区域的比率。

(7)在色彩描述分析设备中，字典存储装置可以被配置为存储字 典，其中所述字典还包括要辨认为图像的一部分的对象的名称以及关于 对象类型的信息(例如，在图8所示的对象名称字典中存储的信息)。色 彩描述分析设备还可以包括：存储了对象结构知识(例如，对象结构知 识107)的知识存储装置(例如，存储了对象结构知识107的存储设备)， 其中所述对象结构知识107至少包括与不同对象类型之间的关系相关的 信息；(例如，由对象描述提取装置108实现的)对象描述提取装置，通 过使用在字典存储装置中存储的字典来从自然语言描述提取对象的名 称，以判断每个对象的类型；以及(例如，由色彩比率调节装置110实 现的)色彩比率调节装置，通过使用在对象结构知识中包括的对象类型 之间的关系，来确定占据了图像中与每个对象相对应的特定区域的每种 色彩的面积比率。

(8)色彩描述分析设备还可以被配置为还包括(例如，由色彩区 域调节装置111实现的)色彩区域调节装置，其中对于作为自然语言描 述的对象的图像的整个区域，所述色彩区域调节装置根据包括在自然语 言描述中的色彩所占据的区域之间的指定色彩空间中的距离，来调节在 自然语言描述中包括的每种色彩占据的每个区域的尺寸。

(9)色彩描述分析设备，将自然语言描述转换为对指定色彩空间 中的值的分布加以表示的数据(例如，图像特征量)，自然语言描述是与 以自然语言(例如，自然语言文本)表达的色彩相关的描述，所述色彩 描述分析设备包括(例如，由色彩比率确定装置104实现的)色彩比率 确定装置，其中，所述色彩比率确定装置通过使用对色彩之间的关系加 以指示且包括在自然语言描述中的词和短语(例如，相关术语)，来确定 在自然语言描述中包括的每种色彩占据的每个区域与作为自然语言描述 的对象的图像的整个区域的比率(例如，色彩比率)。

(10)色彩描述分析设备可以被配置为包括(例如，由图像特征量 产生装置105实现的)数据产生单元，其基于色彩比率确定单元确定的 结果产生对指定色彩空间中的值的分布加以表示的数据。数据产生单元 产生包括如下数据的数据作为对色彩空间中的值的分布加以表示的数 据：对自然语言描述中以自然语言表达的色彩在指定色彩空间中占据的 区域加以表示的数据，以及对以自然语言表达的色彩在作为自然语言描 述的对象的图像的整个区域中的占有率(例如，色彩比率)加以表示的 数据。

(11)色彩描述分析设备还可以被配置为包括(例如，存储字典101 的存储设备)字典存储单元，存储了至少包括如下信息的字典(例如， 字典101)：关于色彩名称的信息，以及与指示了色彩之间的关系的词和 短语相关的信息，色彩名称用于识别与自然语言文本中的色彩相关的描 述。

(12)在色彩描述分析设备中，字典存储单元可以被配置为存储字 典，字典至少包括平行标记，作为指示色彩之间的关系的词和短语(例 如，诸如“ni”和“to”之类的日语的后置词缀(诸如“on”和“and” 之类的英语的词缀))。

(13)在色彩描述分析设备中，字典存储装置可以被配置为存储字 典，字典还包括关于色彩相关的修饰词(例如，前置修饰词和后置修饰 词)。色彩描述分析设备还可以包括(例如，由色彩值调节装置109实现 的)色彩值调节装置，其中所述色彩值调节装置通过使用在字典中包括 的色彩相关的修饰词，来调节在自然语言描述中以自然语言表达的色彩 在指定色彩空间中占据的区域的位置或尺寸。

(14)色彩描述分析设备，将自然语言描述转换为对指定色彩空间 中的值的分布加以表示的数据，自然语言描述是与以自然语言表达的色 彩相关的描述，所述色彩描述分析设备包括(例如，由色彩比率确定装 置104实现的)色彩比率确定装置，其中，对于自然语言描述指定的色 彩以及先前存储的指定色彩(例如，图3所示的默认色彩)，所述色彩比 率确定装置确定每种色彩占据的每个区域与作为自然语言描述的对象的 图像的整个区域的比率。

(15)在色彩描述分析设备中，字典存储单元可以被配置为存储字 典，字典还包括要辨认为图像的一部分的对象的名称以及关于对象类型 的信息(例如，在图8所示的对象名称字典中存储的信息)。色彩描述分 析设备还可以包括：存储了对象结构知识(例如，对象结构知识107) 的知识存储装置(例如，存储了对象结构知识107的存储设备)，其中所 述对象结构知识107至少包括与不同对象类型之间的关系相关的信息； (例如，由对象描述提取装置108实现的)对象描述提取装置，通过使 用在字典存储装置中存储的字典来从自然语言描述中提取对象的名称， 并据此判断每个对象的类型；以及(例如，由色彩比率调节装置110实 现的)色彩比率调节装置，通过使用在对象结构知识中包括的对象类型 之间的关系，来确定占据了图像中与每个对象相对应的特定区域的每种 色彩的面积比率。

(16)色彩描述分析设备还可以被配置为还包括(例如，由色彩区 域调节装置111实现的)色彩区域调节装置，其中对于作为自然语言描 述的对象的图像的整个区域，所述色彩区域调节装置根据在自然语言描 述中包括的色彩所占据的区域之间的指定色彩空间中的距离，来调节在 自然语言描述中包括的每种色彩占据的每个区域的尺寸。

尽管以上已经参考示例性实施例描述了本发明，但是本发明不限于 特定说明性示例实施例。可以对本发明范围内的本发明的结构和细节进 行本领域技术人员可理解的多种修改。

本申请要求2009年10月16日提交的号2009-239000的日本专利 申请的优先权，在此并入其整个公开以供参考。

工业适用性

本发明可适用于进行对利用照相机拍摄的累积图像的图像检索(图 像搜索)。本发明尤其可适用于搜索期望的产品/装备(衣服、鞋等)，适 用于将根据自然语言文本产生的色彩分布与搜索的原始预期目标的色彩 分布相比较，从而分析由人记忆的色彩与实际色彩之间的差异，分析照 明的效果或者调节照明等等。

参考标记列表

101字典

102自然语言文本输入装置

103色彩描述提取装置

104色彩比率确定装置

105图像特征量产生装置

106字典

107对象结构知识

108对象描述提取装置

109色彩值调节装置

110色彩比率调节装置

111色彩区域调节装置

12色彩描述分析设备

121CPU

122主存储单元

123输出单元

124输入单元

125通信单元

126辅助存储单元

127系统总线