图像检索系统、图像检索装置以及图像检索方法

摘要

本发明中，数据库将花的样品图像、花的名称、叶的样品图像以及对用于减少花的名称的关注点进行指示的图像与特征信息一起建立对应地存储。提取部通过对拍摄到的花的图像的特征信息和存储在数据库的特征信息进行比较，从而提取与拍摄到的花的图像类似度高的花的样品图像作为候选图像。控制部使提取的候选图像、对应于候选图像的花的名称、以及用于减少候选图像的关注点与拍摄到的花的图像一起在显示部排列显示，并且将多个候选图像变更为相对应的各自的叶的样品图像来显示。控制部将多个候选图像变更为对相对应的各自的关注点进行指示的图像，并使其在显示部显示。

说明书

技术领域

本发明涉及用于拍摄花等并对该花进行鉴别的图像检索系 统、图像检索装置以及图像检索方法。

相关申请交叉引用

此申请基于2011年3月21日提出的日本专利申请 2011-063791主张优先权，将其全部内容包括说明书、权利要求、 附图和摘要全部援引于此。

背景技术

有时想知道在山野和路边看到的花的名称。因此提出有如下 技术：拍摄花并从拍摄了的花等的对象植物提取其特征量，从存 储有全国的野草的名称和科、与上述特征量对应的特征量信息、 以及植物的采样图像的数据库中进行对象植物的检索(例如，参 考日本国特开2007-133816号公报)。

另外，从花和叶的数字图像，用聚类法提取作为对象物的花 和叶的图像，将从被提取的花和叶的图像得到的信息作为特征 量。提出有如下技术：求出一个或多个的特征量，使用统计的手 法分析该求出的特征量以及预先登记到数据库的各种的植物的 特征量，来辨别野草的种类(例如，参考日本国特开2002-203242 号公报)。

另外，例如，在日本国特开2011-35636号公报提出有如下技 术，使用图割(Graph Cuts)法，将包含花等的主要被摄体的图 像分割为花的区域和背景图像的区域。

然而，在日本国特开2007-133816号公报以及日本国特开 2002-203242号公报所示的技术中，识别率是55％左右，无论如 何均不可缺少基于人眼的选择工序。在以往的技术中存在如下问 题：用于使人们选择的用户接口的使用未必方便。

发明内容

本发明是鉴于这样的技术问题而完成的，提供具有用于鉴定 拍摄到的花等的植物(将拍摄并进行检索的对象物称为对象)的、 提供有效且使用方便的用户接口的图像检索系统以及图像检索 装置、图像检索方法、以及存储图像检索程序的计算机能够读取 的记录介质。

为了解决上述技术问题，本发明的一个形态是一种图像检索 装置，是用于通过检索数据库来鉴别拍摄到的对象的图像，该图 像检索装置特征在于，具有：数据库，其将对象的样品图像、对 象的名称、以及对象的其他部位的样品图像与特征信息一起建立 对应地存储；提取单元，其通过将所拍摄到的所述对象的图像的 特征信息与所述数据库中所存储的特征信息进行比较，来提取多 个与所拍摄到的所述对象的图像类似度高的对象的样品图像，作 为候选图像；第一显示控制单元，其将作为多个所提取的所述对 象的样品图像的候选图像、以及与所述候选图像对应的对象的名 称与所拍摄到的所述对象图像一起在显示部排列显示；以及第二 显示控制单元，其使所述显示部所显示的多个候选图像变更为相 对应的各所述对象的其他部位的样品图像，并在所述显示部显 示。

另外，本发明的其他形态是一种图像检索系统，是用于通过 检索数据库来鉴别拍摄到的对象的图像，该图像检索系统特征在 于，具有：数据库，其将对象的样品图像、对象的名称、以及对 象的其他部位的样品图像与特征信息一起建立对应地存储；提取 单元，其通过将所拍摄到的所述对象的图像的特征信息与在所述 数据库所存储的特征信息进行比较，来提取多个与所拍摄到的所 述对象的图像类似度高的对象的样品图像，作为候选图像；第一 显示控制单元，将作为多个所提取的所述对象的样品图像的候选 图像、以及与所述候选图像对应的对象的名称与所拍摄到的所述 对象图像一起在显示部排列显示；第二显示控制单元，使所述显 示部所显示的多个候选图像变更为相对应的各所述对象的其他 部位的样品图像，并使所述显示部显示；通信终端；以及服务器， 通过网络与该通信终端连接，其中，所述通信终端具备所述显示 部，所述服务器具备所述数据库。

另外，本发明的其他形态是一种图像检索方法，用于通过检 索数据库来鉴别拍摄到的对象的图像，其中，该数据库将对象的 样品图像、对象的名称、以及对象的其他部位的样品图像与特征 信息一起建立对应地存储；该图像检索方法特征在于，具有：提 取步骤，通过将所拍摄到的所述对象的图像的特征信息与所述数 据库中所存储的特征信息进行比较，来提取多个与所拍摄到的所 述对象的图像类似度高的对象的样品图像，作为候选图像；第一 显示控制步骤，将作为多个所提取的所述对象的样品图像的候选 图像、以及与所述候选图像对应的对象的名称，与所拍摄到的所 述对象图像一起在显示部排列显示；以及第二显示控制步骤，使 所述显示部所显示的多个候选图像变更为相对应的各对象的其 他部位的样品图像，并在所述显示部显示。

根据本发明能够以用简单的操作，迅速地检索拍摄的花等的 对象。

本发明的目地和新颖的特征，从下面的详细描述中结合附图 阅读，将更加充分地体现，且能清楚地理解。但是，附图的目的 仅作为说明，并不是对本发明的限定。

附图说明

图1是说明作为本发明的第一实施方式的网络系统的整个构 成的图。

图2是表示本实施方式的数据库的构成的图。

图3A以及图3B是用于说明本实施方式的显示部12的显示 状态的变化的图。

图4A以及图4B是用于说明本实施方式的显示部12的显示 状态的变化的图。

图5A以及图5B是用于说明本实施方式的显示部12的显示 状态的变化的图。

图6是示出本实施方式的花检索系统的整个动作的流程图。

图7是示出本实施方式的花检索程序的流程图。

图8是示出第二实施方式的花区域提取处理的概略的图。

图9是示出第二实施方式的花区域提取处理的详细的流程 图。

图10是示出第二实施方式的显著性图提取处理的一个例子 的流程图。

图11A～图11C是示出第二实施方式的特征量图创建处理的 一个例子的流程图。

图12A～图12C是示出第二实施方式的特征量图创建处理的 其他的例子的流程图。

具体实施方式

<第一实施方式>

以下，对于本发明的第一实施方式进行说明。

图1是说明作为本发明的第一实施方式的网络系统的整个构 成的图。

10是如智能电话的通信终端，具备：用于拍摄图像的拍摄部 11、显示拍摄到的花的图像或候选图像等的显示部12、作为工作 存储器发挥作用的存储部13、用于进行图像选择和关注点的数据 输入等的操作部14、用于控制整个通信终端的控制部15、以及 用于安装存储卡16的安装部17。拍摄部11具有对静止图像和连 拍或运动图像进行拍摄的功能，在本说明书中连拍和运动图像视 为同义而进行处理。存储部13具有保存拍摄的多个图像的保存 部13A。控制部15具有CPU7，控制部15包含存储由用于花检 索的通信终端10执行的各种程序的程序存储部8、以及通过执行 按照规定的算法的程序进行花检索来提取候选图像的提取部9。 该通信终端10通过移动电话线路或无线LAN等经由因特网500 与服务器100连接。

服务器100具有数据库110，该数据库110将花的样品图像、 花的名称、叶的样品图像以及对用于减少花的名称的关注点进行 指示的图像与用于对上述通信终端10的拍摄部11所拍摄的花的 图像进行鉴别的特征信息一起建立对应地存储。

130是作为工作存储器而发挥作用的存储部，150是对整个 服务器进行控制的控制部。控制部150具有CPU70，并且具有存 储由CPU70执行的用于花检索的各种程序的程序存储部80。控 制部150还具有提取部90，该提取部90通过执行按照规定的算 法的程序来进行花检索并提取候选图像。因此，即使在通信终端 10侧不具备提取部9，也能够发送到服务器100由提取部90进 行花检索。另外，存储部130具有保存部130A，该保存部130A 存储从多个用户发送来的(被投稿的)花的图像。

图2是表示数据库110的构成的图。

数据库110将花的样品图像D3、花的名称D1、叶的样品图 像D4、以及对用于减少花的名称的关注点进行指示的图像D5与 特征信息D2一起建立对应进行存储。另外，将作为该花的关注 点的开花时期、花的大小、花瓣的颜色、叶的形状、身长、生长 地区、……等作为用于减少花的候选的关注点信息D6。还存储 有包含从该花的种子、芽、成长、花蕾、开花等的培养向导、以 及肥料和水的给予方法等的维护向导的向导信息D7。该向导信 息D7可以是显示数据，也可以是音频数据。将花的名称D1作 为索引而存储有的花的样品图像D3、叶的样品图像D4等，但在 容量允许的范围内，对应一个花的名称而存储有多个花的状态， 例如存储有开花前、花蕾的时期、开花中、结果中等的图像。

其次，对实际上由通信终端10拍摄花并进行花检索的顺序 进行说明。

图3至图5是用于说明本实施方式的显示部12的显示状态 的变化的图。

假设由通信终端10的拍摄部11拍摄花。此时，在显示部12， 如图3A所示，显示拍摄图像G。在拍摄图像G中一起拍摄有作 为主要被摄体的花的图像F、以及背景B。此时，也可以选择已 经拍摄到的、在存储部13或存储卡16所保存的图像。D6是根 据开花时期和花的大小、身长、叶的形状等知道的信息，用于减 少候选的关注点信息的显示。

并且，由通信终端10的操作部14的操作，选择拍摄图像G， 由控制部15执行图6中的后述的花检索程序。

控制部15通过对由提取部9的动作所拍摄的花的图像F的 特征信息和在数据库110所存储的特征信息D2进行比较，将与 拍摄的花的图像F类似度高的花的样品图像D3作为候选图像而 提取多个。在图3B示出此时的显示部12的显示例。即、并列显 示包含花的图像F的拍摄图像G、作为候选图像而被提取的多个 花的样品图像D3、以及各花的名称D1，还并列显示用于减少花 的候选的关注点信息D6。假设多个花的候选图像D3按照类似度 从高到低的顺序排列。

在该状态下，用户无法确定拍摄的花的图像G和显示的花的 样品图像D3一致时，通过操作部14的规定的操作，如图4A所 示，在显示花的样品图像D3的位置，一并显示变更为与该花对 应的叶的图像D4。由此，用户不仅能够对比花的形状，还能够 对比叶的形状来进行比较。

即使这样也无法判断出时，通过操作部14的规定的操作， 如图4B所示，使对用于减少花的名称的关注点进行指示的图像 D5进行显示。在指示该关注点的图像D5中，因为以箭头记入关 注点，所以用户可重点注意该关注点地进行比较，或在关注点信 息D6指定成为关注点的花的大小、花的颜色、生长时期、株高 等时，可缩小花的范围。

另外，如图5A所示，也可以显示整个图像D8来代替叶的 样品图像D4。在未发现规定阈值以上类似度高的花的名称时， 如图5B所示，进行“不存在符合条件的花”这样的通知显示D9。

使用流程图对该动作进行说明。

图6是示出本实施方式的花检索系统的全部动作的流程图， 实现前述的显示。即，在开始控制部15的程序存储部8所存储 的花检索程序时，在显示部12显示最初规定的菜单画面(步骤 S1)。在这里，拍摄花，或是选择已经拍摄并在存储部13的保 存部13A所保存的拍摄图像(步骤S2)。于是，显示图3A示出 的基本画面(步骤S3)。在该状态下，通过操作部14可进行各 种各样的操作，在进行检索指示时，进入步骤S5，通过因特网 500等的网络，访问服务器100的数据库110，检索并提取花的 候选图像(步骤S5)。对于该详细的说明在图9中后述。

基于该提取结果，进行图3B所示的花的样品图像显示(步 骤S6)。花样品图像D3以类似度从高到低的顺序，从左上起依 次与花的名称D1一起并列显示。在该状态下，如果能够确定用 户拍摄的花的名称，则可以就这样结束，但在存在多个相似的花 而不能缩小范围的情况下，进行指定“叶”的操作时，从步骤S4 进入到步骤S7，变化为图3B显示的花的样品图像，如图4A所 示，读出与这些花对应的在数据库110所存储的叶的样品图像 D4，并将在显示该花的样品图像的区域中显示叶的样品图像来代 替花的样品图像(步骤S8)。因此，不是以叶的类似度从高到低 的顺序排列叶的候选图像，而是以花的样品图像的类似度从高到 低的顺序排列叶的样品图像。这种方法，通常将类似度最高的在 先头显示，因此不给用户带来混乱。另外，在检索步骤S7中， 如步骤S5所示，不进行图像识别处理，从数据库110提取对应 的叶的样品图像D4。指定“叶”的操作也可以使用“叶”这样 的按钮来进行，也可以对显示的拍摄图像G的叶的部分进行触 击。

尽管如此，在用户不能确定花的名称时，通过规定的操作进 入步骤S9、S10，如图4B所示，如前述显示图像D5，该图像 D5对用于减少花的名称的关注点进行指示。在指示该关注点的 图像D5中，因为用箭头记入关注点，能使用户重点注意比较该 关注点，或在关注点信息D6指定成为关注点的花的大小、花的 颜色、生长时期、以及株高等时，能缩小花的范围。

在检索花之前，指定关注点信息时，进入步骤S11。例如， 在指定作为关注点的花的大小、花的颜色、生长时期、以及株高 等时，检索数据库110的关注点信息D6，从候选中将不符合条 件的花排除。由此，在与步骤S5进行同样的检索处理时，因为 能减少检索对象，所以检索时间变短。显示部12的显示方式与 图3B相同。

如果能够确定用户拍摄的花的名称，则通过结束操作，结束 流程(步骤S13)。

另外，不仅可准备叶的样品图像D4，也可以准备整个样品 图像D8(图5A)。

在步骤S5的检索的结果是无法提取类似的花的样品图像时， 如图5B所示，进行“不存在符合条件的花”这样的通知显示D9。

图7是示出检索图6的步骤S5的花，提取候选图像的动作 的流程图。

因为以图像数据作为对象的特征量的类似度计算手法本身 是公知技术，所以不进行详细说明。另外，作为被摄体的剪取手 法，采用图割法(Graph Cuts法：图切法)，关于图切法的具体 的手法的一个例子，由第二实施方式进行详细说明，所以在这里 不进行详细说明。

首先进行从拍摄图像G剪取作为主要被摄体的花的图像F的 处理(步骤S51)。另外，从剪取的花的区域提取特征信息(步 骤S52)。

并且，与在数据库110所存储的特征信息D2进行比较(步 骤S53)。

对比较的数据库110的特征信息和从花的区域提取的特征信 息的类似度进行计算(步骤S54)，以类似度从高到低的顺序例 如提取6个花的样品图像(步骤S55)，如图3A所示，对花的 样品图像按照类似度顺序排列显示(图6的步骤S6)。

<第二实施方式>

其次，对第二实施方式进行说明。本实施方式与以动画形式 拍摄被摄体的情况对应，例示出在图7的“剪取花的区域”(步骤 S51)的具体的手法。根据该手法，不仅静止图像，也能够从运 动图像中提取花的区域。另外，与上述实施方式的共同部分赋予 共同的符号，并省略说明。

在第二实施方式的图像提取处理中，应用图割法(图切法)。 所谓图割法是将分割(图像的区域分割)问题作为能量最小化问 题进行处理的手法之一。图割法能够求得由各区域定义了的能量 函数的整体分析，其结果，存在使用区域和边界的双方特性的分 割这样的优点。

在图8的例子中，对于处理对象图像61(→与拍摄图像G 对应)执行如下的运动图像提取处理。

在步骤Sa中，CPU7例如执行如下的处理，作为显著性图提 取处理。

即，CPU7对于与处理对象图像61对应的帧图像数据，例如 根据色、方位、亮度等的多种类的特征量的对比度，创建多种类 的特征量图。另外，以下，像这样多个种类中，将在创建规定的 一个种类的特征量图为止的一系列处理称为特征量图创建处理。 对于各特征量图创建处理的详细例子，参照图11和图12在后叙 述。

例如，在图8的例子中，后述的图12A的多尺度的对比的特 征量图创建处理的结果，创建有特征量图Fc。另外，后述的图 12B的“中心-周围”(Center-Surround)的颜色直方图的特征量 图创建处理的结果，创建有特征量图Fh。另外，图12C的色空 间分布的特征量图创建处理的结果，创建特征量图Fs。

其次，CPU7通过合并多个种类的特征量图，而求得显著性 图。例如在图8的例子中，合并特征量图Fc、Fh、Fs，可求得显 著性图S。步骤Sa的处理，与后述的图9的步骤S22的处理对应。

在步骤Sb中，CPU7使用显著性图，从处理对象图像中估计 吸引人的视觉注意的可能性高的图像区域(以下，称为关注点区 域)。例如，在图8的例子中，使用显著性图S，从处理对象图 像61中估计出多个阶段的关注点区域62-1至62-N(N是1以上 的整数值，在图8的例中至少是4以上的整数值)。

关注点区域62-r(r是从1至N中的某一个整数值)，是在 使用规定的阈值Sth-r对显著性图S进行2值化情况下的、具有 比阈值Sth-r高的值的区域。具体地说，例如，在图6的例子中， 关注点区域62-1的估计中所利用的阈值Sth-1被设为70。关注点 区域62-2的估计中所利用的阈值Sth-2被设为90。关注点区域 62-(N-1)的估计中所利用的阈值Sth-(N-1)被设为150。关注 点区域62-N的估计中所利用的阈值Sth-N被设为170。

步骤Sb的处理，与后述的图9的步骤S24的处理对应。

在由步骤Sf的图割法的区域分割处理中，处理对象图像61 被分(分割)为主要被摄体的区域和背景区域。为了实现相关的 区域分割处理，需要成为主要被摄体的区域和背景区域的样品的 标签和种子(seed)。因此，执行如下的步骤Sc、Sd的处理。

在步骤Sc中，CPU7例如执行如下的处理，作为核心区域提 取处理。

即，CPU7用多个阶段的关注点区域62-1至62-N，提取关注 点区域的核心区域。例如，基于多个阶段的关注点区域62-1至 62-N的变化少的区域、或多个阶段的关注点区域62-1至62-N的 重复区域等，提取关注点区域的核心区域。具体地说，例如在图 8的例子中，提取关注点区域的核心区域63-1、63-2。

步骤Sc的处理与后述的图9的步骤S25的处理对应。

在步骤Sd中，CPU7例如执行如下的处理，作为种子(seed) 设定处理。

即，CPU7例如基于关注点区域的核心区域，对主要被摄体 的区域的种子、背景区域的种子分别进行设定。

另外，设定手法本身没有被特别限定。例如，可采用将关注 点区域的核心区域按原样设定为主要被摄体的区域的种子这样 的手法。再例如，也可采用将与关注点区域的核心区域内接或外 接的矩形区域、或关注点区域的重心或骨骼线等设定为主要被摄 体的区域的种子这样的手法。再例如，也可将显著性低的核心区 域、关注点区域以外的矩形区域、或关注点区域以外的区域的重 心或骨格线设定为背景区域这样的手法。

例如，在图8的例子中，对主要被摄体的区域的种子64-1、 64-2、以及背景区域的种子65-1、65-2进行设定。

在步骤Sd的处理中，与后述的图9的步骤S26的处理对应。

另外，为了实现步骤Sf的图割法的区域分割处理，需要主 要被摄体区域的事前概率Pr(O)和背景区域的事前概率Pr(B)。

因此，在步骤Se中，CPU7例如执行如下的处理作为事前概 率运算处理。

即，CPU7将显著性图S的值(其中，将显著性图值在0至 1的范围内进行标准化得到的值)作为主要被摄体区域的事前概 率Pr(O)进行运算。另外，CPU7将使显著性图S反转的值(1- 显著性图S得到的值)、即将1-Pr(O)作为背景区域的事前概 率Pr(B)进行运算。例如，在图8的例子中，根据该图示出的 显著性图S可得到与该图示出的主要被摄体区域的事前概率Pr (O)和背景区域的事前概率Pr(B)。步骤Se的处理与后述的 图9的步骤S23的处理对应。

其次，在步骤Sf中，CPU7执行基于图割法的区域分割处理。

在这里，在以往的图割法中，为了物体和背景的学习，手动 地赋予成为物体区域(主要被摄体区域)和背景区域的样品的标 签和种子。与此相对，在本实施方式中，能利用由步骤Sd的处 理自动地设定的主要被摄体区域的种子及背景区域的种子。其结 果，如以前一样，不需要用户手动输入种子，另外，也不需要学 习。

另外，由步骤Se的处理所运算得到的主要被摄体区域的事 前概率Pr(O)以及背景区域的事前概率Pr(B)基于显著性图 S的概率，也可以作为图割法的t-link的事前概率来采用。其结 果，可得到主要被摄体区域的恰当的空间信息。

步骤Sf的基于图割法的区域分割处理的结果，如上所述， 处理对象图像61被分割为主要被摄体的区域和背景区域。

步骤Sf的处理，与后述的图9的步骤S27的处理对应。

此后，主要被摄体的区域的数据作为“运动图像部分”的图 像数据进行提取(参考后述的图9的步骤S28)。另外，该提取 手法并不特别限定，可以是所谓的剪取提取，也可以是所谓阿尔 法引导提取。

按照多个帧图像数据的每一个反复执行这样的步骤Sa至Sf 的处理，从而可提取“运动图像部分”的运动图像数据等。

图9是示出运动图像提取处理的流程的详细例子的流程图。

在步骤S21中，CPU7从作为图6的步骤S5至S8的循环处 理的结果所得到的运动图像数据等中，将规定的拍摄图像数据 (帧图像数据)作为处理对象图像数据进行设定。

在步骤S22中，CPU7通过执行显著性图提取处理，来求得 显著性图。对于显著性图提取处理的概略，作为图8的步骤Sa 的处理如上述，该详细说明将参照图10后述。

在步骤S23中，CPU7执行事前概率运算处理。由此，作为 图8的步骤Se的处理，如上所述，可得到主要被摄体区域的事 前概率Pr(O)和背景区域的事前概率Pr(B)。

在步骤S24中，CPU7使用显著性图，估计关注点区域。由 此，作为图8的步骤Sb的处理如上所述，可估计多个阶段的关 注点区域。

在步骤S25中，CPU7使用多个阶段的关注点区域，执行核 心区域提取处理。由此，作为图8的步骤Sc的处理如上述，可 提取关注点区域的核心区域。

在步骤S26，CPU7使用关注点区域的核心区域，执行种子 (seed)设定处理。由此，作为图8的步骤Sd的处理如上述，分 别设定主要被摄体的区域的种子、和背景区域的种子。

在步骤S27中，CPU7使用主要被摄体的事前概率Pr(O) 和背景区域的事前概率Pr(B)、以及主要被摄体的区域的种子 和背景区域的种子，执行基于图割法的区域分割处理。由此，作 为图8的步骤Sf的处理如上述，与处理对象图像数据对应的帧 图像，被分(分割)为主要被摄体的区域和背景区域。因此，在 步骤S28中，CPU7将分割后的主要被摄体的区域对应的数据作 为“运动图像”的图像数据暂时保存在存储部13等。

在步骤S29，CPU7判断处理对象图像数据是否是最后的拍 摄图像数据(帧图像数据)。在处理对象图像数据不是最后的拍 摄图像数据的情况下，步骤S29中，判定为“否”，处理返回到 步骤S21。即，按照构成运动图像数据等的多个拍摄图像数据的 每一个，通过反复执行步骤S21至S29的循环处理，依次提取“运 动图像”的图像数据。

此后，最后的拍摄图像数据被设定为处理对象图像数据，执 行步骤S22至S28的处理时，在下面的步骤S29判定为“是”， 结束运动图像提取处理。其结果，根据从多个拍摄图像数据的每 一个提取的多个“运动图像”的图像数据，构成“运动图像”的 运动图像数据等。因此，在运动图像提取处理结束时，即，图6 的步骤S9的处理结束时，如上所述，在步骤S10、S11的处理中， 对“运动图像”的运动图像数据等进行压缩编码，将作为其结果所 得到的编码图像数据存储到存储卡16等。

其次，对于运动图像提取处理中的步骤S22(图8的步骤Sa) 的显著性图提取处理的详细例进行说明。

如上所述，在关注点区域估计处理中，为了估计关注点区域， 创建显著性图。因此，对于关注点区域估计处理，例如，可应用 Treisman的特征合并理论、或基于Nitti以及Koch们的显著性图。

图10是在应用Treisman的特征合并理论、或基于Nitti以及 Koch们的显著性图的情况下，示出关注点区域估计处理的流程 的详细例子的流程图。

在步骤S41中，CPU7将由直通摄像得到的帧图像数据作为 处理对象图像数据来取得。

在步骤S42中，CPU7制作高斯分辨率金字塔(Gaussian  Resolution Pyramid)。具体地说，例如，CPU7将处理对象图像 数据{(x，y)的位置的像素数据}设为I(0)＝I(x，y)，依 次重复执行高斯滤波处理和下抽样处理。作为其结果，生成阶层 型的尺度图像数据I(L)(例如L∈{0…8})的组。该阶层型 的尺度图像数据I(L)的组，被称高斯分辨率金字塔。在这里， 尺度L＝k(在这里k是1至8中的某个整数值)的情况下，尺度 图像数据I(k)示出1/2k的缩小图像(k＝0的情况下是原图像)。

在步骤S43中，CPU7开始各特征量图创建处理。对于各特 征量图创建处理的详细例，参照图11和图12在后叙述。

在步骤S44中，CPU7判定全部的特征量图创建处理是否结 束。即使各特征量图创建处理中的一个未结束处理的情况下，在 步骤S44中，判断为“否”，处理再次返回到步骤S44。即，到 各特征量图创建处理的全部处理结束为止之前的期间，重复执行 步骤S44的判断处理。并且，各特征量图创建处理的全部处理结 束，创建全部的特征量图时，在步骤S44被判定为“是”，处理 进入步骤S45。

在步骤S45中，CPU7将各特征量图以线性和结合，求得显 著性图S(Saliency Map)。这样，在求得显著性图S时，结束 显著性图提取处理。即，结束图9的步骤S22的处理，处理进入 步骤S23。以图8为例，结束步骤Sa的处理，处理进入步骤Sb。

其次，对于各特征量图创建处理的具体例进行说明。

图11是示出亮度、颜色、以及方向性的特征量图创建处理 的流程的一个例子的流程图。

图11A示出亮度的特征量图创建处理的一个例子。

在步骤S61中，CPU7根据与处理对象图像数据对应的各尺 度图像，设定各关注像素。例如，设定各关注像素c∈{2，3，4}， 进行以下的说明。所谓各关注像素c∈{2，3，4}是指，作为尺 度c∈{2，3，4}的尺度图像数据I(c)上的运算对象，而被设 定的像素。

在步骤S62中，CPU7求得各关注像素c∈{2，3，4}的各 尺度图像的亮度成分。

在步骤S63中，CPU7求得各关注像素的周边像素s＝c+δ的 各尺度图像的亮度成分。所谓各关注像素的周边像素s＝c+δ，是 指例如设置为δ∈{3，4}时，尺度s＝c+δ的尺度图像I(s)上的、 在关注像素(对应点)的周边存在的像素。

在步骤S64中，CPU7对于各尺度图像，求得在各关注像素 c∈{2，3，4}的亮度对比度。例如，CPU7求得各关注像素c∈ {2，3，4}和各关注像素的周边像素s＝c+δ(例如δ∈{3，4}) 的尺度间差分。在这里，在将关注像素c称为Center“中心”、 将关注像素的周边像素s称为Surround“周围”时，被求得的尺 度间差分可称为亮度的“中心-周围”尺度间差分。该亮度的“中 心-周围”尺度间差分在关注像素c为白色、周边像素s为黑色的 情况下或与此相反的情况下存在取大的值这样的性质。因此，亮 度的“中心-周围”尺度间差分表示亮度对比度。另外，以下，将 该亮度对比度记为I(c，s)。

在步骤S65中，CPU7判断在与处理对象图像数据对应的各 尺度图像，是否存在未设定为关注像素的像素。在存在那样的像 素的情况下，在步骤S65判定为“是”，处理返回到步骤S61， 重复此后的处理。

即，对于与处理对象图像数据对应的各尺度图像的各像素， 分别实施步骤S61至S65的处理，并求得各像素的亮度对比度I (c，s)。在这里，在设定为各关注像素c∈{2，3，4}以及周 边像素s＝c+δ(例如δ∈{3，4})的情况下，在步骤S61至S65 的一次的处理中，求得(3种关注像素c)×(2种周边像素s) ＝6种亮度对比度I(c，s)。在此，对于规定的c和规定的s求 得的亮度对比度I(c，s)的整个图像的集合体在以下称为亮度 对比度I的特征量图。关于亮度对比度I的特征量图，重复步骤 S61至S65的循环处理的结果，能够求得6种。像这样，在求取 了6种亮度对比度I的特征量图时，在步骤S65被判定为“否”， 处理进入步骤S66。

在步骤S66，CPU7使亮度对比度I的各特征量图标准化之后 进行结合，从而制作亮度的特征量图。由此，结束亮度的特征量 图创建处理。另外，以下，为了将亮度的特征量图与其他的特征 量图进行区别，记述为FI。

图11B示出颜色的特征量图创建处理的一个例子。

在图11B的颜色的特征量图创建处理与图11A的亮度的特征 量图创建处理进行比较时，处理的流程基本相同，处理对象不同。 即，图11B的步骤S81至S86的各处理是与图11A的步骤S61 至S66的各个对应的处理，各步骤的处理对象与图11A不同。因 此，对于图11B的颜色的特征量图创建处理，省略处理的流程的 说明，以下仅对处理对象进行简单地说明。

即，相对图11A的步骤S62和S63的处理对象为亮度成分， 图11B的步骤S82和S83的处理对象是颜色成分。

另外，图11A的步骤S64处理，求出亮度的“中心-周围”尺 度间差分作为亮度对比度I(c，s)。与此相对，在图11B的步 骤S84的处理中，求出色调(R/G，B/Y)的“中心-周围”尺度间 差分作为色调对比度。另外，在颜色成分中，红色的成分由R表 示，绿色的成分由G表示，蓝色成分由B表示，黄色的成分由Y 表示。另外，以下，将色调R/G的色调对比度记述为RG(c，s)， 将色调B/Y的色调对比度记述为BY(c，s)。

在这里，假设与上述的例子一致，关注像素c存在三种，周 边像素s存在两种。这种情况下，图11A的步骤S61至S65的循 环处理的结果，求得6种亮度对比度I的特征量图。与此相对， 图11B的步骤S81至S85循环处理的结果，求得6种色调对比度 RG的特征量图、和6种色调对比度BY的特征量图。

最终，通过在图11A的步骤S66的处理，可求得亮度的特征 量图FI。与此相对，通过在图11B的步骤S86的处理，可求得颜 色的特征量图。另外，以下，为了将颜色的特征量图与其他特征 量图进行区别，记述为FC。

图11C示出方向性的特征量图创建处理的一个例子。

图11C的方向性的特征量图创建处理与图11A的亮度的特征 量图创建处理比较时，处理的流程基本相同，仅是处理对象不同。 即，图11C的步骤S101至S106的各自的处理是图11A的步骤 S61至S66的各自对应的处理，仅是各步骤的处理对象与图11A 不同。因此，对于图11C的方向性的特征量图创建处理，省略处 理的流程的说明，以下，仅对处理对象简单地说明。

即，步骤S102和S103的处理对象是方向成分。在这里，所 谓方向成分是指对亮度成分叠加了高斯滤波器φ的结果而得到 的各方向的振幅成分。在这里所谓的方向，由作为高斯滤波器φ 的参数而存在的旋转角θ所示的方向。例如，作为旋转角θ，可 采用0°、45°、90°、135°的四个方向。另外，在步骤S104的处 理中，求出方向性的“中心-周围”尺度间差分，作为方向性对比 度。另外，以下，将方向性对比度记述为O(c，s，θ)。

在这里，假设与上述的例子一致，关注像素c存在3种，周 边像素s存在2种。这种情况下，步骤S101至S105的循环处理 的结果，按照每个旋转角θ，求出6种方向性对比度O的特征量 图。例如，作为旋转角θ，在采用0°、45°、90°、135°的四个方 向的情况下，求出24种(＝6×4种)的方向性对比度O的特征量 图。

最终，在步骤S106的处理中，求出方向性的特征量图。另 外，以下，为了将方向性的特征量图与其他的特征量图进行区别， 记述为FO。

另外，特征量图创建处理并不特别限定于图11的例子。例 如，作为特征量图创建处理，使用明亮度、彩度、色调、以及动 作的各特征量，也能够采用制作各自的特征量图的处理。

另外，例如，作为特征量图创建处理，使用多尺度的对比度、“中心-周围”的颜色直方图、以及颜色空间分布的各特征量，也 能够创建各自的特征量图这样的处理。

图12是示出多尺度的对比度、“中心-周围”的颜色直方图、 以及颜色空间分布的特征量图创建处理的一个例子的流程图。

图12A是示出多尺度的对比度的特征量图创建处理的一个 例子。

在步骤S121，CPU7求得多尺度的对比度的特征量图。由此， 多尺度的对比度的特征量图创建处理结束。

另外，以下，为了将多尺度的对比度的特征量图与其他的特 征量图进行区别，记述为Fc。

图12B示出“中心-周围”的颜色直方图的特征量图创建处理 的一个例子。

在步骤S141中，CPU7按照每一不同长宽比，求得矩形区域 的颜色直方图、和周边轮廓的颜色直方图。对长宽比本身并未特 别限定，例如可采用{0.5，0.75，1.0，1.5，2.0}等。

在步骤S142，CPU7按照每个不同的长宽比，求得与矩形区 域的颜色直方图和周边轮廓的颜色直方图的二次方距离。在步骤 S143，CPU7求得二次方距离成为最大的矩形区域的颜色直方图。

在步骤S144，CPU7使用二次方距离成为最大的矩形区域的 颜色直方图，制作“中心-周围”的颜色直方图的特征量图。由此， 结束“中心-周围”的颜色直方图的特征量图创建处理。

另外，以下，为了将“中心-周围”的颜色直方图的特征量图 与其他的特征量图进行区别，记述为Fh。

图12C示出颜色空间分布的特征量图创建处理的一个例子。

在步骤S161中，CPU7对于颜色空间分布，计算水平方向的 色散。另外，在步骤S162，CPU7对于颜色空间分布，计算垂直 方向的色散。并且，在步骤S163，CPU7使用水平方向的色散和 垂直方向的色散，求得颜色空间的色散。

在步骤S164，CPU7使用颜色的空间的色散，创建颜色空间 分布的特征量图。

由此，结束颜色空间分布的特征量图创建处理。

另外，为了将颜色空间分布的特征量图与其他的特征量图进 行区别，记述为Fs。

<第3实施方式>

在第3实施方式中，对已经拍摄到的并存储于通信终端10 的保存部13A或服务器100的保存部130A中的花的图像、和新 拍摄的花的图像是否一致进行判断。即，判断是否拍摄了两次相 同的花。这是在用户自己播花种或栽培来进行培育的情况下有用 的实施方式。另外，对第一实施方式和共通部分赋予共同的符号 并省略说明。

因为花成长，所以在保存的花的图像和拍摄的花的图像中， 图像上花开的情况、株高等不同的可能性高，但在本发明涉及的 花检索系统中，能够鉴别为相同花的名称。与被鉴别的花的名称 对应，因为在数据库110存储有用于培育花的向导信息。即，在 显示部12显示浇水方法、每季节的维护方法、施肥方法、以及 日照等的向导信息。因此，在定期拍摄相同的花时，能够判断时 期、气候、生长状况等，进行适当的建议。

<第4实施方式>

如前述，在第一实施方式中拍摄静止图像作为花的拍摄图 像。在本实施方式中，是运动图像或连续拍摄的图像。在本实施 方式中，通过拍摄部11的运动图像拍摄功能，对花的图像F进 行运动图像(连拍)拍摄，从而得到多个帧的花的图像。关于从 多帧的花的图像提取花的区域的算法，适用由第二实施方式说明 的算法。

在根据拍摄的花的图像提取花的区域的情况下，拍摄多张的 情况下可提高提取精度。因为拍摄时的花的拍摄角度和数据库 110所存储的成为比较对象的花的样品图像的角度未必一致，所 以，从不同的角度拍摄的花的图像的情况下能够使检索的概率变 高。但是，因为对应量的图像处理时间将变长，使CPU的负担 也变大，所以，在本实施的方式中，最初拍摄静止图像，在通过 花检索程序的执行不能提取规定的类似度以上的花的名称时， 即，成为如图5B示出的这样的状态时，在显示部12进行“请以 运动图像再进行一次拍摄”这样的显示，或从未图示的扩音器以 声音进行通知。另外，对上述实施方式和共通部分赋予共同的符 号并省略说明。

在实施方式中，以例子对通信终端经由因特网与服务器连接 的系统进行说明，但也可以作为将所有的构成收纳在一个框体的 独立的图像检索系统来实现。

另外，在实施方式中，通信终端通过移动电话线路或无线 LAN等经由因特网与服务器相连接的系统为例来进行说明，但也 可以在通信终端和服务器近距离的情况下，通过红外线通信或蓝 牙(注册商标)进行连接。

另外，在实施方式中，通信终端具备拍摄部，以对拍摄部拍 摄的花的图像进行检索的系统为例进行说明，但也能通过存储卡 等得到并检索已经拍摄的花的图像。

另外，也能够实现这样的花图像检索系统：作为将花的样品 图像、花的名称、叶的样品图像、以及对用于减少所述花的名称 的关注点进行指示的图像与用于鉴别拍摄到的花的图像的特征 信息一起建立对应来进行存储的数据库为首的主要构成全部置 于服务器，通信终端具有拍摄部、显示部、以及操作部。将由通 信终端拍摄的花的图像向服务器发送，对花的图像的特征信息和 所述数据库所存储的特征信息进行比较，从而在服务器侧执行以 下的全部处理：将与所拍摄到的所述花的图像类似度高的花的样 品图像作为候选图像的处理；将a)作为上述提取的多个花的样 品图像的候选图像、b)与上述候选图像对应的花的名称、c)用 于减少上述候选图像的关注点、d)与上述候选图像对应的各自 的叶的样品图像、以及e)对与上述候选图像对应的各关注点进 行指示的图像从上述数据库读出并向上述通信终端发送的处理； 在所述通信终端选择所述候选图像之一时，接受该选择信息来鉴 别与所发送的所述花的图像对应的花的名称的处理。

虽然参照优选实施例已经描述本发明，但本发明并不限于其 中描述的任何细节，而是包含在所附的权利要求书的范围内的所 有的实施例。