文件搜索装置、文件搜索方法及图像搜索装置

摘要

本发明提供文件搜索装置、文件搜索方法及图像搜索装置。所述文件搜索装置具有：设置单元，被配置为设置多个属性信息以及关于文件之间的关系的关系信息，作为用于规定要搜索的文件的搜索条件；第一搜索单元，被配置为搜索具有由所述设置单元设置的所述属性信息中的至少一个的文件；第二搜索单元，被配置为搜索由所述第一搜索单元查找到的文件之中的、满足基于由所述设置单元设置的所述关系信息的条件的多个文件；以及输出单元，被配置为输出由所述第二搜索单元查找到的多个文件作为搜索结果。

说明书

技术领域

本发明涉及文件搜索装置、文件搜索方法及图像搜索装置。

背景技术

为了对图像进行管理和搜索，而对各个拍摄图像分配诸如关键字的 元数据。近年来，随着数字照相机、移动电话和智能电话的普及，用户 拍摄的图像的数量增加，因此，对这些图像进行容易的管理和搜索成为 了重要的问题。

解决该问题的方法的示例是对图像自动分配关键字的技术。例如， 通过识别被摄体的脸部来对图像分配人名，或者通过根据GPS信息获取 拍摄图像的位置，来对图像分配地点名称或地标名称。

另一方面，提出了引入时间序列概念以通过关键字来搜索图像的技 术。在根据日本特开2008-140248号公报的用于搜索与基板处理装置中的 故障相关联的日志的装置中，按照时间序列对关键字进行排序。如果包 括关键字的日志按照该序列依次出现，则将相应的日志突出显示。这使 得能够容易地查找按照时间序列发生的故障。

发明内容

本发明的实施例的一个方面涉及一种文件搜索装置，该文件搜索装 置具有：设置单元，被配置为设置多个属性信息以及关于文件之间的关 系的关系信息，作为用于规定要搜索的文件的搜索条件；第一搜索单元， 被配置为搜索具有由所述设置单元设置的所述属性信息中的至少一个的 文件；第二搜索单元，被配置为搜索由所述第一搜索单元查找到的文件 之中的、满足基于由所述设置单元设置的所述关系信息的条件的多个文 件；以及输出单元，被配置为输出由所述第二搜索单元查找到的多个文 件作为搜索结果。

本发明的实施例的另一方面涉及一种文件搜索方法，该文件搜索方 法具有：设置步骤，设置多个属性信息以及关于文件之间的关系的关系 信息，作为用于规定要搜索的文件的条件；第一搜索步骤，搜索具有在 所述设置步骤中设置的所述属性信息中的至少一个的文件；第二搜索步 骤，搜索在所述第一搜索步骤中查找到的文件之中的、满足基于在所述 设置步骤中设置的所述关系信息的条件的多个文件；以及输出步骤，输 出在所述第二搜索步骤中查找到的多个文件作为搜索结果。

本发明的实施例的另一方面涉及一种图像搜索装置，该图像搜索装 置具有：设置单元，被配置为设置多个关键字以及图像之间的时间条件， 作为图像搜索条件；以及搜索单元，被配置为搜索存储在存储单元中的 多个图像之中的、与所述图像搜索条件匹配的图像。在所述图像搜索装 置中，要搜索的图像是具有所述多个关键字中的至少一个的图像，并且 在具有所述多个关键字中的一个关键字的图像与具有其他关键字的其他 图像之间满足所述时间条件。

本发明的实施例的另一方面涉及一种图像搜索装置，该图像搜索装 置具有：设置单元，被配置为设置多个关键字以及图像之间的地理条件， 作为图像搜索条件；以及搜索单元，被配置为搜索存储在存储单元中的 多个图像之中的、与所述图像搜索条件匹配的图像。在所述图像搜索装 置中，要搜索的图像是具有所述多个关键字中的至少一个的图像，并且 在具有所述多个关键字中的一个关键字的图像与具有其他关键字的其他 图像之间满足所述地理条件。

通过以下参照附图对示例性实施例的描述，本发明的其它特征将变 得清楚。

附图说明

图1是示出根据本发明的实施例的图像搜索装置的结构的示例的框 图；

图2是示出用于输入根据本发明的第一实施例的图像搜索装置的搜 索条件的对话框的示例的图；

图3A是用于说明根据本发明的第一实施例的搜索处理的图；

图3B是用于说明根据本发明的第一实施例的图像数据的数据结构 的图；

图4A是例示根据本发明的第一实施例的搜索处理的示例的流程图；

图4B是例示根据本发明的第一实施例的搜索处理的另一示例的流 程图；

图5是示出根据本发明的第一实施例的关键字表的数据结构的示例 的表；

图6是示出根据本发明的第一实施例的图像搜索装置的搜索结果的 显示的示例的图；

图7是示出根据本发明的第一实施例的图像搜索装置的主窗口上的 搜索结果的显示的示例的图；

图8是示出用于输入根据本发明的第二实施例的图像搜索装置的搜 索条件的对话框的示例的图；

图9是示出根据本发明的第二实施例的关键字表的数据结构的示例 的表；

图10A是例示根据本发明的第二实施例的搜索处理的示例的流程 图；

图10B是例示在根据本发明的第二实施例的搜索处理中考虑关键字 的出现顺序时的确定处理的示例的流程图；

图10C是例示在根据本发明的第二实施例的搜索处理中不考虑关键 字的出现顺序时的确定处理的示例的流程图；

图11是示出用于输入根据本发明的第三实施例的图像搜索装置的搜 索条件的对话框的示例的图；

图12是用于说明根据本发明的第三实施例的搜索处理的概念的图； 以及

图13是例示根据本发明的第三实施例的搜索处理的示例的流程图。

具体实施方式

下面，将结合文件搜索装置来描述本发明的实施例。

当给出多个关键字作为搜索条件时，如果没有对文件分配这些关键 字，则用于进行文件搜索的文件搜索装置可能无法查找到文件。然而， 作为使用多个关键字来搜索文件的示例，用户希望基于在过去的旅行中 拍摄多个图像的记忆，来搜索这些图像。例如，基于紧接在拍摄“寺庙” 场景之后拍摄了“午餐”场景的记忆，用户在进行这类拍摄操作的旅行 中的图像中进行搜索。假设将日本特开2008-140248号公报的技术应用于 图像搜索操作。在这种情况下，如果分别分配有多个关键字的图像按照 时间序列出现，则可以查找到关注图像，但是未考虑图像的拍摄日期/时 间之间的间隔以及图像的拍摄地点之间的距离。因此，难以高效地搜索 在给定时段内拍摄的图像或者在特定区域中拍摄的图像。

针对该问题，下面将描述如下的文件搜索装置，该文件搜索装置即 使在未对各个文件分配多个关键字的情况下，也能够高效地搜索在给定 时段内或者在特定区域中生成或者更新的文件（例如拍摄图像）。

该文件搜索装置使得用户能够将文件的属性信息指定为搜索条件， 以及将关系信息指定为搜索条件，所述关系信息用于指定文件之间的关 系，以提取具有属性信息的文件作为搜索结果。在分配有被指定为搜索 条件的多个属性信息的文件（文件组）之中，提取并输出满足基于指定 的关系信息的条件的文件作为搜索结果。下面，将参照附图描述本发明 的更具体的实施例。

[第一实施例]

根据该实施例的文件搜索装置通过规定如下的文件来进行搜索，所 述文件各自相对于分配有多个关键字中的一个的文件满足预定时间条件 （时间关系），并且各自分配有所述多个关键字中的其他关键字。

图1是示出根据该实施例的文件搜索装置的框图。在下面要描述的 实施例中，以在例如PC（个人计算机）100上运行的应用的形式，来实 现文件搜索装置。然而，文件搜索装置的实施例不限于PC。例如，可以 使用数字照相机、数字摄像机、移动电话、智能电话、其他蜂窝电子设 备等。这些电子设备中的各个的结构与图1所示的结构基本相同。请注 意，如果这些电子设备具有照相机功能，则能够使用根据本发明的搜索 技术，来对通过使用照相机进行拍摄而获得的图像进行管理。

文件搜索装置的搜索目标可以包括诸如像静止图像和运动图像的图 像文件、文本文件和演示文件的各种类型的文件和内容。也就是说，能 够基于诸如创建日期/时间和更新日期/时间的日期/时间信息以及作为搜 索条件的元数据，来搜索分配有这些信息的文件。此外，不需要将搜索 目标文件和内容局限于单个类型。例如，静止图像、运动图像、演示文 件、电子邮件消息等可以统一作为搜索目标。请注意，下面将特别基于 搜索目标文件是图像的图像搜索装置的示例，来说明文件搜索装置的操 作。

PC100包括CPU101、RAM102和ROM103。ROM103存储文件 搜索装置的基本控制程序。该控制程序包括根据本实施例的搜索处理程 序。在文件搜索装置起动时，将控制程序读取到RAM102中并且由CPU 101执行。二次存储设备104在实际中是硬盘、存储盘等。二次存储设备 104存储高级别控制程序（例如操作系统）、图像浏览器、用于对与图像 数据相关联的信息进行管理的数据库、用于连接到照相机并且将图像数 据加载到PC100中的应用、加载的图像数据等。根据需要，将这些软件 程序读取到RAM102中并且由CPU101执行。网络接口（I/F）105是用 来将PC100连接到照相机的、用于连接USB线缆的USB接口。操作单 元106接受用户向文件搜索装置发出指令的操作，并且包括键盘和鼠标。 显示单元107根据CPU101的显示控制显示图像或者图形用户界面 （GUI），并且包括监视器。总线108由单元101至107用来交换信息。

图2示出了当用户在根据该实施例的文件搜索装置或者应用中指示 进行关键字搜索时、在PC100的显示单元107上显示的显示画面（用户 界面：UI）。在图2所示的对话框200中，文本框201和202是用于输入 关键字的区域。用户能够向各个文本框输入关键字。在图2中，输入了 关键字“寺庙”和“午餐”。框203是文本框，该文本框用于输入与分配 有所输入的关键字的图像相关联的时段。在该示例中，输入了“20”分 钟的值。该时段表示拍摄分配有第一关键字（Kw1）的图像的日期/时间 与拍摄分配有第二关键字（Kw2）的图像的日期/时间之间的容许时段。 例如，在图2所示的示例中，搜索在拍摄分配有第一关键字“寺庙”的 图像之后的“20分钟”内拍摄的分配有第二关键字“午餐”的图像。框 204是复选框，该复选框用于设置是否要考虑关键字的出现顺序而按照时 间序列进行搜索。在该示例中，因为复选框被勾选（ON），因此执行基 于第一和第二关键字的出现顺序以及时段的搜索。搜索按钮205是用于 接受搜索开始指令的按钮。

请注意，图2示出了使用任意输入的字符串作为搜索条件的情况。 作为替代，能够将与搜索目标内容相关联地管理的信息指定为搜索条件。 例如，图像具有照相机参数（焦距、变焦倍率、曝光时间、光圈值、有 无闪光、ISO感光度等）、拍摄模式信息（人像模式、风景模式、运动模 式、玩具照相机模式、单色模式、立体模式（diorama mode）、鱼眼模式 等）、喜爱程度（favorite rating）等。当用户点击地图上的点时，可以接 受GPS信息作为搜索条件。在这种情况下，将被规定为搜索条件的GPS 信息与包含在图像的元数据中的GPS信息进行比较，以查找图像。

此外，搜索条件可以包括与人相关的项。例如，可以直接输入人名 作为关键字，并且可以将包括要搜索的人的图片指定为询问图像。对于 使用输入的人名的搜索，可以预先准备如下的表，在该表中，与各个人 名相关联地登记了从要搜索的人的图片中提取的脸部特征量。当基于指 定的人名进行搜索时，从表中获取与指定的人名相关联的脸部特征量， 并且在包括如下脸部图像的图像中进行搜索，所述脸部图像具有与所获 取的脸部特征量类似的脸部特征量。可以通过搜索具有包括与指定的姓 名相同的人名的元数据的图像，而在包括该人的图像中进行搜索。在这 种情况下，人名预先包含在图像的元数据中。当使用询问图像时，询问 图像中的人的脸部特征量被提取并用于搜索。可以准备存储人名并且将 人名与询问图像相关联的表。可以使用该表将指定的询问图像中的人名 规定为关键字，并且在具有包括与关键字相对应的人名的元数据的图像 中进行搜索。

图3A是用于说明基于图2所示的图像搜索条件在图像中进行实际搜 索的情况的图。为了进行该处理，将用于元数据获取处理和搜索处理的 程序从二次存储设备104加载到RAM102中，并且由CPU101执行。

图像301至306指示PC100的硬盘中的图像中的、使用拍摄日期/ 时间作为关键字进行了排序的一部分。假设对图像303分配了关键字“寺 庙”，并且对图像304分配了关键字“午餐”。在该实施例中，将图像303 的拍摄日期/时间和图像304的拍摄日期/时间进行比较。如果图像304在 图像303之后拍摄，并且拍摄日期/时间之间的差等于或者短于“20”分 钟，则获得图像303和304作为搜索结果。在上面的示例中，继图像303 之后拍摄了图像304。然而，在该实施例中，即使在图像303与304之间 拍摄了任意数量的图像，但只要满足前述图像搜索条件，则获得图像303 和304以及存在于它们之间的所有图像作为搜索结果。

图3B是示出在该实施例中使用的图像数据的数据结构的示例的图。 图像数据310是文件，并对应于一个图像数据。区域311用作将关于图 像的附加信息存储为元数据（搜索信息）的元数据头部分。元数据由诸 如Exif标准的标准来定义，并且例如包括拍摄日期/时间和拍摄时的照相 机参数（例如焦距和变焦倍率）、评级（喜爱程度）、用于图像搜索的关 键字、注释、缩略图和拍摄地点的位置信息（GPS信息）。如上所述，能 够将这些信息指定为搜索条件。区域312用作存储对图像进行解码所需 的信息的头部分。例如，对于JPEG图像，区域312存储通过缩小图像而 获得的缩略图图像。区域313存储图像的实际数据。

下面，将参照图4A说明参照图3A描述的搜索处理的过程。图4A 是例示根据本发明的实施例的搜索处理的流程图。

当用户指示进行关键字搜索时，在步骤S400中，通过使用对话框200 接收来自用户的输入，来设置搜索条件。在步骤S401中，在二次存储设 备104中的数据库中，搜索各自分配有被指定为搜索条件的关键字“寺 庙”（下文中称为Kw1）或者“午餐”（下文中称为Kw2）的图像，并且 创建这些图像的列表。这时，使用数据库的功能，以基于图像的拍摄日 期/时间按照时间顺序对图像进行排序。请注意，PC100的硬盘中的所有 图像的数据都登记在该数据库中。在数据库中登记数据、在数据库中搜 索数据、创建列表和对数据进行排序的技术是公知的，并且省略对这些 技术的描述。对于从数据库中获取的图像，创建图像的文件路径的列表， 并且将该列表存储在RAM102中。作为另一示例，当然，可以将所获取 的图像，存储为各自对于各个图像唯一的整数值（识别信息）的列表。

处理前进到步骤S402，以在RAM102上将关键字表（KWT）初始 化。图5是示出在该搜索处理中创建的关键字表500的示例的表。在该 实施例中，由于说明关键字的数量是两个的情况，因此关键字表500中 的条目的数量是两个。参照图5，在列501中存储关键字，并且在列502 中存储标志值。作为初始标志值，存储“0”。稍后将描述如何使用该标 志。

之后，针对在列表上指针P0依次指向的图像（P0图像），执行步骤 S403至S411中的处理。指针P0依次指定关键字表500的从第一个图像 到最后的图像的图像。首先，处理前进到步骤S403，并且把表示日期/ 时间的数据类型的变量T，设置为通过将预定时间值t（例如20分钟） 与P0图像的拍摄日期/时间相加而获得的值。如果例如P0图像的拍摄日 期/时间是“2012/06/2512:34”，则将T设置为“2012/06/2512:54”。在步 骤S404中，将指针P2初始化为空（NULL）。在步骤S405中，确定是否 对P0图像分配了第一关键字Kw1（即“寺庙”）。可以在步骤S405中从 图像文件中提取关键字，或者可以预先提取关键字并将关键字存储在数 据库中，并且在执行步骤S401或者S405中的处理时从数据库中读出关 键字。如果没有分配第一关键字Kw1（步骤S405：否），则处理前进到 步骤S410。另一方面，如果分配了第一关键字Kw1（步骤S405：是）， 则处理前进到步骤S406。在步骤S406中，将关键字表500中的Kw1的 标志改变为“1”。

针对由指针P1依次指向的图像（P1图像），执行步骤S407至S409 中的处理。指针P1依次指定如下的图像，即从P0图像，到列表中的具 有变量T之前的最新拍摄日期/时间的图像。请注意，如果列表的最后的 图像具有时间T之前的拍摄日期/时间，则指针P1依次指定图像，直到 列表的最后的图像。在步骤S407中，确定是否对P1图像分配了Kw2。 如果对P1图像分配了Kw2（步骤S407：是），则处理前进到步骤S408， 以将关键字表500中的Kw2的标志改变为“1”。另一方面，如果没有分 配Kw2（步骤S407：否），则将指针P1移动到该列表的下一个图像，由 此重复进行处理。在步骤S409中，将指针P2移动到指针P1指向的图像。 在针对包含在处理范围中的所有图像、执行了前述步骤S407至S409中 的处理之后，处理前进到步骤S410。在步骤S410中，确定指针P2是否 为空。如果指针P2为空（步骤S410：是），则使指针P0递增1，并且针 对下一个图像执行步骤S403和后续步骤中的处理。如果指针P2不为空 （步骤S410：否），则处理前进到步骤S411，并且从数据库中获取P0图 像、P2图像以及在这两个图像之间拍摄的所有图像，并将所获取的图像 添加到搜索结果中。之后，使指针P0递增1，并且针对下一个图像执行 步骤S403和后续步骤中的处理。如果针对列表的最后的图像完成了处理， 则在步骤S412中，在显示单元107上输出搜索结果，并且整个处理结束。 通过该处理，能够查找到分配有Kw2、并且在P0图像的拍摄日期/时间 之后的值t内在时间上最远的P2图像，并且提取并输出P0图像、P2图 像以及在这两个图像之间拍摄的图像的图像组作为搜索结果。

下面，将参照图6描述通过图4A所示的搜索处理获得的搜索结果的 显示的示例。图6是示出根据该实施例的文件搜索装置或应用中的、用 于显示搜索结果的显示画面（用户界面：UI）的示例的图。为了实现该 显示处理，将搜索结果显示程序从二次存储设备104加载到RAM102中， 并且由CPU101使用存储在RAM102中的搜索结果的信息来执行该程 序。在该实施例中，将说明在搜索结果对话框600中最多显示三个搜索 结果的情况。如果搜索结果的数量大于三个，则用户可以通过操作滚动 条601来显示第四个搜索结果和后续搜索结果。

参照图6，缩略图602是分配有关键字“寺庙”的图像的缩略图，并 且缩略图603是分配有关键字“午餐”的图像的缩略图。这些缩略图对 应于图3A所示的图像303和304。类似地，缩略图604和605分别是分 配有关键字“寺庙”和“午餐”的图像的缩略图。在该搜索结果中，在 缩略图604与605的拍摄日期/时间之间拍摄了图像606。不需要总是对 图像分配关键字“寺庙”或者“午餐”。

类似地，缩略图607是分配有关键字“寺庙”的图像的缩略图。在 该搜索结果中，在缩略图607的图像的拍摄日期/时间与分配有关键字“午 餐”的图像的拍摄日期/时间之间，拍摄了三个或更多个图像（对应于缩 略图608至610），因此不显示第五个图像和后续图像的缩略图。用户可 以通过点击按钮611来向左滚动搜索结果，由此依次显示第五个图像和 后续图像的缩略图。与按钮611类似，使用按钮612至616来控制滚动 操作。请注意，由于在画面上显示了第一和第二搜索结果的所有图像， 并且从第一个图像开始显示第三搜索结果，因此按钮612至616变灰， 以不接受点击。按钮617至619是针对各个搜索结果设置的跳转按钮。 当点击跳转按钮时，滚动应用的主窗口，以显示搜索结果的在前或者在 后的图像。下面，将参照图7描述该操作。

对于搜索结果的显示顺序，可以如图6所示按照包含在搜索结果中 的图像的数量的升序，或者按照包含的图像的数量的降序，来显示搜索 结果。多个搜索结果的图像可能彼此重叠。在这种情况下，如果显示所 有搜索结果，则显示多个类似的搜索结果，由此损害用户便利性。为了 解决该问题，当搜索结果的图像以给定比率（例如70%）或者更高彼此 重叠时，可以选择包括最大数量的图像的搜索结果。作为另选方案，可 以选择如下的搜索结果，在该搜索结果中，包括更大数量的、具有两个 关键字中的更重要的一个的图像。此外，可以合成多个搜索结果，以获 得一个搜索结果。

图7是示出根据本实施例的文件搜索装置或应用中的主窗口的显示 的示例的图。窗口700通过基于PC100的硬盘中的所有图像的拍摄日期 /时间，按照时间顺序对这些图像进行排序，来显示这些图像的缩略图。 图7示出了紧接在用户按下搜索结果对话框600中的按钮619之后显示 的窗口700。日期701指示拍摄图像607至610的日期。缩略图702至 706是搜索结果的图像的缩略图，并且通过框707突出显示。这使得用户 能够通过突出显示的位置，来确认分配有关键字“寺庙”的图像、分配 有关键字“午餐”的图像以及这两个图像之间的中间图像。相对于搜索 结果的图像，用户还能够看到在时间上相邻的图像，即在图像702之前 拍摄的图像和在图像706之后拍摄的图像。

请注意，在图7的浏览器画面中，能够任意选择显示的图像，并且 对该图像的元数据进行编辑。可以针对各个图像对元数据进行编辑，或 者可以选择多个图像，并且可以在各个图像的元数据的特定项中设置共 有的内容。例如，可以统一设置喜爱程度，或者可以在注释字段中统一 设置共有关键字。此外，还能够对各个图像进行旋转、大小调整、删除 或复制，或者针对多个图像统一进行这些操作。

请注意，在上述实施例中，所有图像都是静止图像。在实际中，图 像中的一部分或者全部可能是运动图像。在这种情况下，可以将运动图 像的拍摄开始日期/时间视为图像的拍摄日期/时间。作为另选方案，考虑 到运动图像的长度，如果图像303是运动图像，并且在图像303的拍摄 结束日期/时间（或者通过将运动图像的长度与拍摄开始日期/时间相加而 获得的值）之后的20分钟内，存在图像304，则可以获得图像303和304 作为搜索结果。

虽然在该实施例中用户向框203输入时段，但是本发明不限于此。 例如，可以将预先设置的固定值设置为时段。作为另选方案，可以设置 时段，使得包含在如下组中的图像成为搜索目标，其中，通过对图像的 拍摄日期/时间进行分析并且基于拍摄日期/时间对这些图像进行分组（例 如对具有相同日期的图像进行分组），而获得所述的组。例如，对于具有 相同拍摄日期的图像，能够设置时段，使得在搜索结果中包括具有相同 拍摄日期的图像。

上面说明了如下的情况，即勾选图2所示的对话框200的框204，由 此考虑关键字的出现顺序进行按照时间序列的搜索。相反，可能存在未 勾选框204、并且不考虑关键字的出现顺序的情况。因此，下面，将参照 图4B所示的流程图描述不考虑关键字的出现顺序的情况。

步骤S420至S424中的处理与图4A的步骤S400至S404中的处理 相同，并且省略重复的描述。在步骤S425中，确定是否对指针P0指向 的P0图像分配了Kw1和Kw2两者。如果分配了Kw1和Kw2两者（步 骤S425：是），则处理前进到步骤S431。在步骤S431中，将指针P2移 动到与指针P0指向的P0图像相同的图像，然后处理前进到步骤S432。 另一方面，如果分配了Kw1和Kw2中的一个（步骤S425：否），则处理 前进到步骤S426。在步骤S426中，在关键字表500中，将对P0图像分 配的关键字的标志的值改变为1。在步骤S427中，将没有对P0图像分配 的关键字作为Kw存储在RAM102中。

针对指针P1依次指向的图像（P1图像）执行步骤S428至S430中 的处理。指针P1依次指定如下的图像，即从P0图像，到列表中的具有 变量T之前的最新拍摄日期/时间的图像。请注意，如果列表的最后的图 像具有时间T之前的拍摄日期/时间，则指针P1依次指定图像，直到列 表的最后的图像。在步骤S428中，确定是否对P1图像分配了在步骤S427 中存储的Kw。如果对P1图像分配了Kw（步骤S428：是），则处理前进 到步骤S429，并且将关键字表500的Kw的标志改变为“1”。另一方面， 如果没有分配Kw（步骤S428：否），则将指针P1移动到该列表的下一 个图像，由此重复进行处理。在步骤S430中，将指针P2移动到指针P1 指向的图像。通过该处理，指针P2指向如下的图像，该图像在P0图像 之后拍摄，并且分配有未对P0图像分配的关键字Kw。在针对包含在处 理范围中的所有图像、执行了前述步骤S428至S430中的处理之后，处 理前进到步骤S432。

在步骤S432中，确定指针P2是否为空，或者指针P0是否与指针 P2一致。如果在步骤S432中确定满足这两个条件中的一个（步骤S432： 是），则使指针P0递增1，并且针对下一个图像执行从步骤S423开始的 处理。如果不满足这两个条件中的任何一个（步骤S432：否），则处理前 进到步骤S433，并且从数据库中，获取由指针P0及P2指定的图像以及 在这两个图像之间拍摄的所有图像，并将所获取的图像添加到搜索结果 中。之后，使指针P0递增1，并且针对下一个图像执行步骤S423和后续 步骤中的处理。如果针对列表的最后的图像完成了处理，则在步骤S434 中，在显示单元107上输出搜索结果，并且整个处理结束。通过该处理， 能够查找到分配有Kw、并且在P0图像的拍摄日期/时间之后的值t内在 时间上最远的P2图像，并且提取P0图像、P2图像以及在这两个图像之 间拍摄的图像作为搜索结果。

如上所述，用作根据该实施例的文件搜索装置的图像搜索装置，能 够通过规定在分配有预定关键字的图像的拍摄日期/时间之后的预定时段 内拍摄、并且分配有其他关键字的图像，来进行图像搜索。即使没有对 各个图像同时分配作为搜索条件给出的两个关键字，这也使得用户能够 搜索预定时段内的图像。

[第二实施例]

在上述第一实施例中，以图像搜索装置作为文件搜索装置的示例进 行了描述。并且，特别描述了输入两个关键字时的操作。在第二实施例 中，将说明向用作图像搜索装置的PC应用输入N（N≥2）个关键字时 的操作。在该实施例中，还能够指定由关键字指示的图像的元数据的类 型。请注意，根据本实施例的文件搜索装置的结构与在第一实施例中相 同，并且省略重复的描述。

图8是示出当用户在根据本实施例的文件搜索装置或应用中指示进 行关键字搜索时、在PC100的显示单元107上显示的显示画面的示例的 图。在对话框800中，组合框801至805是用于接受对要搜索用户指定 的关键字的元数据区域（字段）的指定的区域。各个图像的元数据存储 在图3B所示的区域311的元数据头部分中。在该实施例中，能够指定诸 如“关键字”、“注释”、“人”、“地点名称”或“事件”的元数据的类型， 或者指定“全部”元数据。请注意，与第一实施例类似，能够将与搜索 目标文件相关联地管理的任意信息指定为搜索条件。

用户能够向文本框806至810输入作为关键字的文本。用户能够向 各个文本框输入一个关键字。参照图8，输入了第一关键字“寺庙”、第 二关键字“午餐”和第三关键字“山田花子”。在该示例中，用户基于在 与“山田花子”的旅行中拍摄了“寺庙”、“午餐”和“山田花子”的记 忆，尝试在图像中进行搜索。按下按钮811来输入六个或更多个关键字。 当点击按钮811时，对话框800在垂直方向上延伸，由此使得用户能够 输入更多关键字。像图2所示的框203一样，框812是如下的文本框， 该文本框用于输入分配有预定关键字的图像的拍摄日期/时间之后的容许 拍摄间隔。在该示例中，向框812输入了“20”分钟的值。像图2所示 的框204一样，框813是如下的复选框，该复选框用于设置是否考虑关 键字的出现顺序按照时间序列进行搜索。在该示例中，该复选框为ON（勾 选）。与图2所示的搜索按钮205类似，按下按钮814来开始进行搜索。

下面，将描述根据本实施例的文件搜索装置或应用的操作。

图9是在搜索处理中创建的关键字表。在该实施例中，由于关键字 的数量是两个或更多个（N），因此关键字表900具有两行或者更多行。 图9特别示出了关键字的数量是三个的情况。列901存储元数据的类型； 列902存储关键字；并且列903存储作为标志值的“0”。

下面，将参照图10A说明根据本实施例的搜索处理的过程。图10A 是例示根据本实施例的搜索处理的流程图。当用户指示进行关键字搜索 时，在步骤S1000中，通过使用对话框800接收来自用户的输入，来设 置搜索条件。在步骤S1001中，在二次存储设备104中的数据库中，搜 索各自分配有被指定为搜索条件的N个关键字Kw1至KwN中的一个的 图像，由此创建这些图像的列表。这时，使用数据库的功能，以基于图 像的拍摄日期/时间按照时间顺序对图像进行排序。请注意，除了关键字 的数量之外，该处理与步骤S401中的处理相同，因此与该处理相关联的 事项以步骤S401中的处理为准。在步骤S1002中，将指针P0和P1移动 到列表的第一个图像。在步骤S1003中，进行如下的确定，即指针P0指 向的P0图像的拍摄日期/时间与指针P1指向的P1图像的拍摄日期/时间 之间的差，是否等于或小于时间值t（例如20分钟）。如果该差等于或小 于值t（步骤S1003：是），则处理前进到步骤S1004。另一方面，如果该 差大于值t（步骤S1003：否），则处理前进到步骤S1011。

在步骤S1004中，确定P1图像是否是在步骤S1001中创建的列表的 最后的图像。如果P1图像是最后的图像（步骤S1004：是），则处理前进 到步骤S1005。在步骤S1005中，用指针P1代替指针P2，并且处理前进 到步骤S1009。另一方面，如果P1图像不是列表的最后的图像（步骤 S1004：否），则处理前进到步骤S1006。在步骤S1006中，将指针P1移 动到下一个图像。在步骤S1007中，再次进行如下的确定，即P0图像的 拍摄日期/时间与P1图像的拍摄日期/时间之间的差，是否等于或小于时 间值t。如果该差等于或小于值t（步骤S1007：是），则处理返回到步骤 S1004，以重复进行处理。另一方面，如果该差大于值t（步骤S1007： 否），则处理前进到步骤S1008，以将指针P2设置到紧接在P1图像之前 的图像，由此前进到步骤S1009。由于指针P1指向从P0图像的拍摄日 期/时间开始经过时间t1之后的第一个图像，因此，步骤S1008中的处理 通过指针P2，指定紧接在指针P1指向的图像之前的P0图像的拍摄日期 /时间之后的时间t1内的最后的图像。这使得能够规定在P0图像的拍摄 日期/时间之后的t分钟内在时间上最远的P2图像。

在步骤S1009中，确定在关键字Kw1至KwN之中，是否存在没有 对从P0图像到P2图像的图像中的任何一个分配的关键字。请注意，稍 后将参照图10B和10C描述步骤S1009中的处理的详情。如果存在针对 各个关键字的图像（步骤S1009：是），则处理前进到步骤S1010，并且 从数据库中获取P0图像、P2图像以及在这两个图像之间拍摄的图像，并 将所获取的图像添加到搜索结果中。然后，处理前进到步骤S1011。另一 方面，如果存在没有对任何图像分配的关键字（步骤S1009：否），则处 理前进到步骤S1011。在步骤S1011中，确定P0图像是否是在步骤S1001 中创建的列表的最后的图像。如果P0图像是最后的图像（步骤S1011： 是），则在步骤S1013中，在显示单元107上输出搜索结果，并且处理结 束；否则（步骤S1011：否），处理前进到步骤S1012，并且将指针P0移 动到列表的下一个图像，由此重复进行步骤S1003和后续步骤中的处理。

在图8所示的对话框800中，能够通过框813，指定是否考虑关键字 的出现顺序按照时间序列来进行搜索。将是否勾选了框813与上述处理 的步骤S1009中的确定处理相关联。下面，将分别详细说明考虑关键字 的出现顺序时的步骤S1009中的处理（图10B）和不考虑关键字的出现 顺序时的步骤S1009中的处理（图10C）。

图10B是例示考虑关键字的出现顺序时的确定处理的示例的流程 图。在步骤S1021中，将RAM102上的关键字表（KWT）初始化。在该 示例中，在表中登记了关键字Kw1至KwN，并且将“0”设置为各个标 志903的值。关键字表的示例如图9所示。使用指针Pkw来依次指定登 记在关键字表900中的关键字Kw1至KwN。使用指针P依次指定P0图 像与P2图像之间的列表的图像。

在步骤S1022中，将指针Pkw移动到关键字Kw1。处理前进到步骤 S1023，以确定是否对由指针P指定的P图像分配了指针Pkw指向的关 键字。如果分配了该关键字（步骤S1023：是），则处理前进到步骤S1024； 否则（步骤S1023：否），将指针P移动到下一个图像，由此重复进行步 骤S1023中的处理。在步骤S1024中，将登记在关键字表900中的关键 字之中的由指针Pkw指定的关键字的标志值设置为“1”。然后，处理前 进到步骤S1025，以确定指针Pkw指定的关键字是否是关键字表900的 最后的关键字。如果指定的关键字是最后的关键字（步骤S1025：是）， 则处理前进到步骤S1027；否则（步骤S1025：否），处理前进到步骤S1026。 在步骤S1026中，将指针Pkw移动到下一个关键字，由此重复进行步骤 S1023和后续步骤中的处理。步骤S1023至S1026中的处理在按照时间 顺序指定P0图像与P2图像之间的图像的同时，依次确定是否对指定的 图像分配了登记在关键字表900中的关键字Kw1至KwN中的各个。这 使得能够考虑关键字的出现顺序按照时间序列进行搜索。

在前述处理之后，在步骤S1027中，确定针对关键字表900的关键 字Kw1至KwN设置的所有标志值是否都是“1”。如果所有标志903的 值都是“1”（步骤S1027：是），则在步骤S1028中确定“是”。因此，在 图10A的流程图中，处理前进到步骤S1010。如果不是所有标志903的 值都是“1”（步骤S1027：否），则在步骤S1029中确定“否”。因此，在 图10A所示的流程图中，处理前进到步骤S1011。

现在，将描述不考虑出现顺序时的确定处理。图10C是例示不考虑 关键字的出现顺序时的确定处理的示例的流程图。在步骤S1041中，将 RAM102上的关键字表（KWT）初始化。在该示例中，登记了关键字 Kw1至KwN，并且将“0”设置为各个标志903的值。关键字表的示例 如图9所示。使用指针Pkw来依次指定登记在关键字表900中的关键字 Kw1至KwN。使用指针P依次指定P0图像与P2图像之间的列表的图像。

在步骤S1042中，确定是否对由指针P指定的图像分配了指针Pkw 指向的关键字。如果分配了该关键字（步骤S1042：是），则处理前进到 步骤S1043，以将关键字表900的标志903的值设置为“1”。另一方面， 如果没有分配该关键字，则移动指针P，以重复进行步骤S1042中的处理。 在步骤S1042中，针对由指针Pkw指定的各个关键字，确定是否对P0 图像与P2图像之间的图像中的各个分配了指定的关键字。因此，在该示 例中，不管关键字的出现顺序如何，如果在P0图像与P2图像之间的图 像之中，存在分配有关键字中的一个的图像，则规定该图像。

如果针对所有关键字进行了该确定处理，则处理前进到步骤S1044， 以确定是否将关键字表900的所有标志903的值都设置为了“1”。如果 将所有值都设置为了“1”（步骤S1044：是），则处理前进到步骤S1045， 由此在步骤S1009中确定“是”。因此，在图10A所示的流程图中，处理 前进到步骤S1010。另一方面，如果存在未将标志903的值设置为“1” 的关键字（步骤S1044：否），则处理前进到步骤S1046，由此在步骤S1009 中确定“否”。因此，在图10A所示的流程图中，处理前进到步骤S1011。

在不具体考虑关键字表900的字段901的设置的情况下，提供了上 面的描述。如果设置了字段901，则能够执行下面的处理。例如，在步骤 S1023或者S1042中，在由指针P指定的P图像的元数据之中，确定在 字段901中指定的类型的元数据中是否包括指针Pkw指向的关键字。在 图9所示的示例中，对于关键字Kw1“寺庙”，在字段901中设置了“注 释”，因此，确定在P图像的元数据的项“注释”中是否包括词语“寺庙”。

请注意，根据该实施例的用于显示搜索结果的对话框和主窗口与在 第一实施例中相同，并且省略重复的描述。通过前述处理，即使没有对 各个图像分配作为搜索条件对根据该实施例的文件搜索装置给出的全部 N个关键字，也能够搜索希望的图像。

[第三实施例]

在第一和第二实施例中，说明了如下的情况，即根据各个实施例的 PC应用搜索相对于分配有预定关键字的文件满足预定时间关系的文件。 相反，在该实施例中，代替时间信息，考虑地理信息作为关于文件之间 的关系的关系信息。更具体来说，通过规定各自相对于分配有多个关键 字中的一个的文件满足预定地理条件（地理关系）、并且分配有所述多个 关键字中的其他关键字的文件，来进行文件搜索。假定图像搜索装置。 在这种情况下，在拍摄位置落在给定范围内的图像之中，搜索分配有预 定关键字的图像。示出根据该实施例的文件搜索装置的框图与在第一实 施例中相同，并且省略重复的描述。

图11是示出当用户在根据本实施例的文件搜索装置或应用中指示进 行关键字搜索时、在PC100的显示单元107上显示的显示画面的示例的 图。在对话框1100中，组合框1101至1105是如下的区域，这些区域用 于接受对要搜索用户指定的关键字的元数据区域（字段）的指定。在该 实施例中，能够指定诸如“关键字”、“注释”、“人”、“地点名称”或“事 件”的、包含在图像的元数据头部分中的元数据的类型。作为另选方案， 还能够指定“全部”元数据。请注意，与第一实施例类似，能够将与搜 索目标内容相关联地管理的任意信息指定为搜索条件。

用户能够向文本框1106至1110输入作为关键字的文本。用户能够 在各个文本框中输入一个关键字。参照图11，输入了关键字“寺庙”和 “午餐”。按下按钮1111来输入六个或更多个关键字。当点击按钮1111 时，对话框1100在垂直方向上延伸，由此使得用户能够输入更多关键字。 框1112是文本框，该文本框用于输入作为分配有上述关键字的图像的拍 摄地点之间的距离的最长可能拍摄距离。在该示例中，输入了“5”公里 的值。与图2所示的按钮205类似，按下按钮1113来开始进行搜索。

图12是用于说明基于图11所示的搜索条件要搜索的图像的图。在 该示例中，使用地图1200。图像1201至1207是与PC100的硬盘中的图 像中的一部分相对应的缩略图图像。假设图像1201分配有关键字“寺庙”， 并且图像1205分配有关键字“午餐”。如果对在具有边长2×D（D是输 入到框1112的值）公里并且以图像1201为重心或中心的区域1208内拍 摄的图像中的一个，分配了预定关键字，则根据该实施例的应用获得区 域1208内的图像1201至1205作为搜索结果。

在图12中，用于规定作为搜索结果的图像的区域1208具有矩形形 状。本发明的实施例不限于此，并且圆形、椭圆形或者任意多边形都是 可以的。例如，对于圆形，可以将在框1112中指定的值设置为圆形的半 径。对于椭圆形，可以将椭圆形的半短轴和半长轴中的一个设置为在框 1112中指定的值，并且可以基于椭圆形的形状来设置另一个。此外，对 于多边形，可以基于在框1112中指定的值，来设置重心与任意顶点之间 的距离或者边的长度。在下面的描述中，与区域的形状无关地，简单地 使用区域1208。

下面，将描述根据该实施例的文件搜索装置或应用的操作。图13是 对应于参照图12说明的搜索处理的流程图。为了进行该处理，将用于元 数据获取处理和搜索处理的程序从二次存储设备104加载到RAM102 中，并且由CPU101执行。

当用户指示进行关键字搜索时，在步骤S1300中，通过使用对话框 1100接收来自用户的输入，来设置搜索条件。在步骤S1301中，在二次 存储设备104中的数据库中，搜索各自分配有被指定为搜索条件的关键 字“寺庙”（下文中称为Kw1）或者“午餐”（下文中称为Kw2）的图像。 这时，使用数据库的功能，以基于图像的拍摄日期/时间按照时间顺序对 图像进行排序。请注意，PC100的硬盘中的所有图像的数据都登记在该 数据库中。在数据库中登记数据、在数据库中搜索数据和对数据进行排 序的技术是公知的，并且省略对这些技术的描述。把从数据库中获取的 图像，作为图像的文件路径的列表存储在RAM102中。在该列表中配设 如下的字段，该字段用于把在区域1208中是否包括图像的确定结果存储 为标志值。作为另一示例，当然，可以将所获取的图像，存储为各自对 于各个图像唯一的整数值（识别信息）的列表。处理前进到步骤S1302， 将指针P0移动到在步骤S1301中创建的列表的第一个图像。作为另一示 例，P0的数据类型可以是与列表的给定行相对应的整数值。

然后，处理前进到步骤S1303，以在RAM102上创建/初始化关键字 表（KWT）。在本实施例中使用的关键字表与图9所示的关键字表相同， 并且省略重复的描述。另外，作为在步骤S1301中创建的列表的初始化 处理，将列表的所有图像的标志值都复位为“0”。处理前进到步骤S1304， 并且将指针P1移动到与指针P0指向的图像（P0图像）相同的图像。指 针P1优选具有与指针P0相同的类型。处理前进到步骤S1305，以用P1 图像更新关键字表900。也就是说，如果对P1图像分配的关键字存储在 关键字表900中，则将该关键字的行的标志改变为“1”。此外，将列表 中的P1图像的标志值改变为“1”。

在步骤S1305中，从关键字表（KWT）900中获得第一关键字和字 段，并且分别作为变量Kw和Fld进行存储。在图9的情况下，第一关键 字是“寺庙”，第一字段是“注释”。代替第一关键字和字段，可以获得 第二关键字和字段。Fld可以具有字符串类型，或者可以是对于元数据的 类型唯一的整数值（识别信息）。接下来，确定由P0指向的图像（P0图 像）的元数据之中的、由Fld指示的类型的元数据是否存储了Kw。当未 存储Kw时，确定Kw是否是关键字表900上的最后的关键字。另一方 面，当存储了Kw时，将关键字表900上的Kw的标志值改变为“1”， 并且确定Kw是否是关键字表900上的最后的关键字。当Kw是最后的 关键字时，处理前进到步骤S1306。另一方面，当Kw不是最后的关键字 时，针对关键字表900上的下一个关键字和字段，重复进行上述处理。

处理前进到步骤S1306，以确定在列表中是否存在指针P1指向的图 像（P1图像）的下一个图像。如果在列表中存在下一个图像（步骤S1306： 是），则处理前进到步骤S1307；否则（步骤S1306：否），处理前进到步 骤S1310。

在步骤S1307中，将指针P1移动到下一个图像。在步骤S1308中， 确定P1图像的拍摄地点是否落在以P0图像的拍摄地点为重心或中心的 区域1208内。基于作为位置信息的GPS信息进行该确定，所述位置信息 是对图像分配的元数据的一种类型。可以在步骤S1301中获取图像时， 或者紧接在步骤S1308中的确定处理之前，从各个图像文件或者数据库 中获取GPS信息。GPS信息包括纬度、经度、海拔和时间。计算两组纬 度和经度之间的距离的方法是公知的，并且省略对该方法的描述。

处理前进到步骤S1309。如果对P1图像分配的关键字存储在关键字 表900中，则将该关键字的行的标志改变为“1”。该处理的详情与参照 S1305提供的详情相同，并且省略重复的描述。此外，如果对P1图像分 配的关键字存储在关键字表900中，则将列表中的P1图像的标志值也改 变为“1”。通过该处理，具有预定关键字、并且存在于与P0图像相距由 用户指定的预定距离内的图像，能够成为搜索结果候选对象。

处理返回到步骤S1306，以继续该处理。如果在步骤S1306中确定在 列表中不存在P1图像的下一个图像，则处理前进到步骤S1310。在步骤 S1310中，确定关键字表900的所有行的标志是否都是“1”。如果所有行 的标志都是“1”，则处理前进到步骤S1311，并且从数据库中获取以P0 图像为重心的区域1208内的所有图像，并添加到搜索结果中。由于能够 将区域1208内的图像识别为在列表中标志值为“1”的图像，因此能够 使用在列表中标志值为“1”的图像的文件路径来获取这些图像。之后， 处理前进到步骤S1312。如果在步骤S1310中确定存在相应的标志为“0” 的至少一行，则处理前进到步骤S1312。

如上所述，在步骤S1312中，确定P0图像是否是列表的最后的图像。 如果P0图像是最后的图像，则在步骤S1314中，在显示单元107上输出 搜索结果，并且搜索处理结束。另一方面，如果P0图像不是最后的图像， 则处理前进到步骤S1313，以将指针P0移动到下一个图像。之后，处理 前进到步骤S1303，以继续该处理。以这种方式，依次选择列表中的图像。

请注意，在根据该实施例的文件搜索装置或应用中，用于显示通过 图13所示的搜索处理获得的搜索结果的显示画面与图6所示的对话框 600相同，并且省略重复的描述。请注意，当点击跳转按钮617至619中 的各个时，从包含在相应的搜索结果中的图像中，自动选择具有最早的 拍摄日期/时间的图像并设置为基准，滚动应用的主窗口，并且显示分配 有关键字的图像及其之间的图像。相对于作为搜索结果的图像，用户还 能够看到在时间上相邻的图像，即在图像702之前拍摄的图像和在图像 706之后拍摄的图像。这时，可以将包含在搜索结果中的图像突出显示， 以与其它图像进行区分。

根据该实施例的主窗口与图7所示的主窗口相同，并且省略重复的 描述。作为图6中的另一操作，当用户点击一个图像时，可以将图像设 置为选择状态。当接着点击跳转按钮时，可以滚动主窗口，由此显示具 有选择的图像的拍摄日期/时间之前和之后的拍摄日期/时间的图像。作为 另选方案，当在步骤S1311中将图像添加到搜索结果中时，存储P0图像。 当用户点击图6中的跳转按钮时，可以滚动主窗口，由此基于拍摄日期/ 时间按照时间顺序显示P0图像之前和之后的图像。

请注意，由于在前述搜索处理中，针对指针P0指向的各个图像设置 了区域1208，并且指针P0依次指定列表的图像，因此多个设置的区域可 能彼此重叠。在这种情况下，如果显示所有搜索结果，则显示多个类似 的搜索结果，由此损害用户便利性。为了解决该问题，当将针对各个P0 图像获得的搜索结果彼此进行比较、并且包含在搜索结果中的图像以给 定比率（例如70%）或者更高彼此重叠时，可以选择包括最大数量的图 像的搜索结果。作为另选方案，可以选择如下的搜索结果，在该搜索结 果中，包括更大数量的、具有关键字中的最重要的一个的图像。此外， 可以合成多个搜索结果，以获得一个搜索结果。

如上所述，即使没有对各个图像分配作为搜索条件对根据本实施例 的文件搜索装置给出的三个或更多个关键字，也能够搜索希望的图像。

其它实施例

本发明的各方面还能够通过读出并执行记录在存储装置上的用于执 行上述实施例的功能的程序的系统或设备的计算机（或诸如CPU或MPU 的装置）、以及由系统或设备的计算机例如读出并执行记录在存储装置上 的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此， 例如经由网络或者从用作存储装置的各种类型的记录介质（例如计算机 可读介质）向计算机提供程序。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发 明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释， 以使其涵盖所有这种变型、等同结构及功能。