图像检索装置,图像检索方法及计算机程序

摘要

本发明图像检索装置，图像检索方法及用于实行该图像检索方法的计算机程序。调用所保存的图像数据时，对图像显示部(2)，与该图像数据相关的至少一个区域(R1，R2，R3)和该图像数据的代表性局部区域图像(R1a，R2a，R3a)排列表示的显示画面隔一定时间以(1)→(2)→(3)顺序发送，作为该图像数据的代表性的局部区域图像切换，表示在图像显示部(2)中。这样，预先将属性区域(R1，R2，R3)和代表性特征区域(R1a，R2a，R3a)复数相关保有，通过顺序表示上述信息，能在包含类似的代表性的特征区域的图像数据之间进行识别，很容易选择所希望的图像数据。不需要复杂处理，短时间有效地得到所希望的图像数据。

说明书

技术领域

本发明涉及图像检索装置，图像检索方法及用于实行该图像检索方法的计算机程序，更具体地说，所述图像检索装置及图像检索方法用于数字式复合机、文档管理系统等图像形成装置或图像处理装置，预先保存所输入的文档图像，根据需要调用输出。

背景技术

一般，预先输入图像数据进行保存，需要时，调用预先保存的图像数据，在这样的图像检索装置、尤其是检索类似图像的图像检索装置中，图像等数据显示手段不够大场合，作为确认用户保存数据的方法，有将名称、日期、登记者、文件尺寸等信息用表来表示的方法，或者使用索引图像等图像整体的缩小图像能直觉地选择的方法。但是，使用缩小图像时，有时不能区别外观上相似结构的图像(参照图7)。

使用这种缩小图像时，作为用于区别外观上相似结构图像的区别技术，可以列举例如专利文献1或2所记载的发明，这为人们所公知。在专利文献1所记载的发明中，缩小图像作成部读取用图像数据或文字处理器作成的文档、表计算软件数据等电子数据，作成缩小图像，差异判定部求取所作成的若干缩小图像之间的相似度，相似度比所定阈值大场合，通过差异图像作成部切取相似图像中有差异部分的区域，将该部分表示在图像显示部。专利文献2所记载的发明设有文档区分手段，非类似处抽出手段，非类似处显示手段，所述文档区分手段抽出复数文档的各自配置，根据该配置区分文档，所述非类似处抽出手段用于抽取上述各文档中的非类似处，所述非类似处显示手段仅仅表示非类似处抽出手段所抽出的地方。另外，还设有用于抽出上述各文档中的类似处的类似处抽出手段，仅仅表示类似处抽出手段所抽出地方的类似处显示手段。若缩小图像类似，上述发明抽出分割原图像的局部图像中相似度小的地方表示。由此，即使因图像数据整体的缩小图像之间类似导致判别困难，也能通过表示差异大的部分加以区别。

又，作为用于区别缩小图像相似图像的区别方法，可以列举例如专利文献3所记载的发明。专利文献3所记载的发明设有用于取得文档文件的文档文件取得手段，缩小图像生成手段，处理区域决定手段，处理区域内信息抽出手段，处理区域内信息显示手段。所述缩小图像生成手段生成通过文档文件取得手段取得的文档文件所涉及图像的缩小图像，当指示器指定表示在显示器上的上述缩小图像场合，所述处理区域决定手段决定文档文件所涉及的图像上的处理区域，所述处理区域内信息抽出手段从上述文档文件抽出处理区域内信息，所述处理区域内信息显示手段以所定大小将所述处理区域内信息抽出手段所抽出的处理区域内信息表示在显示器中。当操作者指定所表示的缩小图像着眼或注目部分时，从缩小图像的原图像数据抽出该指定部分周边区域，从该区域抽出信息，输出所抽出的信息表示。由此，通过表示注目部分信息，即使缩小图像相似的图像数据也能加以区别。

专利文献1：特开2003-331299号公报

专利文献2：特开2005-063220号公报

专利文献3：特开2005-017592号公报

但是，在专利文献1及2所记载的发明中，希望多件表示检索结果场合，由于显示装置尺寸限定，表示该检索结果的缩小图像，在缩小图像中，用户难以把握图像特征。于是，表示检索结果的特征区域图像，上述专利文献1及2中所记载的技术为人们所公知。

但是，在专利文献1及2记载技术中的特征区域图像是与作为检索结果表示的其他图像的局部图像相似度最小(不相似)的图像，有时不过是与其他图像关系中的相对特征图像，并不是本来图像的特征区域。再有，若作为检索结果表示的图像多，则计算量增多，成为处理速度低下的主要原因。

在专利文献3所记载的发明中，为了着眼相似的缩小图像的哪个部分，以便可以区别或有效地进行指定，需要事前知道哪个地方好像不同，或根据经验进行预测，若不知道，随便碰碰地指定，则效率低。又，指定着眼部分后，抽出原图像数据区域进行处理，需要等待该处理时间。若处理内容复杂，等待时间更长，很不方便。

发明内容

本发明就是为解决上述先有技术所存在的问题而提出来的，本发明的目的在于，不需要复杂处理，短时间有效地得到所希望的图像数据。

为了实现上述目的，本发明提出以下方案：

(1)一种图像检索装置，检索与指定图像数据类似图像，其特征在于：

该图像检索装置包括：

检索手段，检索与上述图像数据类似图像；

显示手段，将通过上述检索手段检索得到的上述图像作为键码，抽出与该图像相关保存的特征区域图像，表示在显示画面上；

上述显示手段以根据该特征区域图像的种类的顺序，以所定时间间隔，使得复数个上述特征区域图像表示在显示画面上。

(2)在(1)记载的图像检索装置中，其特征在于：

所述显示手段以根据该特征区域图像种类的大小显示。

(3)在(1)或(2)记载的图像检索装置中，其特征在于：

上述显示手段根据上述特征区域图像种类，区别为表示的特征区域图像以及不表示的特征区域图像，仅显示所述表示的特征区域图像。

(4)在(1)-(3)中任一项记载的图像检索装置中，其特征在于：

上述显示手段预先求取代表性特征区域位置信息，当切换复数个代表性特征区域表示时，由位置信息决定所表示的特征区域顺序。

(5)在(1)-(3)中任一项记载的图像检索装置中，其特征在于：

上述显示手段预先求取代表性特征区域大小信息，当切换复数个代表性特征区域表示时，由大小信息决定所表示的特征区域顺序。

(6)在(1)-(5)中任一项记载的图像检索装置中，其特征在于：

上述显示手段预先求取代表性特征区域的属性信息，当切换复数个代表性特征区域表示时，由属性信息决定所表示的特征区域顺序。

(7)在(1)-(6)中任一项记载的图像检索装置中，其特征在于：

使得代表性特征区域变倍为上述显示画面可表示的大小进行显示。

(8)一种图像检索方法，检索与指定图像数据类似图像，其特征在于：

该图像检索方法包括：

检索工序，检索与上述图像数据类似图像；

抽出工序，将检索得到的上述图像作为键码，抽出与该图像相关保存的特征区域图像；

显示工序，以根据所抽出的特征区域图像种类的顺序，以所定时间间隔，显示复数个上述特征区域图像。

(9)在(8)记载的图像检索方法中，其特征在于：

在显示上述特征区域图像的工序中，显示该特征区域图像时，以根据该特征区域图像种类的大小显示。

(10)在(8)或(9)记载的图像检索方法中，其特征在于：

在显示上述特征区域图像的工序中，显示该特征区域图像时，根据上述特征区域图像种类，区别为表示的特征区域图像以及不表示的特征区域图像，仅显示所述表示的特征区域图像。

(11)在(8)-(10)中任一项记载的图像检索方法中，其特征在于：

在显示上述特征区域图像的工序中，显示该特征区域图像时，预先求取代表性特征区域位置信息，当切换复数个代表性特征区域表示时，由位置信息决定所表示的特征区域顺序。

(12)在(8)-(10)中任一项记载的图像检索方法中，其特征在于：

在显示上述特征区域图像的工序中，显示该特征区域图像时，预先求取代表性特征区域大小信息，当切换复数个代表性特征区域表示时，由大小信息决定所表示的特征区域顺序。

(13)在(8)-(12)中任一项记载的图像检索方法中，其特征在于：

在显示上述特征区域图像的工序中，显示该特征区域图像时，预先求取代表性特征区域的属性信息，当切换复数个代表性特征区域表示时，由属性信息决定所表示的特征区域顺序。

(14)在(8)-(13)中任一项记载的图像检索方法中，其特征在于：

在显示上述特征区域图像的工序中，使得代表性特征区域变倍为上述显示画面可表示的大小进行显示。

(15)一种计算机程序，其特征在于：

设有在计算机实行(8)-(14)中任一项记载的图像检索方法中的工序的程序。

在后述实施形态中，检索与图像数据类似图像的手段和显示手段与中央运算装置8对应，显示画面与图像显示部2对应，特征区域图像将通过检索手段检索得到的图像作为键码，与该图像相关保存在辅助存储装置6中，特征区域图像由特征区域抽出部4抽出。

按照本发明，对输入的图像数据预先抽出复数个代表性特征区域，以根据该特征区域图像种类的顺序，以所定时间间隔，使得复数个上述特征区域图像表示在显示画面上，不需要复杂处理，短时间有效地得到所希望的图像数据。

附图说明

图1是本发明一实施例涉及的图像检索装置的概略构成方框图。

图2是表示由图1的中央运算装置实行的上述图像处理装置的处理程序的流程图。

图3是表示根据操作者指示切换表示的处理程序的流程图。

图4是表示操作者取舍选择是否应在图像数据上相关附加有代表性的特征区域保存的处理程序的流程图。

图5是表示操作者取舍选择是否通过信息输入手段指定的处理程序的流程图。

图6表示抽出特征图像，原稿和从该原稿切取的有代表性的特征区域的关系。

图7表示排列表示类似图像数据整体的缩小图像的状态。

图8表示排列类似图像数据有代表性的特征区域、切换表示的状态。

图9表示变倍显示特征区域，在显示框中最大限度变大表示图8所示图像数据的状态。

图10表示保持相对大小比变倍显示特征区域即图8所示图像数据的状态。

具体实施方式

下面，参照附图详细说明本发明涉及的实施形态。在以下实施形态中，虽然对构成要素，种类，组合，形状，相对配置等作了各种限定，但是，这些仅仅是例举，本发明并不局限于此。

图1是本发明一实施例涉及的图像检索装置的概略构成方框图。在该图中，图像检索装置由扫描器等图像输入部1，图像显示部2，信息输入部3，特征区域抽出部4，主存储器5，辅助存储装置6，通信装置7，中央运算装置8构成。所述图像显示部2由液晶显示器等构成，用于表示所输入的图像数据或保存的图像数据，所述信息输入部3由鼠标器或触摸面板等构成，用于输入对图像数据指定区域或注目点等信息，所述特征区域抽出部4用于从图像数据抽出有代表性的特征区域，所述主存储器5暂时存储所处理数据，所述辅助存储装置6使得图像数据和与其相关的复数的有代表性的特征区域附加相关地保存，所述通信装置7用于通过网络与外部交换或存取数据等，所述中央运算装置8实行控制处理。

图2是表示由图1的中央运算装置8实行的上述图像处理装置的处理程序的流程图，其中，图2(a)表示图像数据输入时的程序，图2(b)表示图像数据输出时的程序。

在图2(a)中，若输入图像(步骤S101)，则通过特征区域抽出部4对所输入的图像数据进行配置解析(步骤S102)，切取区域(步骤S103)，对所切取的区域顺序实行识别为文章、题目、图、照片、表等的属性识别(步骤S104)，抽出有代表性的特征区域。对于配置解析，切取区域，识别区域属性在此不作详述，可以使用例如特开平7-37036号公报或特开平9-114923号公报中公开的公知方法。

一般，通过视觉从复数个图像数据中选择所希望图像数据时，与理解文档整体内容相比，大多粗略地看所包含的图，照片，题目等显眼的特征区域，进行推断。因此，如图6所示，从原稿10中切取区域中，将图区域R1，照片，表区域R2，题目区域R3属性(种类)区域作为有代表性的特征区域，与图像数据相关地保存。图像数据除了辅助存储装置6，还可以通过通信装置7保存在与网络连接的其他辅助存储装置中。另外，R4表示文字区域。

图7表示在图像显示部(显示画面)2排列表示图6所示原稿10以及与该原稿10类似的原稿10’的整体缩小图像的状态。从该图可知，配置相同，如果不看原稿细微部分，难以理解该原稿(文档)内容。于是，在本实施例中，按以下所述表示。

即，调用所保存的图像数据时，对图像显示部2，与该图像数据相关的至少一个区域R1，R2，R3和该图像数据有代表性的(部分)区域图像R1a，R2a，R3a排列表示的表示画面隔一定时间以例如(1)→(2)→(3)顺序发送，如图8所示，切换作为该图像数据的有代表性的(部分)区域图像切换，表示在图像显示部2中。这样，预先将属性区域R1，R2，R3和有代表性的特征区域R1a，R2a，R3a复数相关保有，通过顺序表示上述信息，能在包含类似的有代表性的特征区域的图像数据之间进行识别，很容易选择所希望的图像数据。图2(b)表示图像数据输出时的程序，图像数据输入(步骤S201)，更新表示特征区域(步骤S202)，顺序表示(步骤S203)，从该表示中选择图像(步骤S204)，输出图像数据(步骤S205)。

如图8所示，以一定时间切换复数个属性区域R1，R2，R3和有代表性的特征区域R1a，R2a，R3a表示，也可以根据来自操作者的指示切换表示，代替上述图8所示的“以一定时间切换”。这时的处理程序表示在图3中。图3是表示根据操作者指示切换表示的处理程序的流程图。

在该处理程序中，在图2(b)所示处理程序的在步骤S203表示特征区域后，若操作者有指示，则实行表示切换(步骤S301)，回到步骤S202，再次更新特征量的表示，设定为顺序表示。

经这样处理，有代表性的特征区域数多场合，有时等不及以一定时间切换。通过操作者指示该切换时间，能更有效地选择所希望的图像数据。

从上述步骤S101输入图像，但有时根据所输入的图像数据内容，作为配置解析，切取区域，识别区域属性的结果的有代表性的特征区域出现错误，或包含不需要的图等。因此，抽出有代表性的特征区域后，顺序表示在显示手段上，促使操作者取舍选择是否应在图像数据上相关附加保存。操作者取舍选择全部作为代表性的特征区域抽出的区域结束后，将图像数据和所选择的代表性的特征区域相关联地保存。

这时的处理程序表示在图4中，图4是表示操作者取舍选择是否应在图像数据上相关附加代表性的特征区域保存的处理程序的流程图。在图4中，若输入图像(步骤S101)，则通过特征区域抽出部4对所输入的图像数据进行配置解析(步骤S102)，切取区域(步骤S103)，对所切取的区域顺序实行识别为文章、题目、图、照片、表等的属性识别(步骤S104)，抽出有代表性的特征区域。接着，抽出有代表性的特征区域后，顺序表示在显示手段中(步骤S401)。操作者取舍选择是否应在图像数据上相关附加保存(步骤S402)，接着在步骤S403判断是否所有的作为代表性特征区域抽出的区域取舍选择结束，若取舍选择结束(步骤S403的“是”)，则进入步骤S105，将图像数据和所选择的代表性特征区域相关联地保存。

这样，通过实施取舍代表性特征区域，能减少错误或不需要的区域，有效地选择所希望的图像数据。

又，如上所述，从上述步骤S101输入图像，但有时根据所输入的图像数据内容，作为配置解析，切取区域，识别区域属性的结果的有代表性的特征区域抽出发生遗漏。因此，抽出有代表性的特征区域后，顺序表示在显示手段上，促使操作者判断是否通过信息输入手段指定代表性特征区域。若要指定区域，则将图像数据表示在显示手段中，通过信息输入手段输入想指定的区域，由此得到的区域作为代表性特征区域，与图像数据相关联地保存。

这时的处理程序表示在图5中，图5是表示操作者取舍选择是否通过信息输入手段指定的处理程序的流程图。在图5中，若输入图像(步骤S101)，则通过特征区域抽出部4对所输入的图像数据进行配置解析(步骤S102)，切取区域(步骤S103)，对所切取的区域顺序实行识别为文章、题目、图、照片、表等的属性识别(步骤S104)，抽出有代表性的特征区域。接着，抽出有代表性的特征区域后，顺序表示在显示手段中(步骤S501)。在步骤S502中，操作者取舍选择是否追加代表性特征区域，若追加代表性特征区域(步骤S502的“是”)，则进入步骤S503，输入区域信息，再回到步骤S502，继续判断是否追加代表性特征区域，若追加全部结束(步骤S502的“否”)，则进入步骤S105，将图像数据和所选择的代表性特征区域相关联地保存。

这样，通过使得操作者能指定代表性特征区域，能防止代表性特征区域抽出遗漏，有效地选择所希望的图像数据。

在上述那样的各处理中，作为步骤S102的配置解析，步骤S103的切取区域，步骤S104的区域属性识别的结果，得到代表性特征区域。于是，也可以根据这些特征区域的特性，实行各种分类，识别数据。例如，特征区域的重心等特定部分的位置，大小，种类等。

(1)预先按特征区域的重心等特定部分的位置顺序分类，按照该分类顺序切换代表性特征区域表示场合。

该场合，预先按特征区域的重心等特定部分位置顺序分类，按照该分类顺序切换代表性特征区域表示。一般，在横写文档图像中，视线从左上向右方向移动，逐渐朝下看，若按该顺序表示代表性特征区域，能以读文档图像数据时出现的顺序表示代表性特征区域，因此，有时由此区别图像数据。

这样，若根据位置信息顺序表示代表性特征区域，则有助于直感地理解图像数据内容，能有效地选择所希望的图像数据。

(2)预先按特征区域的大小顺序分类，按照该分类顺序切换代表性特征区域表示场合。

该场合，预先按特征区域大小例如特征区域面积等顺序分类，按照该分类顺序切换代表性特征区域表示。一般，包含在图像数据的代表性特征区域，大的更显眼。因此，包含在图像数据中的代表性特征区域之中，与小的特征区域相比，有时通过大的特征区域区别图像数据。

这样，若根据大小信息顺序表示代表性特征区域，则有助于直感地理解图像数据内容，能有效地选择所希望的图像数据。

(3)预先按特征区域种类等属性顺序分类，按照该分类顺序切换代表性特征区域表示场合。

该场合，预先按特征区域种类等属性顺序分类，按照该分类顺序切换代表性特征区域表示。一般，包含在图像数据的代表性特征区域之中，与题目等文字信息相比，有时通过照片或图等更能给人印象的属性区别图像数据。

这样，若根据属性信息顺序表示代表性特征区域，则有助于直感地理解图像数据内容，能有效地选择所希望的图像数据。

在图2的步骤S202中，每隔一定时间将代表性特征区域送向显示手段，更新表示，但也可以根据特征区域属性变更表示时间。与特征区域为照片或图相比，包含题目等文字场合，需要读取其内容，当与照片或图等显示时间相同时，有时来不及确认内容。因此，在步骤S104中，输入时确认所识别的属性，当其属性是包含文字那样的区域时，将显示时间设定为较长。这样，能确保阅读文字时间，有助于理解图像数据内容。结果，能有效地选择所希望的图像数据。特征区域图像显示顺序或时间等也可以设定为能由用户任意变更。

在图像显示部2的代表性特征区域表示中，如图8所示，以原样大小表示，但是，也可以变更大小表示。一般，在MFP等图像处理(形成)装置中，大多只有小的显示装置(图像显示部2)。因此，作为图像数据局部区域的特征区域也可能不能处于显示装置的可显示区域。与此相反，与显示装置的可显示大小相比，也存在特征区域小难以判别的可能性。于是，如图9所示，在图像显示部2将属性区域和代表性特征区域以可显示大小变倍，显眼表示。这样，能有效地选择所希望的图像数据。在图9所示例中，用R1b，R2b，R3b表示放大的属性区域，用R3c，R1c，R2c表示代表性特征区域。该场合也按(1)→(2)→(3)顺序切换表示。

如图9所示，将代表性特征区域R1c，R2c，R3c变倍成在图像显示部2可显示大小表示时，也可以一边保持各区域R1，R2，R3的相对大小比，一边变倍为如图10所示。即，以将最大的代表性特征区域R3变倍为图像显示部2可显示大小(用虚线表示的框2a)的图像R3b时的倍率，使得各属性区域及特征区域变倍。在图中，表示图区域R1d，表区域R2d，以及代表性特征区域R1e，R2e，所述图区域R1d及表区域R2d以使得题目区域R3变倍的变倍率变倍，所述代表性特征区域R1e，R2e以该区域对应的相同倍率变倍。这样，即使变倍后也保持原图像的相对大小差异，因此，有时能以各代表性特征区域之间大小差异直感地区别图像数据。但是，为了防止表示大小程度过小，不能判别图像，需要设置倍率下限。该场合也按(1)→(2)→(3)顺序切换表示。

这样，通过保存代表性特征区域大小比，有助于更直感地理解图像数据内容，能有效地选择所希望的图像数据。

当将代表性特征区域变倍为显示手段可显示大小表示时，根据各代表性特征区域的属性，变更变倍倍率。尤其，包含题目等文字的代表性特征区域场合，与照片或图的区域相比，存在若表示大小变小判别困难的倾向。因此，具有包含文字那样的属性的区域场合，与其他区域相比，变更为大的倍率。属性包含文字那样的区域时，通过设定大的变倍倍率，有助于直感地理解图像数据内容，能有效地选择所希望的图像数据。

也可以根据操作者操作在图像显示部2一览表示全部指定的图像数据的代表性特征区域。通过增加这种一览表示模式，有助于直感地理解图像数据内容，能有效地选择所希望的图像数据。

作为表示的代表性特征区域之一，也可以增加如图7所示那样的图像数据整体的缩小图像。通过增加缩小图像，不仅顺序切换代表性特征区域表示，而且能得到关于其配置的信息。这样，有助于直感地理解图像数据内容，能有效地选择所希望的图像数据。

按照上述本实施形态，具有以下效果。

(1)预先抽出包含在图像数据中的复数的代表性特征区域相关地保有，通过顺序切换表示，能在显示手段识别包含类似代表性特征区域的图像数据，能容易地选择所希望的图像数据。

(2)通过来自操作者的指示，顺序切换表示复数的代表性特征区域，能更有效地选择所希望的图像数据。

(3)通过取舍选择由特征区域抽出手段抽出的代表性特征区域，能减少错误或不需要区域，能更有效地选择所希望的图像数据。

(4)通过能由操作者指定代表性特征区域，能防止代表性特征区域抽出遗漏，能有效地选择所希望的图像数据。

(5)通过以根据位置信息的顺序表示代表性特征区域，或以根据大小信息的顺序表示代表性特征区域，或以根据属性信息的顺序表示代表性特征区域，能有助于更直感地理解图像数据内容，能有效地选择所希望的图像数据。

(6)当属性包含文字那样的区域时，通过延长显示时间或增大显示倍率，有助于理解图像数据内容，能有效地选择所希望的图像数据。

(7)通过将代表性特征区域变倍为显示手段可显示的大小，表示显眼，能有效地选择所希望的图像数据。

(8)通过一边保存代表性特征区域的大小比，一边表示，有助于更直感地理解图像数据内容，能有效地选择所希望的图像数据。

(9)通过增加一览显示模式，有助于直感地理解图像数据内容，能有效地选择所希望的图像数据。

(10)通过增加图像数据整体的缩小图像，作为代表性特征区域之一，有助于理解图像数据内容，能有效地选择所希望的图像数据。

上面参照附图说明了本发明的实施例，但本发明并不局限于上述实施例。在本发明技术思想范围内可以作种种变更，它们都属于本发明的保护范围。