图像信息处理装置、图像信息处理方法和图像信息处理程序

摘要

图像信息处理装置(1)具有：识别处理部(10)，其从被输入的图像数据中识别多个区域即多个图像要素；以及统合处理部(20)，其从多个图像要素中提取作为处理对象的图像要素，进行使提取出的图像要素彼此关联的处理即统合处理。在存在表示提取出的图像要素的关系的第1信息的情况下，统合处理部(20)对提取出的图像要素进行基于第1信息的种类的统合处理，该第1信息配置于提取出的图像要素之间或配置成具有与提取出的图像要素重叠的部分。

说明书

技术领域

本发明涉及用于从图像数据中识别多个区域即多个图像要素并进行使识别出的图像要素彼此关联的处理即统合处理的图像信息处理装置、图像信息处理方法和图像信息处理程序。

背景技术

以往，提出了从图像数据中识别图形区域、线段区域、字符区域等的图像要素并进行使识别出的图像要素彼此链接的处理的各种方法。图像要素是图形数据中的能够识别的区域。图像要素也称作图像区域。图形区域是包含图形的图像区域。线段区域是包含线段的图像区域。字符区域是包含字符的图像区域。使图像要素彼此链接的处理也称作对图像要素进行统合的处理、使图像要素彼此关联的处理或统合处理。

例如，专利文献1提出了如下方法：从图像数据中提取包含目标的区域和包含与目标有关的字符串的区域，生成表示包含目标的区域与包含字符串的区域的对应的链接信息，生成用于显示链接信息和被输入的图像数据的数据。

此外，专利文献2提出了如下方法：通过布局分析，从文档数据估计图表区域与作为该图表区域的结构要素的各个图表的关系，对图表区域的标题与各个图表的副标题的关系进行分析，生成将表示该关系的检索用元数据与图表区域或各个图表关联起来的数据。

现有技术文献

专利文献

专利文献1：日本特开2012-018489号公报(例如第0020段)

专利文献2：日本特开2007-310503号公报(例如摘要)

发明内容

发明要解决的课题

但是，专利文献1的方法生成表示位于附近的区域彼此的对应的链接信息，因此，存在有时无法适当地进行区域彼此的关联这样的问题。专利文献2的方法根据图表区域的标题和图表的副标题中记述的信息进行关联，因此，存在有时无法适当地进行关联这样的问题。

本发明正是为了解决上述现有技术的课题而完成的，其目的在于，提供能够适当地进行使图像数据中的区域即图像要素彼此关联的处理即统合处理的图像信息处理装置、图像信息处理方法和图像信息处理程序。

用于解决课题的手段

本发明的一个方式的图像信息处理装置的特征在于，所述图像信息处理装置具有：识别处理部，其从被输入的图像数据中识别多个区域即多个图像要素；以及统合处理部，其从所述多个图像要素中提取作为处理对象的图像要素，进行使提取出的所述图像要素彼此关联的处理即统合处理，在存在表示提取出的所述图像要素的关系的第1信息的情况下，所述统合处理部对提取出的所述图像要素进行基于所述第1信息的种类的统合处理，该第1信息配置于提取出的所述图像要素之间或配置成具有与提取出的所述图像要素重叠的部分。

本发明的另一个方式的图像信息处理方法的特征在于，所述图像信息处理方法具有以下步骤：从被输入的图像数据中识别多个区域即多个图像要素；以及从所述多个图像要素中提取作为处理对象的图像要素，进行使提取出的所述图像要素彼此关联的处理即统合处理，在进行所述统合处理的步骤中，在存在表示提取出的所述图像要素的关系的第1信息的情况下，对提取出的所述图像要素进行基于所述第1信息的种类的统合处理，该第1信息配置于提取出的所述图像要素之间或配置成具有与提取出的所述图像要素重叠的部分。

发明效果

根据本发明，能够适当地进行使图像数据中的区域即图像要素彼此关联的处理即统合处理。

附图说明

图1是概略地示出本发明的实施方式1的图像信息处理装置的结构的框图。

图2是示出实施方式1的图像信息处理装置的硬件结构的例子的图。

图3是示出实施方式1的图像信息处理装置的硬件结构的另一个例子的图。

图4是作为显示图像而示出输入到实施方式1的图像信息处理装置的图像数据的例子的图。

图5是以表形式示出表示由实施方式1的图像信息处理装置的识别处理部识别出的图像要素的信息的例子即识别结果的例子的图。

图6是示出实施方式1的图像信息处理装置的统合处理部进行的统合处理的例子(即，对图形彼此进行结合的例子)的图。

图7是示出实施方式1的图像信息处理装置的统合处理部进行的统合处理的另一个例子(即，图形包含字符串的例子)的图。

图8是示出实施方式1的图像信息处理装置的统合处理部进行的统合处理的另一个例子(即，图形包含其他图形的例子)的图。

图9是示出实施方式1的图像信息处理装置的统合处理部进行的统合处理的另一个例子(即，对图形和字符区域进行结合的例子)的图。

图10的(a)和(b)是以表形式示出由图像信息处理装置的识别处理部识别出的识别结果的例子、以及通过实施方式1的图像信息处理装置的统合处理部进行的统合处理而生成的统合数据的例子即统合结果的例子的图。

图11是示出实施方式1的图像信息处理装置的统合处理部的动作的流程图。

图12是概略地示出本发明的实施方式2的图像信息处理装置的结构的框图。

图13是示出实施方式2的图像信息处理装置的统合处理部进行的统合处理的例子的图。

图14是示出实施方式2的图像信息处理装置的统合处理部进行的统合处理的另一个例子的图。

图15的(a)和(b)是以表形式示出由图像信息处理装置的识别处理部识别出的识别结果的例子、以及通过实施方式2的图像信息处理装置的统合处理部进行的统合处理而生成的统合数据的例子即统合结果的例子的图。

图16是示出实施方式2的图像信息处理装置的统合处理部的动作的流程图。

图17是概略地示出本发明的实施方式3的图像信息处理装置的结构的框图。

图18是示出实施方式3的图像信息处理装置的统合处理部进行的统合处理的例子的图。

图19是示出实施方式3的图像信息处理装置的统合处理部进行的统合处理的另一个例子的图。

具体实施方式

实施方式1

下面，参照附图对本发明的实施方式的图像信息处理装置、图像信息处理方法和图像信息处理程序进行说明。以下的实施方式只不过是例子，能够在本发明的范围内进行各种变更。

实施方式1

图1是概略地示出本发明的实施方式1的图像信息处理装置1的结构的框图。图像信息处理装置1是能够实施实施方式1的图像处理方法的装置。如图1所示，实施方式1的图像信息处理装置1具有识别处理部10和统合处理部20。图像信息处理装置1也可以具有存储统合数据的存储部30。

识别处理部10从被输入的图像数据中识别多个区域即多个图像要素。图像要素例如是包含图形的图形区域、包含线段的线段区域和包含字符的字符区域。识别处理部10能够具有识别图形或图形区域的图形识别部11、识别线段或线段区域的线段识别部12以及识别字符或字符区域的字符识别部13。字符包含字符串，字符串包含多个字符。

统合处理部20从由识别处理部10识别出的多个图像要素中提取作为处理对象的图像要素，进行使提取出的图像要素彼此关联的处理即统合处理。统合处理也称作使图像要素彼此链接的处理或使图像要素彼此联系的处理。统合处理部20例如具有区域统合部21和字符图形统合部22。

在存在表示提取出的图像要素的关系的信息的情况下，统合处理部20对提取出的图像要素进行基于表示图像要素的关系的信息的种类的统合处理，该信息配置于提取出的图像要素之间或配置成具有与提取出的图像要素重叠的部分。表示图像要素的关系的信息也称作第1信息。该统合处理由区域统合部21来进行。

表示图像要素的关系的信息的例子是配置成具有与提取出的图像要素重叠的部分的线段。该例子使用图6在后面叙述。

表示图像要素的关系的信息的另一个例子是配置于提取出的图像要素之间的记号。该例子使用图9在后面叙述。

此外，统合处理部20也可以在提取出的图像要素中的一个图像要素包含另一个图像要素的情况下，对提取出的图像要素进行统合处理。该例子使用图7和图8在后面叙述。

图2是示出实施方式1的图像信息处理装置1的硬件结构的例子的图。图2示出图像信息处理装置1具有处理电路91、存储装置92、图像取入装置93和显示器94的例子。处理电路91例如是电子电路。处理电路91能够构成图1所示的识别处理部10和统合处理部20。存储装置92例如是硬盘驱动器、半导体存储装置或其他信息存储装置。存储装置92能够构成图1所示的存储部30。图像取入装置93例如是作为读取图像的图像读取装置的扫描仪、作为拍摄图像的摄像装置的照相机等。图像取入装置93能够向图1所示的识别处理部10提供图像数据。显示器94是显示图像的装置。显示器94能够显示由识别处理部10识别出的识别结果、由统合处理部20生成的统合结果等。

图3是示出实施方式1的图像信息处理装置1的硬件结构的另一个例子的图。在图3中，对与图2所示的结构要素相同或对应的结构要素标注与图2所示的标号相同的标号。图3示出图像信息处理装置1具有由CPU(Central Processing Unit：中央处理单元)构成的处理器95、RAM(Randam Access Memory：随机存取存储器)和ROM(Read Only Memory：只读存储器)等存储器96、大容量的存储装置92、图像取入装置93和显示器94的例子。图3所示的图像信息处理装置1的处理器95和存储器96例如是计算机的一部分。处理器95能够通过执行存储器96中存储的图像信息处理程序，实现图1所示的识别处理部10和统合处理部20的功能的全部或一部分。

图4是作为显示图像而示出输入到实施方式1的图像信息处理装置1的图像数据70的例子的图。图4例如示出由图像取入装置93取入的图像数据70的例子。在图4中示出图形P1、图形P2、图形P3、字符区域R2和线段Q1。

识别图像数据70中的图形的处理即识别图形区域的处理例如能够通过专利文献3记载的方法或非专利文献1记载的方法来进行。

专利文献3：日本特许第6076128号公报

非专利文献1：米山升吾、其他2名、“附图图像内符号提取方式的研究”、电子信息通信学会综合大会、2006年3月

识别图像数据70中的线段的处理即识别线段区域的处理例如能够通过非专利文献2记载的方法来进行。

非专利文献2：平野敬、其他2名、“从文档图像中提取格线的方式”、电子信息通信学会综合大会、1998年3月

识别图像数据70中的字符(包含字符串)的处理即识别字符区域(包含字符串区域)的处理例如能够通过非专利文献3记载的方法来进行。

非专利文献3：T.Hirano、其他2名、“Structural Character Recognition UsingSimulated Annealing”、ICDAR(International Conference on Document Analysis andRecognition)1997、1997年8月

图5是以表形式示出由实施方式1的图像信息处理装置1的识别处理部10识别出的图像要素的例子即识别结果的例子的图。如图5所示，由识别处理部10识别出的识别结果例如是包含表示“图形”、“线段”和“字符区域”即图像要素占据的区域的种类的信息即标签、以及表示图像数据中的图像要素的位置、尺寸和形状的信息的数据。

图6～图9是示出实施方式1中的统合处理部20进行的统合处理的例子的图。

图6示出图像数据包含“图形A”、“图形B”和“线段C”的例子。“图形A”、“图形B”和“线段C”是图像要素。在图6的例子中，“图形A”和“图形B”通过“线段C”彼此连接。在图6的例子中，“图形A”、“图形B”和“线段C”满足以下的条件(1)和(2)。

条件(1)是“‘图形A’包含‘线段C’的始点。”。即，条件(1)是“‘线段C’的始点是‘图形A’的要素。”。条件(1)能够如下表现。

(线段C的始点)∈(图形A) (1)

条件(2)是“‘图形B’包含‘线段C’的终点。”。即，条件(2)是“‘线段C’的终点是‘图形B’的要素。”。条件(2)能够如下表现。

(线段C的终点)∈(图形B) (2)

统合处理部20在“图形A”、“图形B”和“线段C”满足条件(1)和(2)双方时，进行对作为图像要素的“图形A”和“图形B”进行统合的处理。对“图形A”和“图形B”进行统合的处理例如是如下处理：使“图形A”和“图形B”关联，使存储部30存储“图形A”、“图形B”和关联信息作为统合数据。该情况下，关联信息例如是“结合”。“结合”例如是表示“图形A”和“图形B”通过“线段C”结合的信息。

图7示出图像数据包含“图形D”和“字符串E”的例子。“图形D”和“字符串E”是图像要素。在图7的例子中，“图形D”和“字符串E”满足以下的条件(3)。

条件(3)是“‘图形D’包含‘字符串E’。”。即，条件(3)是“‘字符串E’是‘图形D’的要素。”。条件(3)能够如下表现。

(字符串E)∈(图形D) (3)

统合处理部20在“图形D”和“字符串E”满足条件(3)时，进行对作为图像要素的“图形D”和“字符串E”进行统合的处理。对“图形D”和“字符串E”进行统合的处理例如是如下处理：使“图形D”和“字符串E”关联，使存储部30存储“图形D”、“字符串E”和关联信息作为统合数据。该情况下，关联信息例如是“包含”。“包含”例如是表示“图形D”包含“字符串E”的信息。

图8示出图像数据包含“图形F”和“图形G”的例子。“图形F”和“图形G”是图像要素。在图8的例子中，“图形F”和“图形G”满足以下的条件(4)。

条件(4)是“‘图形F’包含‘图形G’。”。即，条件(4)是“‘图形G’是‘图形F’的要素。”。条件(4)能够如下表现。

(图形G)∈(图形F) (4)

统合处理部20在“图形F”和“图形G”满足条件(4)时，进行对作为图像要素的“图形F”和“图形G”进行统合的处理。对“图形F”和“图形G”进行统合的处理例如是如下处理：使“图形F”和“图形G”关联，使存储部30存储“图形F”、“图形G”和关联信息作为统合数据。该情况下，关联信息例如是“包含”。“包含”例如是表示“图形F”包含“图形G”的信息。

图9示出图像数据包含“图形K”、“字符串I”和“记号J”的例子。“图形K”、“字符串I”和“记号J”是图像要素。

在图9的例子中，在“图形K”的右侧配置有“字符串I”，在“图形K”与“字符串I”之间存在“记号J”。在图9的例子中，“记号J”是食指从“图形K”指着“字符串I”的手的图形。在图9的例子中，“图形K”和“字符串I”根据“记号J”而满足以下的条件(5)。

在“记号J”被定义为表示包含的记号的情况下，条件(5)是“‘图形K’包含‘字符串I’。”。即，条件(5)是“‘字符串I’是‘图形K’的要素。”。条件(5)能够如下表现。

(字符串I)∈(图形K) (5)

统合处理部20解释“图形K”、“字符串I”和“记号J”的意思，进行以下的统合处理。统合处理部20在“图形K”和“字符串I”满足条件(5)时，进行对作为图像要素的“图形K”和“字符串I”进行统合的处理。对“图形K”和“字符串I”进行统合的处理例如是如下处理：使“图形K”和“字符串I”关联，使存储部30存储“图形K”、“字符串I”和关联信息。该情况下，关联信息例如是“包含”。“包含”是表示“图形K”包含“字符串I”的信息。

如图6～图9所示，统合处理部20对图像数据中的图像要素进行分析，根据分析结果进行对图像要素和其他图像要素进行统合的统合处理。表示统合处理中使用的分析结果的信息例如如下所述。

■位于图像要素与其他图像要素之间的信息(例如“记号J”、“线段C”)

·连接图像要素和其他图像要素的信息(例如“线段C”)

·表示图像要素与其他图像要素的包含关系的信息(例如“图形F”和“图形G”)

·与位于图像要素的外部或内部的其他图像要素有关的信息

·指示图像要素与其他图像要素的关系的信息(例如“记号J”)

图10的(a)和(b)是以表形式示出由实施方式1的图像信息处理装置1的识别处理部10识别出的识别结果的例子、以及通过实施方式1的图像信息处理装置1的统合处理部20进行的统合处理而生成的统合数据的例子即统合结果的例子的图。如图10的(a)所示，存储部30可以存储表示由识别处理部10取得的识别结果的数据作为识别结果表。此外，如图10的(b)所示，存储部30可以存储表示由统合处理部20生成的统合处理的结果的数据作为统合结果表。

图11是示出实施方式1的图像信息处理装置1的统合处理部20的动作的流程图。

首先，统合处理部20提取由识别处理部10识别出的多个图像要素中的任意图像要素的对(步骤ST11)。任意图像要素的对例如是位于彼此接近的位置的图像要素的对。彼此接近的位置是指图像要素之间的距离为预定的阈值以内、图像要素具有彼此重复的部分、一个图像要素包含另一个图像要素等。任意图像要素的对也可以不是位置关系，而是图7所示的利用线段连接的图像要素的对、如图9所示利用记号表示关联的图像信息的对等。

接着，统合处理部20判定提取出的图像要素的对是否满足预定的条件(步骤ST12)。预定的条件例如是上述条件(1)～(5)中的任意一方。但是，预定的条件不限于上述条件(1)～(5)。

统合处理部20在提取出的图像要素的对满足预定的条件的情况下，对图像要素进行统合(步骤ST13)。

在步骤ST11～ST13之后，统合处理部20判定提取出的图像要素中是否存在字符区域(步骤ST14)。在存在字符区域的情况下，统合处理部20对统合数据赋予字符识别的结果或表示字符识别的结果的文本信息即标签(步骤ST15)。步骤ST14、ST15的处理例如由字符图形统合部22来进行。

在还存在其它要进行统合处理的图像要素的情况下，统合处理部20使处理返回步骤ST11。

如以上说明的那样，根据实施方式1的图像信息处理装置1，不仅根据图像要素即区域彼此的位置关系，还根据图像要素之间的信息对区域进行统合。因此，能够使通过统合处理得到的统合数据更加适当。

此外，根据实施方式1的图像信息处理装置1，在存在作为图像要素的字符区域的情况下，能够对识别结果数据或统合数据赋予字符识别的结果或表示字符识别的结果的文本信息作为标签，使存储部30进行存储。该情况下，能够进行使用标签的图像分析，因此，能够使通过统合处理得到的统合数据更加适当。

实施方式2

图12是概略地示出本发明的实施方式2的图像信息处理装置2的结构的框图。在图12中，对与图1所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。在图像信息处理装置2中，统合处理部40的结构与实施方式1中的统合处理部20的结构不同。如图12所示，实施方式2中的统合处理部40具有区域统合部21、知识取得部41和知识统合部42。

知识取得部41调出与由区域统合部21连结的字符区域中记载的内容相关联的字符区域，取得关联的知识。作为关联知识的取得方法，例如能够使用专利文献4记载的文本挖掘法。

专利文献4：日本特许第4595590号公报

图13和图14是示出实施方式2的图像信息处理装置2的统合处理部40进行的统合处理的例子的图。

图13示出图像数据包含“图形P1”、“字符区域R1”和“线段L”的例子。“图形P1”、“字符区域R1”和“线段L”是图像要素。在图13的例子中，“图形P1”和“字符区域R1”通过“线段L”彼此连接。在图13的例子中，“图形P1”、“字符区域R1”和“线段L”满足以下的条件(6)和(7)。

条件(6)是“‘图形P1’包含‘线段L’的始点。”。即，条件(6)是“‘线段L’的始点是‘图形P1’的要素。”。条件(6)能够如下表现。

(线段L的始点)∈(图形P1)(6)

条件(7)是“‘字符区域R1’包含‘线段L’的终点。”。即，条件(7)是“‘线段L’的终点是‘字符区域R1’的要素。”。条件(7)能够如下表现。

(线段L的终点)∈(字符区域R1)(7)

在“图形P1”、“字符区域R1”和“线段L”满足条件(6)和(7)双方时，统合处理部40的区域统合部21进行对作为图像要素的“图形P1”和“字符区域R1”进行统合的处理。对“图形P1”和“字符区域R1”进行统合的处理例如是如下处理：使“图形P1”和“字符区域R1”关联，使存储部30存储“图形P1”、“字符区域R1”和关联信息作为统合数据。该情况下，关联信息例如是“结合”。

图14示出图像数据包含“图形P1”、“字符区域M”和“注释N”的例子。“图形P1”、“字符区域M”和“注释N”是图像要素。在图14的例子中，“图形P1”和“字符区域M”均具有“注释N”即“*1”，通过“注释N”而彼此关联。知识取得部41例如取得“图形P1”和“字符区域M”通过“注释N”而关联的信息即关联知识。

在图14的例子中，统合处理部40的知识统合部42能够根据“注释N”对“图形P1”和“字符区域M”进行统合。

图15的(a)和(b)是以表形式示出由实施方式2的图像信息处理装置2的识别处理部10识别出的识别结果的例子、以及通过实施方式2的图像信息处理装置2的统合处理部40进行的统合处理而生成的统合数据的例子即统合结果的例子的图。

知识统合部42对由区域统合部21连结的区域和由知识取得部41取得的关联知识进行统合。例如如图15的(b)所示，知识统合部42将统合结果作为列表进行输出。

如图13所示，在“字符区域R1”中包含有页编号的情况下，“图形P1”链接到该页编号的信息。如图14所示，在“注释N”包含字符信息的情况下，“图形P1”取得注释表示的信息。

图16是示出实施方式2的图像信息处理装置2的统合处理部40的动作的流程图。在图16中，步骤ST11～ST13与图11的步骤相同。

统合处理部40从字符区域取得文本数据，确认有无链接信息(步骤ST24)。统合处理部40在存在链接信息的情况下，从链接目的地取得关联知识(步骤ST25)。统合处理部40对取得的知识和在步骤ST13中生成的结果进行统合(步骤ST26)。

该情况下，如图15的(b)所示，统合处理部40生成的统合数据能够包含知识取得部41取得的信息。即，在实施方式2中，统合处理部40在由识别处理部10识别出的图像要素包含字符的情况下，能够从字符取得关联的知识，进行对取得的知识和提取出的图像要素进行统合的统合处理。由此，能够生成适当的统合数据。

关于上述以外的方面，实施方式2与实施方式1相同。此外，还能够将实施方式2的结构应用于实施方式1。

实施方式3

图17是概略地示出本发明的实施方式3的图像信息处理装置3的结构的框图。在图17中，对与图1所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。在图像信息处理装置3中，根据预先取得的事前数据51进行识别处理这点与实施方式1的图像信息处理装置1不同。此外，图像信息处理装置3也可以根据预先取得的事前数据51进行统合处理。

在实施方式3中，识别处理部10a进行图形识别、线段识别和字符识别，输出识别出的图像要素即识别结果。识别处理部10a在实施图形识别、线段识别和字符识别时，使用事前数据51。事前数据51例如包含产品说明书中的与产品有关的数据。识别处理部10a通过使用事前数据51，能够利用产品固有的用语、与产品构造有关的信息。

识别处理部10a在字符识别时，通过参照产品固有的用语，能够提高字符识别的精度。例如，识别处理部10a在字符识别时，仅识别包含产品固有的用语的字符串，由此，不用识别不必要的字符。即，识别处理部10a能够适当地进行字符的识别。

识别处理部10a在图形识别时，通过参照与产品构造有关的信息，能够提高图形识别的精度。例如，识别处理部10a在图形识别时，仅识别与产品构造对应或相似的形状，由此，不用识别不必要的图形。即，识别处理部10a能够适当地进行图形的识别。

统合处理部50进行与实施方式1中的统合处理部20相同的动作。统合处理部50通过使用事前数据51，能够利用产品的构造信息，能够得到与产品相符的统合结果。

例如，统合处理部50在统合处理时，能够仅生成与包含产品固有的用语的字符串有关的统合数据，或者对统合数据附加表示包含产品固有的用语的信息。即，统合处理部50能够生成适当的统合数据。

此外，统合处理部50在统合处理时，能够仅生成包含与产品的构造对应或相似的形状的图形的统合数据，或者对统合数据附加表示包含统合数据的信息，统合数据包含与统合数据对应或相似的形状的图形。即，统合处理部50能够生成适当的统合数据。

图18和图19是用于说明实施方式3的图像信息处理装置3的统合处理部50进行的统合处理的例子的图。

在不使用事前数据51的情况下，如图18所示，识别处理部10a识别三角形的图形区域和四边形的图形区域作为图像要素。该情况下，统合处理部50生成的统合数据也如图18所示。

在使用“不动产的文档”这样的信息作为事前数据51的情况下，如图19所示，识别处理部10a能够识别与作为不动产的房屋有关的图像要素。例如，识别处理部10a能够识别三角形的图形区域和四边形的图形区域即房屋的主视图(即整体图)、以及四边形以外的图形区域即房屋的平面图(即户型图)作为图像要素。该情况下，如图19所示，统合处理部50生成的统合数据也能够利用线段结合2个图像要素。

即，在实施方式3中，识别处理部10a能够接受关于文档而事前得到的事前知识，识别与事前知识相关联的图像要素。此外，统合处理部50能够接受事前知识，对与事前知识相关联的图像要素进行统合。由此，能够生成适当的统合数据。

关于上述以外的方面，实施方式3与实施方式1或2相同。此外，还能够将实施方式3的结构应用于实施方式2。

变形例

本申请能够在其发明范围内进行实施方式的任意结构要素的变形或实施方式的任意结构要素的省略。

标号说明

1、2、3：图像信息处理装置；10、10a：识别处理部；11：图形识别部；12：线段识别部；13：字符识别部；20、40、50：统合处理部；21：区域统合部；22：字符图形统合部；30：存储部；41：知识取得部；42：知识统合部；51：事前数据。