文档图像处理装置、文档图像处理方法、及存储计算机程序的命令的可计算机读出的存储介质

摘要

本实施方式提供一种文档图像处理装置，具备：取出部，其从输入文档图像的像素取出第一文档要素，从对应所述输入文档图像的预印数据的像素取出第二文档要素；推定部，其推定所述第一文档要素各色空间的第一代表色和第二文档要素各色空间的第二代表色；算出部，其算出在所述色空间上分离各所述第一代表色的第一分离平面和在所述空间上分离各所述第二代表色的第二分离平面；置换部，其将分布于通过所述第一分离平面分离的所述色空间的分离区域的所述第一文档要素的各第一像素的色置换为分布于同所述分离区域的所述第一代表色，将分布于通过第二分离平面分离的所述色空间的分离区域的所述第二文档要素的各第二像素的色置换为分布于同所述分离区域的所述第二代表色；生成部，其生成置换的各第一像素和置换的各第二像素的差分图像。

说明书

技术领域

本发明所说明的实施方式(多数形式)全部涉及文档图像处理装置、文档图像处理方法、及存储计算机程序的命令的可计算机读出的存储介质。

背景技术

利用扫描仪等将帐票等文档变换为数字数据时，由于使数据量减少等目的而多作为黑白图像或灰色标度图像保存。但是，近年由于彩色打印等的普及而彩色文档变多，随之，将其作为彩色图像进行保存的必要性增多。

彩色图像因为相比黑白图像或灰度标准图像数据量庞大，所以，通常实施一些压缩处理进行保存。

作为一般的彩色图像的压缩方法，有JPEG(Jojnt Photgraphic Experts Group)方式的压缩。但是，已知，若增大包含文字等的文档图像的压缩率，则由于方框噪声而文字的边缘部分产生模糊，可视性降低。

作为其对策，首先可以列举将图像进行减色化进行压缩的技术。当用扫描仪读取文档时，由于量子化误差或读取时的位置偏差，其色数成为庞大的数。在文档图像中，为了进行有效的压缩处理，有效的是通过减少其色数的减色处理实现数据量的削减。该减色处理例如对色空间的频率分布进行Hough变换或主成分分析决定色数。同时，求上述色空间的色的直线状的分布，使用将其分布进行分类得到的数据族的数色进行减色化。

另外，也可以列举在准备了预先记入栏等的帐票中只取出用手写等补记的图像的技术。用扫描仪读取帐票，在通过通信装置向远地发送该帐票图像数据的情况下，若将读取数据全部发送，则成为庞大的数据量浪费成本。通常，在帐票中，在将予设定的项目进行字或印刷的用纸中，多为人通过手写等向項目栏记入内容。

但是，事前已知已经进行了印字或印刷的图像数据(以下，称为预印数据)，用手写等补记的数据为重要的数据。从而，若从用扫描仪读取的图像只取出用手写等补记的数据的图像，将取出的图像数据向远地发送，则效率高。而且，在接收侧合成接收的图像数据和预准备的预印数据，从而可以复原显示和发送侧相同的图像数据。

但是，文字的边缘部分的图像，特别是由于扫描时的彩色边纹等多为与实际使用的墨水色分离。例如，受墨水色和底色的双方的影响成为中间色。该情况下，因为与直线分布分离的色的处理不明，所以不能对应。

另外，帐票等的文档图像中，存在通过设置为网点(網点)而意图将特定的栏设为中间色的情况。而且，也存在在其网点(半色调点)上用和网点相同色的墨水印刷文字的情况。该情况下，若进行文档图像的色的置换处理，则文字和网点作为相同的色被识别，存在难以读出文字的问题。另外，用同系色对文字、格线、其它图像进行印字的帐票的读取图像数据难以分类。例如，在读取对红色的文字、格线进行印字，然后添加印章的盖章的红色的文档的图像的情况下，难以将红色的文字、格线和红色作为不同的颜色进行分类。

发明内容

本发明实施方式的文档图像处理装置具备：取出部，其从输入文档图像的像素取出第一文档要素，从对应所述输入文档图像的预印数据的像素取出第二文档要素；推定部，其推定所述第一文档要素各色空间的第一代表色和第二文档要素各色空间的第二代表色；算出部，其算出在所述色空间上分离各所述第一代表色的第一分离平面和在所述空间上分离各所述第二代表色的第二分离平面；置换部，其将分布于通过所述第一分离平面分离的所述色空间的分离区域的所述第一文档要素的各第一像素的色置换为分布于同所述分离区域的所述第一代表色，将分布于通过第二分离平面分离的所述色空间的分离区域的所述第二文档要素的各第二像素的色置换为分布于同所述分离区域的所述第二代表色；生成部，其生成置换的各第一像素和置换的各第二像素的差分图像。

本发明其它实施方式的文档图像处理装置，具备：取出部，其从输入文档图像取出文档要素；推定部，其推定取出的所述文档要素的色空间的代表色；算出部，其算出在所述色空间上分别分离所述代表色的分离平面；置换部，其将分布于通过所述分离平面分离的所述色空间的分离区域的所述文档要素的各像素的色置换为分布于同所述分离区域的所述代表色；生成部，其生成将各像素的色置换为所述代表色的所述输入文档图像的各像素和对应已经实施了所述代表色的置换的所述输入文档图像的预印数据的各像素的差分图像。

本发明其它实施方式的文档图像处理方法，具备：从输入文档图像的像素取出第一文档要素，从对应所述输入文档图像的预印数据的像素取出第二文档要素的步骤；推定所述第一文档要素各色空间的第一代表色和第二文档要素各色空间的第二代表色的步骤；算出在所述色空间上分离各所述第一代表色的第一分离平面和在所述空间上分离各所述第二代表色的第二分离平面的步骤；将分布于通过所述第一分离平面分离的所述色空间的分离区域的所述第一文档要素的各第一像素的色置换为分布于同所述分离区域的所述第一代表色，将分布于通过第二分离平面分离的所述色空间的分离区域的所述第二文档要素的各第二像素的色置换为分布于同所述分离区域的所述第二代表色的步骤；生成置换的各第一像素和置换的各第二像素的差分图像的步骤。

本发明其它实施方式的文档图像处理方法，具备：输入输入文档图像的步骤；从所述输入文档图像的各像素取出文档要素的步骤；推定取出的所述文档要素的色空间的代表色的步骤；算出在所述色空间上分离所述代表色的分离平面的步骤；将分布于通过所述分离平面分离的所述色空间的分离区域的所述文档要素的各像素的色置换为分布于同所述分离区域的所述代表色的步骤；生成将各像素的色置换为所述代表色的所述输入文档图像的各像素和对应已实施了所述代表色的置换的所述输入文档图像的预印数据的各像素的差分图像的步骤。

本发明其它实施方式的存储介质，其存储对输入文档图像进行减色处理的程序。所述程序使计算机实施如下功能，即：从输入文档图像的像素取出第一文档要素，从对应所述输入文档图像的预印数据的像素取出第二文档要素的功能；推定各所述第一文档要素的色空间的第一代表色和各所述第二文档要素的色空间的第二代表色的功能；算出在所述色空间上分离各所述第一代表色的第一分离平面、在所述色空间上分离各所述第二代表色的第二分离平面的功能；将分布于通过所述第一分离平面分离的所述色空间的分离区域的所述第一文档要素的各第一像素的色置换为分布于同所述分离区域的所述第一代表色，将分布于通过第二分离平面分离的所述色空间的分离区域的所述第二文档要素的各第二像素的色置换为分布于同所述分离区域的所述第二代表色的功能；生成置换的各第一像素和置换的各第二像素的差分图像的功能。

本发明其它实施方式的存储介质，其存储减色处理输入文档图像的程序。所述程序使计算机实施以下功能，即：从输入文档图像的各像素取出文档要素的功能；推定取出的所述文档要素的色空间的代表色的功能；算出在所述色空间上分离所述代表色的分离平面的功能；将分布于通过所述分离平面分离的所述色空间的分离区域的所述文档要素的各像素的色置换为分布于同所述分离区域的所述代表色的功能；生成将所述各像素的色置换为所述代表色的所述输入文档图像的各像素和对应已经实施所述代表色的置换的所述输入文档图像的预印数据的各像素的差分图像的功能。

本公开的实施方式通过读以下的详细说明及参照附图可以明白。这些详细的说明及附图用于说明本发明实施方式而提供，并不限定于本发明范围。

附图说明

图1是表示本发明一实施方式的文档图像处理装置的构成的图；

图2是表示图1所示的第一实施方式的CPU的功能构成的图；

图3是表示图2所述的文档图像输入部被输入的输入文档图像的一例的图；

图4是表示根据图2所示的文档识别部2的识别处理的一例的流程图；

图5是表示相对根据图2所示的文档识别部从存储装置取出的图3的输入文档图像的预印数据的一例的图；

图6是表示图2所示的减色处理部的功能构成的图；

图7是表示图6所示的文档要素取出部的处理的一例的流程图；

图8是表示对图3所示的输入文档图像进行二值化处理生成的二进制输入文档图像的一例的图；

图9是表示对图8所示的二进制图像只取出了判别为文字区域的黑像素的结果的一例的图；

图10是表示对图8所示的二进制图像只取出了判别为格线区域的黑像素的结果的一例的图；

图11是表示用于说明图6所示的代表色推定部的处理的概念的频率分布的一例的图；

图12是表示在图11所示的频率分布中，加上了从底色的频率分布到各频率分布的各向量和二值化平面的频率分布的一例的图；

图13是表示用于说明分离平面算出部的处理的频率分布的一例的图；

图14是表示在图13所示的频率分布中，沿代表色间的向量投影了分布的频率分布的一例的图；

图15是表示用于说明求得多个分离平面的状況的频率分布的一例的图；

图16是表示在预印数据中代表色推定部求得的频率分布的图；

图17是表示在预印数据中在代表色推定部求得的频率分布加上二值化平面的一例的图；

图18是表示差分图像生成部的差分图像生成处理的一例的图；

图19是表示根据对图5所示的预印数据和图3所示的输入文档图像进行了差分图像生成处理的结果作成的差分图像的一例的图；

图20是表示本发明第二实施方式的减色处理部的功能构成的图；

图21是表示图20所示的代表色统一部的代表色统一处理的流程图。

具体实施方式

以下，参照附图说明本发明实施方式。

(第一实施方式的说明)

图1是表示本发明一实施方式的文档图像处理装置10的构成的方框图。

文档图像处理装置10由CPU11、CPU总线12、存储装置13、主存储部14、数据输入装置15、输入接口装置16、输出接口装置17、图像输入装置18、图像输出装置19构成。

CPU11、存储装置13、主存储部14、数据输入装置15、输入接口装置16及输出接口装置17经由CPU总线12分别被连接。

存储装置13为CPU11的工作用存储器。存储装置13由例如磁盘装置或半导体存储器等构成。主存储部14具有程序存储区域和暂存区域。在该程序存储区域存储控制该文档图像处理装置10的程序等。另外，暂存区域作为CPU11的临时存储区域使用。主存储部14由例如半导体存储器等构成。本实施方式的文档图像处理程序存储于存储装置13，并在启动文档图像处理装置10时，从存储装置13输入主存储部14。

数据输入装置15由例如键盘或鼠标等构成，输入对应操作员的操作的数据或指令。在输入接口装置16连接有图像输入装置18。图像输入装置18为读取印刷有文字及文字以外的图像(例如格线、图形、相片)的文档的扫描仪装置。输入接口装置16输入通过图像输入装置18读取的文档图像数据。该文档图像数据经由CPU总线12输送至存储装置13，并在此进行存储。

在输出接口装置17连接有图像输出装置19。输出接口装置17将存储于存储装置13的文档图像数据经由CPU总线12接收并向图像输出装置19输出。图像输出装置19为输出来自输出接口装置17的文档图像数据的装置(例如，显示装置、印刷装置、文件装置等)。

CPU11控制文档图像处理装置10的整体。图2是表示图1所示的第一实施方式的CPU11的功能构成的图。CPU11具备文档图像输入部1、文档识别部2、减色处理部3、差分图像生成部4。该文档图像输入部1、文档识别部2、减色处理部3、差分图像生成部4为表示在CPU11执行文档图像处理程序时进行动作的功能的单元。

本实施方式中，参照图3～图19说明将预印数据从图像输入装置18输入且存储装置13将输入的预印数据作为预先记录预印数据(以下，简称为记录预印数据)存储的文档图像处理装置10的动作。另外，记录预印数据和通过文档识别部2取出的识别信息(后述)一同存储于存储装置13。

图2所示的文档图像输入部1作为接收文档图像数据的输入部发挥功能。该文档图像数据为从扫描仪装置读取的彩色图像数据。

图3表示通过图2的文档图像输入部1输入的彩色文档的图像数据即文档图像的一例。图3是表示通过文档图像输入部1输入的预先印字或向印刷的文档进行补记及盖章的输入文档图像301的图。输入文档图像301设置其底色为白色，“申请书”的文字302为红色，粗线框303为蓝色，网点(半色调点)部304为淡蓝色，“姓名”的文字305为蓝色，格线框306为黑色，盖章处的“印”的文字307为黑色，记入文字“TARO YAMADA”308为淡黑色，盖章309为红色。另外，记入文字“TAROYAMADA(山田タロ一)”308设为由铅笔记入。另外，盖章309设为相比其它颜色像素数小。

图2所示的文档识别部2通过比较文档图像输入部1接收到的输入文档图像和存储于存储装置13的记录预印数据来识别相对上述输入文档图像的记录预印数据。图4表示根据文档识别部2的记录预印数据的识别处理顺序。

图4中，文档识别部2取出文档图像输入部1接收到的输入文档图像301的识别信息(步骤S21)。识别信息为作为文档尺寸、预印的格线或文字等文档要素的属性信息、其位置、形状信息等。例如，在图3所示的输入文档图像301中，将输入文档图像301的尺寸、预印的文字即“申请书”302、“姓名”305、同样进行预印的格线的粗线框303、格线框306等作为识别信息进行定义。识别信息的取出具体而言通过二值化处理、连结成分取出处理、特征量测定处理、属性分类处理而进行。另外，通过二值化处理可以求得后述的二值化平面。关于这些处理，在后述的文档要素取出部的处理的说明进行详细叙述。

接下来，文档识别部2比较存储于记录预印数据的识别信息DB30的记录预印数据的识别信息和输入文档图像301的识别信息(步骤S22)。而且，将一致的记录预印数据或最类似的记录预印数据识别为相对输入文档图像301的记录预印数据(步骤S23)。另外，作为该文档识别部2的文档的识别技术，也可以使用特开2002-109469号公报开示的方法。另外，本实施方式中也可以为将记录预印数据的识别信息在预先记录预印数据的识别信息DB30进行记录，或在取出输入文档图像301的识别信息时取出记录预印数据的识别信息的方法。

图5表示相对文档识别部2识别的输入文档图像301的记录预印数据201。记录预印数据201设为例如底色为白色，“申请书”的文字202为红色，粗线框203为蓝色，网点部204为淡蓝色，“姓名”的文字205为蓝色，格线框206为黑色，盖章处的“印”的文字207为黑色。

图2所示的减色处理部3对输入的输入文档图像301和取出的记录预印数据201分别进行减色处理。即，减色处理部3对文档图像取出文字、格线等文档要素。然后，求得这些文档要素的代表色及代表色间的分离平面。然后，以代表色置换由二值化平面和分离平面围成的区域。由此，对文档图像进行特别的减色处理。

图6是表示减色处理部3的功能构成的图。减色处理部3由文档要素取出部101、代表色推定部102、分离平面算出部103、色置换处理部104等构成。在此，对图3所示例的输入文档图像301通过图6～图15具体说明通过减色处理部3的减色处理的顺序。

文档要素取出部101首先取出文档图像的文字、格线等文档要素。图7是表示文档要素取出部101的处理的一例的流程图。文档要素取出部101进行二值化处理、连结成分取出处理、特征量测定处理及属性分类处理。下面，使用图8～图10说明文档要素取出部101对图3所示的输入文档图像301进行上述处理时的处理顺序。

二值化处理

文档要素取出部101作为前处理进行二值化处理(图7的步骤S111)。通常，作为该文档要素的判别，重要的部分为和基底可区别的深浓度的颜色。因此，根据在该文档要素取出部101的二值化处理生成由除去噪声或淡网点(半色调点)区域等的白像素和黑像素构成的二进制图像。二进制图像的生成可以使用例如在将深淡图像进行二值化处理时求得最适阈值的判别分析法等通常已知的技法。

图8是表示对于图3所示的输入文档图像301进行二值化处理而生成的二进制输入文档图像311之一例的图。图8中，二进制输入文档图像311的黑像素312对应图3所示的“申请书”的文字302。二进制输入文档图像311的黑像素313对应粗线框303。二进制输入文档图像311的黑像素315对应“姓名”的文字305。二进制输入文档图像311的黑像素316对应格线框306。二进制输入文档图像311的黑像素317对应盖章处的“印”。二进制输入文档图像311的黑像素318对应记入文字“TARO YAMADA(山田タロ一)”307。二进制输入文档图像311的黑像素319对应盖章308。但是，由于二值化处理，图3所示的网点部304因为色浓度淡，因此成为白像素314。

连结成分取出处理

文档要素取出部101对该通过二值化处理生成的二进制输入文档图像311检测黑像素312～319的连结性。而且，进行将连结的部分作为一块取出的连结成分取出处理(图7的步骤S112)。

特征量测定处理

文档要素取出部101对该取出的各连结成分计量“大小”、“形状”、“黑像素比率”、“黑像素分布”等特征量(图7的步骤S113)。例如，“大小”由连结成分的外接矩形的纵横像素数测定。“形状”计量连结成分的外接矩形为正方形、沿横方向细长的长方形、或沿纵方向细长的长方形等的形状。“黑像素比率”为对连结成分的外接矩形计量黑像素的比率的大小。“黑像素分布”计量在连结成分的外接矩形内的黑像素的分布是有偏离、或者还是相同。

属性分类处理

文档要素取出部101使用该特征量测定处理的计量结果进行各连结成分为何种类的文档要素的属性分类(图7的步骤S114)。例如，“大小”相比文档图像的大小、“形状”接近正方形、“黑像素比率”高的文档要素判别为文字。另外，“大小”比文字大、内部为空白且“黑像素比率”低、在“黑像素分布”只在连结成分的外接矩形附近存在黑像素的文档要判别为格线框。另外，关于作为文字取出的连结成分，也可以只在周围具有相同的连结成分的情况下判别为文字。由此，可以除去在二值化时产生的噪声成分。

图9所示的文字图像321是表示对图8所示的二进制输入文档图像311取出判别为文字区域的黑像素312、315、318的结果的图。文档要素取出部101将“申请书”的文字322、“姓名”的文字325、“印”327、记入文字“TARO YAMADA(山田タロ一)”328、盖章329作为文字图像取出。但是，文字图像321的框为方便地表示文档图像的整体的大小的部分，而不是文档要素取出部101的取出结果。

图10所示的格线图像331是表示对图8所示的二进制输入文档图像311取出判别为格线区域的黑图像313、316的结果的图。文档要素取出部101将粗线框333和格线框336作为格线图像331取出。和文字图像321相同，格线图像331的框为方便地表示文档图像的整体的大小的部分，不是文档要素取出部101的取出结果。文档要素取出部101作为根据上述输入的文档图像的各像素而提取该文档图像的文档要素的取出部发挥功能。

如此，将由文档要素取出部101取出的结果信息向代表色推定部102输出。代表色推定部102利用颜色空间的频率分布推定取出的所谓文字、格线的文档要素的像素的颜色、基底等的像素的颜色。即，代表色推定部102对输入文档图像301、将各像素的色值作为以RGB表现的值而求得三维的频率分布。图11是表示用于说明代表色推定部102的处理的频率分布501的一例的图。即，图11的频率分布501是关于图3所示的输入文档图像301的各像素全部求得频率分布且构绘成的结果。

该频率分布501包含例如白色底色的频率分布(以下，称为“底色的频率分布”)502、蓝色文字或/和格线的频率分布503、淡蓝色网点的频率分布504、黑色文字或/和格线的频率分布505、红色文字的频率分布506、用铅笔记入的浓度稍淡的黑色的记入文字的频率分布507、红色盖章的频率分布508而构成。

若将图11的各频率分布503～508用图3的输入文档图像302～309表示，则底色的频率分布502对应于底色。另外，蓝色文字或/和格线的频率分布503对应于粗线框303、“姓名”的文字305。另外，淡蓝色的网点的频率分布504对应于网点部304。另外，黑色文字或/和格线的频率分布505对应于格线框306、盖章处的“印”的文字307。另外，红色文字的频率分布506对应于“申请书”的文字302。另外，用铅笔记入的浓度稍淡的黑色的记入文字的频率分布507对应于记入文字“TARO YAMADA(山田タロ一)”308。另外，红色的盖章的频率分布508对应于盖章309。

在底色的频率分布502和各频率分布503～508之间中间色的频率分布宽广。频率分布501可以当做包含这些中间色的分布。但是，实际上，也存在具有频率分布501的外侧的RGB值的像素。后面对此进行叙述。各频率分布503～508中心附近频率最高。从而，分别求得从底色的频率分布502向各频率分布503～508的向量，可以将其做为各频率分布的代表色。

另外，各频率分布503～508可以只从作为文档要素取出的区域求得频率分布，该情况下，不产生如频率分布501那样具有展宽的区域。该代表色推定部102作为推定上述取出的文档要素的颜色空间的代表色的推定部发挥功能。

图12是表示相加了从底色的频率分布502向各频率分布503～508的各向量510～515和二值化平面520的频率分布的一例的图。另外，各频率分布501～508和在图11说明的分布相同。各向量510～515分别表示频率分布503～508的代表向量。另外，频率分布501通过二值化平面520分割为平面上部520U和平面下部520D。各代表向量510～515将各频率分布501～508的频率高的RGB值设为始点和终点。另外，二值化平面520在图7的步骤S111中也可以使用由通过文档要素取出部101进行的二值化处理作成的二值化平面。

本实施方式中，考虑通过文档图像的频率分布501算出各代表向量510～515的情况。该情况下，通过调查各频率分布503、505～508的极大值可以算出向各频率分布的代表向量。但是，在如频率分布504那样中间色的情况下，频率分布501向横向展宽，且和频率分布503的距离近。因此，频率分布504承受频率分布503的影响，存在不能正确算出代表向量511的问题。相反，频率分布503的代表向量510的算出也由于频率分布504的影响存在不能正确算出的问题。

另外，红色的盖章的频率分布508因为相比其它频率分布502～507像素数小，所以，也存在由于来自底色的频率分布502的展宽不能正确算出代表向量515的情况。若不能正确算出代表向量515，则在后述的分离平面算出部103不能求得正确的分离平面，结果成为可视性降低的图像。

于是，在本实施方式中，不是从频率分布整体算出文字、格线这样的重要的文档要素的代表向量，而是区别底色和中间色进行决定。因此，本实施方式中，利用在文档要素取出部101的二值化处理的结果、及文档要素取出处理的结果。

图12中，通过二值化平面520将频率分布501分割为平面上部520U和平面下部520D表示RGB的颜色空间的二值化处理。即，该平面上部520U成为基底等浓度小的区域，该平面下部520D成为包含文字、格线的文档要素的浓度高的区域。在存在于该平面上部520U的频率分布中，底色的频率分布502相比淡蓝色的网点的频率分布504频率分布的极大值(RGB值)非常大。因此，可以推定为将底色的频率分布502成为代表向量的基准的底色的代表色。推定的极大值成为底色，且成为其它代表向量的基准点。之后，求得被认为具有下一个极大值的淡蓝色的网点部的频率分布504的极大值，并设为频率分布504的代表色。

下面，对存在于二值化平面520的平面下部520D的各频率分布503、505、506、507、508同样地求得极大值决定代表色。此时，不是根据频率分布501的整体决定代表色，而是根据利用了文档要素的取出结果的频率分布进行决定。即，通过由蓝色文字或/和格线的频率分布503、淡蓝色网点的频率分布504、黑色文字或/和格线的频率分布505、红色文字的频率分布506、用铅笔记入的浓度稍淡的黑色的记入文字的频率分布507、红色的盖章的频率分布508求得，而不受分布的展宽的影响。因此，可以正确地决定代表色。另外，具体的代表向量的算出方法也可以使用在特开平5-61974号公报公开的方法。该方法中，当输入文档图像的RGB数据时，作成浓度直方图检出极大点。而且，可以通过进行向将底色设为基准点的极大点的方向向量数据的变换实现。

这样，将由代表色推定部102推定的各代表色的信息向分离平面算出部103输出。分离平面算出部103寻求用于在色空间分离各代表色间的平面。图13是表示用于说明分离平面算出部103的处理的频率分布的一例。在该图13中，在颜色空间存在频率分布701，并在其中包含频率分布702和频率分布703的双色分布。例如，频率分布702对应于图11的频率分布504，频率分布703对应于图11的频率分布503。

这些频率分布701～703的颜色为构成文字、格线的文档要素的颜色。将这些频率分布702、703的代表色分别设为代表色705、706，将底色的频率分布的代表色设为代表色704。另外，底色的频率分布例如可以假定图11的频率分布502。该例中，频率分布702和703分别为其它颜色，但是，如频率分布701所示没有完全分离。

事实上，这样频率分布之间没有完全分离的很多。该现象可以认为在例如在文字和格线为其它颜色时，或文字和格线接触的情况等产生。这样的状态下，在由后述的色置换处理部104将各像素的颜色置换为代表色时，不判断将其置换为何种颜色。因此，寻求双色的频率分布间的分离平面710。该具有分离平面710的上部的RGB值的像素可以全部向代表色705进行置换。同样，具有分离平面710的下部的RGB值的像素可以全部向代表色706进行置换。分离平面算出部103作为算出将上述推定的代表色在上述色空间上分别进行分离的分离平面710的算出部发挥功能。

下面，说明具体的分离平面710的算出方法。首先，根据通过底色的代表色704和各频率分布702、703的代表色705、706求得的双色的代表向量707、708求双色间的向量709。将该向量709的方向向量设为(a、b、c)。分离平面710若设为和向量709垂直交叉的平面，则分离平面710的法线向量也成为(a、b、c)。从而，分离平面710的式(1)为：

ax十by十cz十d＝O...(1)。

下面，说明系数d的求出方法。图14是表示在图13所示的双色间的分布中沿代表色间的向量投影分布的频率分布的一例的图。图13的向量709对应于投影轴806。另外，图13的代表色705和706若进行投影则分别对应于分布804和805。另外，图13的频率分布701～703分别对应于投影分布801～803。根据该投影分布801～803求分离平面807。作为算出方法，也可以使用和二值化处理同样地通常已知的判别分析法。该结果，算出分离平面807的投影轴806上的坐标值(α、β、γ)。通过将坐标值代入式(1)求系数d，算出图17的色空间的分离平面710。即，系数d为

d＝-(aα+bβ+cγ)。

实际上，分离平面算出部103在各代表色间可以求得。即，在邻接的代表色间算出各分离平面，在每个由其平面包围的区域进行代表色间的分离。例如，在图11的频率分布503、505、506、507、508相互间算出分离平面，在每个由各分离平面包围的区域设定各代表色。

在此，对分离平面定义正(+)侧和负(一)侧，判断某代表色的坐标值为正侧还是为负侧。例如若该代表色为正侧，则将存在于正侧的颜色的坐标值全部求出。对各分离平面进行该处理，由这些分离平面包围的区域成为该代表色的相应区域。此时，由于运算成本削减，算出代表色间的距离，在其距离离开预设的阈值以上的情况下也可以不进行分离平面的算出。

图15是用于说明求多个分离平面911、912、915～919的状況的频率分布的一例的图。该图15为从图11的RGB轴的原点侧、即黑侧观察的图。即，具有蓝色文字或/和格线的频率分布901和其代表色906、黑色文字或/和格线的频率分布902和其代表色907、红色文字的频率分布903和其代表色908、用铅笔记入的浓度稍淡的黑色的记入文字的频率分布904和其代表色909、红色的盖章的频率分布905和其代表色910。

若用图11的文档图像表现图15，则蓝色的频率分布901为频率分布503的区域。另外，黑色的频率分布902为频率分布505的区域。另外，红色的频率分布903为频率分布506的区域。另外，用铅笔记入的浓度稍淡的黑色的记入文字的频率分布904为频率分布507的区域。另外，红色的盖章频率分布905为频率分布508的区域。

在此，若考虑蓝色的频率分布901的分离，则可以通过频率分布901和代表色906、黑色的频率分布902和代表色907求分离平面911。同样，可以通过蓝色的频率分布901和代表色906、红色的频率分布903和代表色908求分离平面912。另外，可以蓝色的频率分布901和用铅笔记入的浓度稍淡的黑色的记入文字的频率分布904、及蓝色的频率分布901和红色的盖章的频率分布905间因为距离分离，所以不进行分离平面的算出。实际上，即使求频率分布901和频率分布904间的分离平面，也因为该分离平面从代表色906观察成为分离平面911和912的外侧。由该分离平面911及912包围的区域913成为蓝色区域A。

另外，可以通过黑色的频率分布902和代表色907、红色的频率分布903和代表色908求分离平面915。另外，可以通过黑色的频率分布902和代表色907、用铅笔记入的浓度稍淡的黑色的记入文字的频率分布904和代表色909求分离平面917。另外，通过黑色的频率分布902和代表色907、红色的频率分布905和代表色910求分离面916。另外，可以通过红色的频率分布903和代表色908、红色的频率分布905和代表色910求分离平面918。另外，可以通过用铅笔记入的浓度稍淡的黑色的记入文字的频率分布904和代表色909、红色的频率分布905和代表色910求分离平面919。

通过黑色的频率分布902的分离，在代表色907和其它3种代表色906、908、909、910的距离为预定阈值以下的情况下，也可以分别求分离平面911、915、916，将各分离平面包围的区域设定为黑色区域B。另外，虽然在图15未进行图示，但是，通过图12的二值化平面520将白色侧分离。

从而，实际上，蓝色区域A成为由求得的分离平面911、912及二值化平面520的3个平面包围的区域。同样地，黑色区域B成为由求得的分离平面911、915、917及二值化平面520的4个平面包围的区域。同样地，红色区域C成为由分离平面912、915、918及二值化平面520的4个平面包围的区域。同样地，用铅笔记入的浓度稍淡的黑色的记入文字的区域D成为由分离平面916、919及二值化平面520的3个平面包围的区域。同样地，红色区域E成为由分离平面918、919及二值化平面520的3个平面包围的区域。

这样，将通过分离平面算出部103算出的分离平面的区域信息A～E向色置换处理部104输出。如通过图15所说明，色置换处理部104将输入的文档图像的各像素区域通过代表色推定部102进行推定并置换为代表色。即，色置换处理部104将各像素的RGB值做为色空间上的点，通过用分离平面算出处理算出的分离平面检测分离为哪种代表色，并置换为检测的代表色。色置换处理部104作为将分布于通过上述算出的各平面分离的上述色空间的分离区域的上述文档要素的各像素区域的颜色置换为同样分布于上述分离区域的上述代表色的置换部发挥功能。

另外，在色置换处理部104进行分离平面的分离时，存在产生如图15的区域914所示的、任何代表色区域都不属于的区域的情况。在该区域914存在像素的情况下，也可以不根据分离平面探求代表色，而通过调查置换结束后的文档图像的周围的像素进行置换。具体而言，在对象像素不属于任何代表色的情况下，也可以调查其对象像素的周围八方向(上下左右、左斜上下、右斜上下的方向)的像素，将最多的代表色设为其像素的代表色。

减色处理部3对图5所示的记录预印数据201也相同地进行减色处理。图16表示代表色推定部102对记录预印数据201求得的频率分布401。另外，图17表示在代表色推定部102对记录预印数据201求得的频率分布加上了二值化平面420的一例。图17中，和图12同样，表示向量410～413，即，用于求各频率分布403～406的代表色的代表向量。

减色处理部3对输入的文档图像的全像素进行上述处理，进行分别的向代表色的置换(减色处理)。

图2所示的差分图像生成部4通过减色处理部3进行减色处理的、记录予印数据和输入文档图像之间的差分运算取出记入文字。差分图像生成部4将取出的记入文字作为差分图像数据输出。然后，通过图18～图19说明根据差分图像生成部4的差分图像的生成处理。

图18是表示根据差分图像生成部4的差分图像的生成处理顺序的一例的流程图。首先，分别对减色处理部3进行了减色处理的记录预印数据和输入文档图像进行文档图像的倾斜量的算出(步骤S41)。然后，将算出的倾斜量补正为零(步骤S42)。

通常，在由扫描仪读入的图像存在在图像产生倾斜的问题。其倾斜量按照将读取对象的文档每次放置于扫描仪而不同。若使用存在倾斜的文档图像算出差分，则在预印的文字、格线等位置产生偏移。其结果，在作成的差分图像产生噪声。从而，为了削减在差分图像产生的噪声，进行算出文档图像的倾斜量并将算出的倾斜量设为零的倾斜补正。

步骤S41的倾斜检测处理通过例如公开于特开平5-174183号公报的方法可以实现。另外，步骤S42的倾斜补正处理使用已知的仿射变换可以实现。

然后，通过将任一方的文档图像固定，将另一方的文档图像的平行移动量算出，从而进行文档图像间的移动量的算出(步骤S43)。即，将任一方的文档图像固定，使另一方的文档图像沿x方向或y方向每次移动一个点，求各文档图像间的像素的像素值的差分和。因为双方的文档图像越处于正确位置，差分和越小，所以，可以将差分和为最小的x、y的组合做为平行移动量。另外，步骤S43的移动量的算出处理也可以在文档图像整体上进行。但是，由于文档的纸自体的伸缩或扫描时的偏移等，存在在文档图像整体不为均一的移动量的情况。该情况下，也可以将文档图像分割为网孔，对每个网孔算出移动量。另外，在纸的伸缩大的情况下，不只是移动量，也可以事先求放大缩小率，放大缩小图像整体。

接下来，计算双方的文档图像间的像素的差分，使用计算结果生成文档图像间的差分图像(步骤S44)。如上所述，因为已经进行了减色处理，所以生成色数少的差分图像。具体而言，根据在步骤S43的移动量的算出处理算出的x、y的移动量移动一方的图像。由此，双方的文档图像的位置正确重合。

步骤S44中，比较双方的文档图像的像素值，在相同的情况下，将对应的位置的差分图像的值设为白。另一方面，在双方的文档图像的像素值不同的情况下，将输入的输入文档图像的像素值设为差分图像的值。由此，可以生成只表示在记录预印数据补记的像素的差分图像。该差分图像保存于存储装置13或主存储部14。

图19是作为对图5所示的记录预印数据201和图3所示的输入文档图像301进行了差分图像的生成处理的结果表示作成的差分图像601的一例的图。即，为在进行了根据减色处理部3的减色处理的记录预印数据201的各代表色的像素和输入文档图像301的各代表色的像素之间，是进行了步骤S44的图像间差分运算处理的结果的差分图像。图19中，差分图像601由在记录预印数据补记的记入文字“TARO YAMADA”608、及盖章609构成。

对这样作成、输出的差分图像通过实施压缩处理等可以进一步削减数据量。其结果，带来存储量或通信量的削减。

另外，本实施方式的文档图像处理装置也可以具备使用记录预印数据201的减色处理后的图像和差分图像602，再构成补记或盖章的输入文档图像301的减色处理后的文档图像的再构筑处理部。具体而言，以在生成差分图像时算出的移动量为基础，使差分图像和记录文档图像的位置重合。其结果，在差分图像具有不是白的像素值的情况下，将记录文档图像的其像素值置换为差分图像的像素值。由此生成再构成图像。

该情况下，因为可以只保存差分图像和记录文档图像就可以，所以，可以大幅削减存储量。另外，本实施例中，比较双方的文档图像的像素值，在相同的情况下，将对应的位置的差分图像的值设为白，但是，也可以配合其背景色，也可以设为零(null)。

(第二实施方式的说明)

使用附图说明本发明第二实施方式。图20是表示本实施方式的减色处理部3的功能构成的图。本实施方式中，减色处理部3还具有代表色统一部105。对于该代表色统一处理部105的代表色统一处理使用图3、图5、图12、图17、图20、图21进行说明。另外，省略说明和第一突施方式相同的动作的说明。

因为图5所示的记录预印数据201为输入文档图像301的预印部分的图像，所以，记录预印数据201的RGB的三维频率分布401和输入文档图像301的RGB的三维频率分布501没有较大改变。即，在图12的频率分布501中，频率分布502～506和图17所示的频率分布402～406大致相同。但是，除去记入文字308引起的淡的黑色的频率分布507和根据盖章309引起的红色的盖章的频率分布508。但是，在由扫描仪读取图3所示的输入文档图像301及图5所示的记录预印数据201时，产生量子化误差或位置偏移等。另外，即使是预印的颜色也产生颜色边纹(偏移)。

同样地，图17的代表向量410～413对应(类似)于图12的代表向量510～513，因为如上述那样在频率分布产生偏移，所以代表向量也不同。该偏移成为作成差分图像时的噪声。代表色统一部105具有削减该噪声的功能。即，在图12所示的输入文档图像301的代表向量510～515中，在存在对应(类似)于图17所示的代表向量411～413的代表向量的情况下(本例中代表向量510～513)，将其置换为图17的代表向量411～413。即，将对应于记录预印数据201的代表色的输入文档图像301的代表色置换为记录预印数据201的代表色。

图21是表示图20所示的代表色统一部105的代表色统一处理顺序的流程图。

首先，计算从图12所示的输入文档图像301的底色的频率分布502向各频率分布503～508的各代表向量510～515、从图17所示的记录预印数据201的底色的频率分布402向各频率分布403～406的各代表向量410～413的距离。该各代表向量间的距离的计算可以使用欧几里得距离计算。基于算出的距离进行代表色是否类似的判定(步骤S51)。即，在记录预印数据201的代表向量和输入文档图像301的代表向量的距离不足预定的阈值的情况下(步骤S52的Yes)，判定为输入文档图像301的代表向量和预印数据201的代表向量对应。另外，对输入文档图像301的一个代表向量也存在多个距离不足阈值的记录预印数据201的代表向量的情况。该情况下，判定为对应距离最近的记录预印数据201的代表向量。而且，将输入文档图像301的代表向量置换为判定为对应的记录预印数据201的代表向量(步骤S53)。即，将输入文档图像301的代表色置换为记录预印数据201的代表色。另一方面，在记录预印数据201的代表向量和输入文档图像301的代表向量的距离在预定阈值以上的情况下(步骤S52的No)，输入文档图像301的代表向量不能置换为预印数据201的代表向量。即，输入文档图像301的代表色和记录预印数据201的代表色的置换不能进行。在不能在输入文档图像301和记录预印数据201的全部的代表向量进行各代表向量间的距离的计算的情况下(步骤S54的No)，返回步骤S51，反复进行步骤S51～步骤S54的处理。在输入文档图像301和记录预印数据201的全部的代表向量进行各代表向量间的距离的计算的情况下(步骤S54的Yes)，结束代表色的统一处理。

对进行了代表色的统一处理的输入文档图像301算出在第一实施方式说明的分离平面，通过进行色置换处理进行减色处理。另外，在求双方的各代表向量距离时，关于成为各向量的基准的底色也可以将输入文档图像的最大值置换为记录预印数据的底色。这是因为通常将成为全部的频率分布的最大值的颜色设为底色。

根据第二实施方式，可以削减在差分图像生成部4生成差分图像时产生的噪声，同时进一步实现颜色数的削减。

另外，本发明实施方式不限于上述的实施方式，在不脱离本发明宗旨的范围内，可以进行设计变更。

例如，本实施方式中，生成记录预印数据和由文档图像输入部101输入的输入文档图像的差分图像，也可以由文档图像输入部101输入记录预印数据和补记于记录预印数据的输入文档图像，使用输入的文档图像数据生成差分图像。另外，在事前记录预印数据时，也可以记录在进行根据减色处理部3的减色处理、根据差分图像生成部4的倾斜检测处理及倾斜补正处理后的文档图像。

由此，可以实现差分图像生成部4在预印数据和输入文档图像之间进行差分图像生成处理时的处理時间缩短。另外，可以做为淡蓝色的网点的频率分布404、504为从二值化平面存在于底色侧的淡浓度的分布，作为文档信息的重要性低，因此，不采用代表向量作为减色后的代表向量。即，也可以是残留颜色。

说明了本发明的几种实施方式，但这些实施方式作为示例进行提示，意思不是限定发明范围。这些新加入的实施方式可以以其它各种方式实施，在不脱离发明宗旨的范围内，可以进行各种省略、置换、变更。这些实施方式或其变形包含于发明范围或宗旨，同时，包含于和记载于专利请求范围的发明均等的范围。