一种基于颜色转换的答题卡图像分割方法

摘要

本发明涉及图像处理技术领域，具体涉及一种基于颜色转换的答题卡图像分割方法，包括提取答题卡图像中每个像素点处的RGB颜色作为样本；首先，采用K‑means聚类算法对样本进行聚类，得到样本的白色、黑色与主颜色特征；基于主颜色特征计算主颜色特征与预设的目标颜色之间的颜色转换矩阵；最后，通过颜色转换矩阵计算得到统一彩色图像，采用U‑Net语义分割网络模型进行训练得到实验结果图。本发明通过颜色转换算法，减少了样本图像的颜色种类，优化了学习模型的参数，提高了小模型的预测结果质量。

说明书

技术领域

本发明涉及一种图像处理技术领域，特别是一种基于颜色转换的答题卡图像分割方法。

背景技术

具有规范格式的答题卡被广泛应用于现代各类考试，以提高计算机自动阅卷的效率。当前，很多阅卷系统扫描或者采集答题卡的图像，并使用数字图像处理算法和深度学习网络完成作答信息的定位、分割和识别。填涂信息的分割和检测是智能图像处理的关键环节之一，为后续的定位、识别与分析提供了重要基础，其结果的质量对后续环节产生较大的影响。

深度学习模型逐步应用于答题卡图像的处理，实现对关键信息的检测、分割和识别，但是答题卡的样式多样、颜色种类较多，低分辨下扫描过程还会引入颜色失真，样本分布不平衡，这些不利因素都会增加深度学习模型的复杂性和出现欠拟合、过拟合的问题。

由于答题卡采用多种版式和多种色彩，标识多种至关重要的信息，因此，答题卡本质上是一类彩色文档图像，图像包含白色底、黑色的标号、彩色的填涂指示符号和表格线，以及灰黑色的填涂块。其中彩色部分主要分为红色、绿色、蓝色等不同色系风格。

在计算机阅卷系统中，受制于存储传输要求的限制，答题卡图像分辨率不高，图像中的字符、填涂框等目标的尺寸约为20×10像素左右。为了更好满足检测、分割和识别，兼顾实时处理等要求，图像处理算法和深度学习网络适宜采用轻量级结构模型，模型参数不宜过多。但是在研究过程中，发现由于训练样本中包含了不同色彩系的答题卡图像，而且存在不同的颜色分布不均匀和失真等问题，导致训练结果在某些色彩的答题卡图像上出现了一些问题。

以选用U-Net网络模型作为分割算法为例，当网络足够深且学习能力强时，得到的语义分割结果很好，但这往往使得模型需要大量的参数，以及更长的训练时间和预测时间。当网络深度不足时，出现欠拟合的问题，导致字符分割的结果出现不完整，质量大大降低，特别是答题卡中由细线构成的表单，其颜色多种多样。

在实际的使用中通常期望训练好的模型能够在更短的时间内得到更好的预测结果，且能够应对更多表单颜色的答题卡图像样本的分割，同时，由于无法保证训练样本覆盖所有的表单颜色，即使训练好的模型的泛化能力也受到了挑战。

发明内容

本发明的目的在于：针对现有技术存在的答题卡图像颜色多样性、训练模型泛化能力不足带来的问题，提供一种基于颜色转换的答题卡图像分割方法，将答题卡图像中的色彩自适应地转换为预设的色彩，简化了深度神经网络模型，同时，颜色转换算法具有自适应的能力，使得训练好的模型具有了更强的泛化能力。

为了实现上述目的，本发明采用的技术方案为：

一种基于颜色转换的答题卡图像分割方法，包括：

S1，对答题卡图像进行聚类，得到主颜色特征；

S2，对答题卡图像的主颜色特征与目标颜色进行计算，得到颜色转换矩阵；

S3，通过颜色转换矩阵对答题卡图像进行转换，得到统一彩色图像；

S4，对统一彩色图像进行网络模型训练。

作为本发明的优选方案，一种基于颜色转换的答题卡图像分割方法，步骤S3中，选取一张预定的答题卡图像，对其进行聚类得到的主颜色特征作为目标颜色。

作为本发明的优选方案，一种基于颜色转换的答题卡图像分割方法，聚类算法可以采用K-means聚类算法。

作为本发明的优选方案，一种基于颜色转换的答题卡图像分割方法，预设K-means聚类算法的簇数K＝3，得到3个聚类中心C

作为本发明的优选方案，一种基于颜色转换的答题卡图像分割方法，采用L2范数计算聚类中心的范数||C

||C

其中，C

作为本发明的优选方案，一种基于颜色转换的答题卡图像分割方法，步骤S3中，结合范数大小关系不等式，颜色转换矩阵为：

其中，P为3×3的线性转换矩阵，等式右边为广义逆矩阵，(R

作为本发明的优选方案，一种基于颜色转换的答题卡图像分割方法，步骤S4中，网络模型采用U-Net语义分割网络模型进行训练。

作为本发明的优选方案，一种基于颜色转换的答题卡图像分割方法，步骤S3中，通过计算颜色转换矩阵P的逆矩阵P

作为本发明的优选方案，一种基于颜色转换的答题卡图像分割方法，包括主颜色特征获取单元、颜色转换单元以及分割单元，其中：

主颜色特征获取单元，被配置为对答题卡图像进行聚类获取主颜色特征；

颜色转换单元，被配置为通过主颜色特征与目标颜色，计算得到颜色转换矩阵，通过颜色转换矩阵对答题卡图像的每个像素的颜色进行转换，得到统一彩色图像；

分割单元，被配置为对统一彩色图像进行分割网络模型训练。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明通过对原图像像素点进行K-means聚类，得到主颜色特征，再结合预设的目标颜色计算得到颜色转换矩阵，通过颜色转换矩阵计算得到统一色彩图像，并使用U-Net模型来验证，结果表明本文提出的算法在对原图像训练时表现出不好的模型上得到了很好的预测结果，并得到良好的彩色表单语义目标，取得更好的评价指标与图像表现，提高了小模型的分割预测结果质量，同时实现了较好的泛化性。

附图说明

图1是本发明方法流程示意图。

图2是本发明的答题卡示例样图。

图3是本发明U-Net语义分割网络模型1结构示意图。

图4是本发明U-Net语义分割网络模型2结构示意图。

图5是本发明答题卡图像原图。

图6是本发明答题卡图像颜色转换后的统一彩色图像。

图7是本发明实验1结果。

图8是本发明实验2结果。

图9是本发明实验3结果。

图10是本发明实验4结果。

图11是本发明答题卡图像原图与转换并复原后的图像对比。

具体实施方式

下面结合附图，对本发明作详细的说明。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

一种基于颜色转换的答题卡图像分割方法的装置，包括主颜色特征获取单元、颜色转换单元以及分割单元，其中：主颜色特征获取单元，被配置为对答题卡图像进行聚类获取主颜色特征；颜色转换单元，被配置为基于主颜色特征与目标颜色计算颜色转换矩阵，通过颜色转换矩阵对答题卡图像进行转换，得到统一彩色图像；分割单元，被配置为对统一彩色图像进行网络模型训练。

如图1所示的方法流程图，一种基于颜色转换的答题卡图像分割方法，首先在RGB颜色空间使用K-means聚类算法对答题卡原图像中所有像素颜色进行聚类，并获取原图像的主颜色特征；其次，再求出主颜色特征与预设的目标颜色之间的颜色转换矩阵；最后，使用颜色转换矩阵逐一计算每个像素的颜色。

具体包括以下步骤：

S1，对答题卡图像进行聚类，得到主颜色特征；

如图2所示的答题卡示例样图，提取答题卡图像中每个像素点处的RGB颜色作为样本，其中，RGB颜色以红、绿、蓝三种基本色为基础，进行不同程度的叠加，产生丰富而广泛的颜色，即俗称三基色模式。

K-means聚类算法是一种迭代算法，在每一轮迭代中计算各个样本到不同聚类中心的距离，并按照最短距离对应的聚类中心将样本分类，最后计算每一簇样本的特征值的均值更新聚类中心，直至满足迭代终止条件。K-means聚类算法简单且高效。

具体的，采用K-means聚类算法完成聚类，首先初始化K个聚类中心，其中，K＝3；其次，经过聚类后得到3个聚类中心C

||C

基于RGB颜色，记该图像的白色C

S2，对答题卡图像的主颜色特征与目标颜色进行计算，得到颜色转换矩阵；

将一个线性转换矩阵应用于图像中的每一个像素点并得到结果图像即为颜色转换算法。具体的，在RGB颜色空间内，颜色转换表达式如公式(2)所示：

y＝Px (1)

其中，x是原图像中像素的颜色量，y是转换后图像的对应颜色量，P是一个3×3的线性转换矩阵。

从答题卡图像中选取一张作为预设图像，采用同样的K-means聚类算法对其进行聚类得到的主颜色特征作为目标颜色，得到预设图像的目标颜色，目标颜色表示为C

由于C

结合范数大小关系不等式(1)，求解公式(4)可得该预定的答题卡图像对应的颜色转换矩阵为：

其中，P为3×3的线性转换矩阵，(R

由于公式(5)中，右侧的矩阵为奇异矩阵，因此在求解逆矩阵时需要求解其广义逆矩阵。在实际使用时，对于同一版式、颜色系的答题卡样本图像，只需要使用其中一幅图求解出颜色转换矩阵P，而处理其他图像时可以共享该转换矩阵，以减少计算量。预设图像从答题卡图像集中选取，通常选用蓝色或者红色的颜色系图像。

另外，利用计算得到的颜色转换矩阵P，也可以将转换后的图像再转换为原答题卡图像，仅需要计算矩阵P的逆矩阵P

对于一个网络模型，从答题卡图像中选取一张作为预设图像，对预设图像进行聚类得到目标颜色C

并且，使用颜色转换算法将答题卡图像的所有图像颜色均转为同色系列的颜色，可以保证答题卡图像的主颜色(R

S3，通过颜色转换矩阵对答题卡图像进行转换，得到统一彩色图像；

使用颜色转换矩阵逐一转换答题卡图像中像素的颜色，得到统一彩色图像。

S4，对统一彩色图像进行网络模型训练；

本实施例可以采用U-Net语义分割网络模型进行训练。

综上所述，为了将所有的样本图像转换为一种色彩风格的图像，需要先提取原图像的主颜色特征，并通过主颜色特征与预设的目标颜色完成转换矩阵的计算，得到统一彩色图像，简化了网络模型，同时颜色转换算法具有自适应能力，提高了网络模型的泛化能力。

实施例2

为了验证本发明提出的颜色转换方法的有效性，选择16幅包含红、绿、蓝等不同颜色的纸质版答题卡图像，采用深度学习的U-Net语义分割网络模型进行训练与验证。

为方便训练，将16幅包含红、绿、蓝等不同颜色的纸质版答题卡图像切割为256×256大小的图像块，共生成4204张图像样本，其中有3965张训练集样本，239张验证集样本。如图3所示，网络模型1是3层深度的U-Net模型。如图4所示，网络模型2是4层深度的U-Net模型。

如图5所示答题卡图像原图；如图6所示，答题卡图像通过颜色转换算法后获得统一彩色图像，预设的目标颜色的非归一化主颜色为C

实验1使用网络模型1对答题卡图像原图进行训练与测试，分割的实验结果如图7所示；实验2使用网络模型1对颜色转换后的统一彩色图像进行训练与测试，分割的实验结果如图8所示；实验3使用网络模型2对答题卡图像原图进行训练与测试，分割的实验结果如图9所示；实验4使用网络模型2与颜色转换后的统一彩色图像进行训练与测试，分割的实验结果如图10所示。

对于实验结果，使用网络模型参数量、背景语义标签IoU(Intersection overUnion,交并比)、关键信息语义标签IoU、表单信息语义标签IoU与平均交并比mIoU这5个评价指标衡量其性能，实验结果评价指标如表1所示。

表1对比实验结果

从对比实验结果表1中可以得到，进行颜色转换后的统一彩色图像训练的网络模型的结果，包括背景语义标签IoU、关键信息语义标签IoU、表单信息语义标签IoU与平均交并比mIoU这4个评价指标，优于使用答题卡原图像训练的网络模型结果。进一步的，相对于4层深度的U-Net模型，在3层深度的网络模型1中训练得到的结果得到了更为明显的提升，表单信息语义标签IoU提升了4.3，平均交并比mIoU提升了2.7。

从实验结果图7～10中可以得到，对于网络模型1与网络模型2，使用颜色转换后得到的统一彩色图像进行训练的网络模型的结果，明显优于使用答题卡原图像进行训练的网络模型得到的结果。具体的，从实际的图像结果图表现上来说，相比于使用答题卡原图像训练得到的实验结果在表单信息语义标签上有较多的漏检，使用统一彩色图像训练得到的实验结果在彩色文字的语义分割上表现更好。

进一步的，为了验证颜色转换算法本身是可逆的，使用颜色转换矩阵的逆矩阵P

本文提出的颜色转换算法通过K-means聚类算法找到原图像中的主颜色特征，并结合预设的目标颜色信息，计算得到颜色转换矩阵，将输入网络模型的原图像都转换为使用同一种色彩的图像，简化了模型需要学习的内容，提高了小模型的预测结果质量。同时，由于提出的颜色转换算法具有自适应性，使用颜色转换后的统一彩色图像训练得到的网络模型，可以应对更多的训练集中没有覆盖到的其他色彩的表单，具有较好的泛化性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。