一种带印章的表格协议书图像自动审核方法

摘要

本发明公开了一种带印章的表格协议书图像自动审核方法，包括以下步骤：S1：判定原始图像是否含有印章且位置正确，如满足继续进行文字识别；S2：根据预先设置的文本检测算法SegLink确定文本框位置，然后使用预先设置的文字识别算法CRNN识别文本内容；S3：对能够检测到关键字的图像再根据文本框的角度进行微调，至表格横向框线处于水平位置，然后识别表格所有单元格内容，判断是否完备；S4：对于不满足以上任意一个条件的图像判为内容不完备，并不通过审核；S5：比对识别出的单元格内容和预设值是否相同，若相同，通过卷积神经网络识别，作极坐标变换，再比对其预设内容是否一致，若一致，则判断为通过审核，本发明解决现有的人工审核低效、费时的问题。

说明书

技术领域

本发明涉及文字识别和图像识别技术领域，具体涉及一种带印章的表格协议书图像自动审核方法。

背景技术

在企业征信信息授权的过程中，协议书是十分重要的且具备法律效力的契约性文书，在现有的征信体系下，在国有综合征信平台上进行企业注册需要按照模板填写并提交加盖公司印章的协议书，由相关部门负责人核实企业名称、企业法人、联系电话、公司印章等信息，同一省份不同地级市下属的企业数量庞大，因此协议书审核的工作量相应变大，继续使用人工方式会出现效率低下且审核时间过长等问题，结合文字识别和印章识别技术，直接根据图像完成协议书内容审核，极大程度缩短了时间开销以及减少了人力成本。

发明内容

为解决上述问题，本发明公开了一种带印章的表格协议书图像自动审核方法，所述方法包括以下步骤：

S1：根据预设的印章颜色、形状和位置判定原始图像是否含有印章且位置正确，如满足条件则，继续对协议书进行文字识别；

S2：根据预先设置的文本检测算法SegLink确定文本框位置，然后使用预先设置的文字识别算法CRNN识别文本内容，根据文本内容是否包含协议书中数据项的标题输出结果，对于未识别到关键字的结果，考虑到图像采集方式不同造成识别结果不理想，本方法采用多次重复识别确保识别效果最佳，根据文本内容是否包含定义的内容关键字，如果其不包含预定义的内容关键字，可能是因为图像位置不正，则对图像进行不超过三次的90度旋转，直到能够识别到关键字；

S3：对能够检测到关键字的图像再根据文本框的角度进行微调，至表格横向框线处于水平位置，然后识别表格所有单元格内容，根据预设规则识别表格必填项的名称和内容，判断是否完备；

S4：对于不满足以上任意一个条件的图像判为内容不完备，并不通过审核；

S5：对内容完备的表格进行正确性检查，包括比对识别出的单元格内容和预设值是否相同，若相同，则通过yolov3卷积神经网络识别并截取印章，作极坐标变换，再通过预设的文字识别模型获取印章内容，比对其预设内容是否一致，若一致，则判断为通过审核。

作为本发明的一种改进，所述S1中首先对整张图像进行颜色检测，筛选出不含印章的图像，对于满足情况的图像，对图像截半后进行二次颜色检测，判断印章是否在指定区域，然后根据红色或蓝色对应的印章类型最终确定进入下一步审核的图像。

作为本发明的一种改进，所述S1中颜色检测将图由RGB模型改为HSV模型，其中H表示色调，S表示饱度，V表示亮度，相比于常用的RGB，HSV模型更符合人描述和解释颜色的方式，根据红色和蓝色的取值范围，确定图像中是否包含红色和蓝色的区域。

作为本发明的一种改进，所述红色取值范围为H(156-180)、S(43-255)、V(46-255)，蓝色的取值范围为H(0-10)、S(43-255)、V(46-255)，像素点阈值为100。

作为本发明的一种改进，所述S1中所述协议书印章颜色为红色或蓝色，包括圆形红色的公司印章以及方形蓝色的法人印章，另外根据协议书模板，重要信息包括基本信息以及印章集中在上半部分，下半部分为协议条款，不属于需要检测的范围，所以截取图像上半部分，根据预设的印章颜色、形状和位置判定原始图像是否含有印章且位置正确。

作为本发明的一种改进，协议书图像采集方式为拍照或扫描录入，在进行最终文字识别之前根据检测算法SegLink输出的文本框角度，利用旋转算法进行对图像进行调整。

作为本发明的一种改进，超过100个像素点则表示图像中包含有红色或蓝色的区域。

本发明的有益效果是：本发明提供的带印章的表格协议书图像的自动审核方法，结合文字识别和印章识别技术，实现表格内容完备性检测(是否包含印章，表格内容是否填写完整)，识别表格文字内容以及印章文字内容，然后根据规则完成协议书审核，在短时间内审核十万级的图像，解决现有的人工审核低效、费时的实际问题。

附图说明

图1为本发明所述的审核方法流程图。

图2为运用yolov3卷积神经网络识别网络结构示意图。

图3为运用文字识别网络结构示意图。

图4为协议书模板图像示例图。

图5为文字识别神经网络的输出数据的示意图。

图6为印章识别神经网络的训练流程示意图。

图7为印章识别神经网络的输出数据示意图。

图8为极坐标变换后圆形印章示意图。

具体实施方式

下面结合附图1-8和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

实施例：如图1所示，所述方法包括以下步骤：

S1：根据预设的印章颜色、形状和位置判定原始图像是否含有印章且位置正确，如满足条件则，继续对协议书进行文字识别；

S2：根据预先设置的文本检测算法SegLink确定文本框位置，然后使用预先设置的文字识别算法CRNN识别文本内容，根据文本内容是否包含定义的内容关键字，如果其不包含预定义的内容关键字，则对图像进行不超过三次的90度旋转，直到能够识别到关键字；

S3：对能够检测到关键字的图像再根据文本框的角度进行微调，至表格横向框线处于水平位置，然后识别表格所有单元格内容，根据预设规则识别表格必填项的名称和内容，判断是否完备；

S4：对于不满足以上任意一个条件的图像判为内容不完备，并不通过审核；

S5：对内容完备的表格进行正确性检查，包括比对识别出的单元格内容和预设值是否相同，若相同，则通过yolov3卷积神经网络识别并截取印章，作极坐标变换，再通过预设的文字识别模型获取印章内容，比对其预设内容是否一致，若一致，则判断为通过审核。

如图4所示，示例性的示出了原始图像(协议书模板图像)的一个具体实例，其中包括的信息有：协议书标题、授权企业名称、统一社会信用代码、法定代表人姓名、法定代表人联系电话、企业印章签章处、日期等企业信息，根据现有的技术完全可以替代人工审核方式，应用本方法实现自动审核。其中，公司印章形状规定为红色或蓝色圆形，根据协议书模板，重要信息包括基本信息以及印章集中在上半部分，下半部分为协议条款，不属于需要检测的范围，所以截取图像上半部分，然后根据预设的印章颜色、形状和位置判定原始图像是否含有印章且位置正确。

由于协议书图片为人工拍摄上传，必然存在文本框多方向性的问题，所以采用一种可以检测任意角度文本的检测算法SegLink，将原来的四个参数(x,y,w,h),参数x,y,w,h分别指中心点横坐标、中心点纵坐标、矩形宽度、矩形高度，指定一个目标的位置替换为五个参数(x,y,w,h,θ)，这个θ表示文本框的旋转角度，具体网络结构如图2所示，以VGG16作为骨干网络，将其中的全连接层(fc6,fc7)替换成卷积层(conv6,conv7)，后面再加上4个卷积层(conv8,conv9,conv10,conv11)，目的是提取更深的特征，然后将conv4_3，conv7，conv8_2，conv9_2，conv10_2，conv11这6个层的feature map(特征图)拿出来做卷积得到segment(切片)和link(链接)，为了做多尺度下的目标检测，即大的feature map擅长做小物体的检测，而小的feature map则擅长检测大物体，conv4到conv11的尺寸依次减少1/2，在segment(切片)检测上，每个feature map(特征图)经过卷积后输出的通道数为7，其中两个表示segment是否为文字的置信度值为(0,1)，剩下的五个为segment相对于对应位置的defaultbox的五个偏移量，在link检测中，主要存在两种情况，一种是层内链接检测、另一种是跨层链接检测，其中，层内链接检测表示在同一featuremap中，每一个segment与其相临的8领域内的segment链接情况，而跨层链接用于检测同一文本的segment在不同层被重复检测造成冗余的问题，当所有segment都被检测出来后，通过融合规则，得到最终的文本行。

为了保证识别的准确性，将检测出的文本框根据其角度θ进行调整，然后输出预先设定的文字识别网络进行识别，网络结构如图3所示，网络结构包含三部分，从下到上依次为：卷积层，使用CNN，作用是从输入图像中提取特征序列，循环层，使用RNN，作用是预测从卷积层获取的特征序列的标签(真实值)分布,转录层，使用CTC，作用是把从循环层获取的标签分布通过去重整合等操作转换成最终的识别结果,以上述方法检测出的文本图像为例，输入100*32归一化高度的词条图像，基于7层CNN提取特征图，把特征图按列切分(Map-to-Sequence)，每一列的512维特征，输入到两层各256单元的双向LSTM进行分类，在训练过程中，通过CTC损失函数的指导，实现字符位置与类标的近似软对齐，最后输出结果，图5所示为文字识别输出数据的示意图。

具体地，本公开通过特定的深度卷积神经网络模型，能够对圆形印章的外切正方形进行识别。其中，训练图像为多个包含圆形印章的协议书图像，通过人工标注的方式，对每一个样本中圆形印章的位置形如(x，y，w，h)，标签(label)等以xml文件的形式保存，本方法采用的模型为yolov3，训练流程图如图6所示，上半部分所示过程是使用卷积神经网络对图片提取特征，随着网络不断向前传播，使用步幅大于1的卷积或者池化，使得特征图的尺寸越来越小，每个像素点会代表更加抽象的特征模式，直到输出特征图，其尺寸减小为原图的1/32，下半部分描述了生成候选区域的过程，首先将原图划分成多个小方块，每个小方块的大小是32×32，然后以每个小方块为中心分别生成一系列锚框，整张图片都会被锚框覆盖到，在每个锚框的基础上产生一个与之对应的预测框，根据锚框和预测框与图片上物体真实框之间的位置关系，即是相交面积的大小，对这些预测框进行标注。最后，将特征图和预测标签建立关联，创建损失函数，开启端到端的训练过程，图7所示为印章识别输出数据示意图。

具体地，利用yolov3印章识别，获取印章中心点的位置坐标(x,y)和半径r，然后将直角坐标系转化为极坐标系，文字转正，文字转正之后二值化图片，分别进行水平和垂直方向的投影，根据投影后黑色像素和白色像素的统计情况，设定阈值判断字符的位置，根据位置坐标，画出矩形框，然后使用预先设定的文字识别模型进行文字识别。

所述S1中首先对整张图像进行颜色检测，筛选出不含印章的图像，对于满足情况的图像，对图像截半后进行二次颜色检测，判断印章是否在指定区域，然后根据红色或蓝色对应的印章类型最终确定进入下一步审核的图像，所述S1中颜色检测将图由RGB模型改为HSV模型，其中H表示色调，S表示饱度，V表示亮度，根据红色和蓝色的取值范围，确定图像中是否包含红色和蓝色的区域，所述红色取值范围为H(156-180)、S(43-255)、V(46-255)，蓝色的取值范围为H(0-10)、S(43-255)、V(46-255)，像素点阈值为100，超过100个像素点则表示图像中包含有红色或蓝色的区域，所述S1中所述协议书印章颜色为红色或蓝色，包括圆形红色的公司印章以及方形蓝色的法人印章，协议书图像采集方式为拍照或扫描录入，在进行最终文字识别之前根据检测算法SegLink输出的文本框角度，利用旋转算法对图像进行调整。

最后应说明的是：以上所述的实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换，而这些修改或替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。