一种基于笔划特征的自然场景文本检测算法

摘要

本发明公开了一种基于笔划特征的自然场景文本检测算法，它包括：图像预处理、笔划宽度特征提取、候选文本字符的生成、候选文本字符的过滤、文本行生成和文本行过滤等多个步骤。本发明通过对获取图像的预处理，提取和突出图像的边缘特征，采用基于笔划宽度和颜色的双重约束，得到像素的笔划宽度值，通过区域生长算法得到候选文本字符，最后采用两层分类的方式分别过滤掉非文本字符和非文本区域而得到最终的文本区域。

说明书

技术领域

本发明涉及基于图像内容的检索领域，特别是涉及一种基于笔划特征的自然场景文本检 测算法。

背景技术

传统的OCR技术经过多年的研究进展，可以高质量、准确地识别印刷文档，已达到实用 要求，很多公司推出了这方面的商业软件。然而传统的OCR技术只能识别分辨率高，背景简 单，布局不太复杂的扫描图像。而在现实环境中则是存在大量的文本图像很难符合这样的要 求，比如车牌，路标，广告牌、视频图像等自然场景中的文本。这些场景中的文本信息很丰 富，例如新闻视频文本中的字幕，包含了事件发生的时间、地点和人物等关键信息。准确地 识别出这些文本，对于信息检索，网页检索，身份识别和电子导游设备有重要的意义，但是 由于自然场景中字符大小，字体颜色变化大，背景复杂，畸形等特点使得文本识别远远没有 达到人们的期望，如果通过计算机自动地获取，是一件极具挑战和实际意义的工作。

自然场景文本检测是是图像内容的信息提取技术的关键一环，文本检测和定位的好坏对 最终的识别结果有着极其重要的影响，国内外广大研究人员做了大量的研究工作，提出了很 多的文本检测方法。但由于自然场景复杂性特点，试图设计一套通用的自然场景文本检测系 统仍然是十分困难的。如何从复杂的自然场景中快速准确地定位出文本区域及如何尽可能降 低遗漏率，这就是目前自然场景文本检测在图像领域的一个研究热点和难点。

目前的自然场景文本检测技术主要分为两类，基于区域的和基于纹理的。基于区域的方 法主要自下而上的聚合和自上而下的剪枝两部分组成，自下而上的聚合采用过程完成初始候 选文本字符的确定，文本行的生成等，自上而下的剪枝则是在字符水平和文本行水平对非文 本字符和非文本区域进行过滤。而基于纹理的方法则是把文本区域视为一种特殊的纹理，采 用滑动窗的方法，通过采用Gabor滤波，直方图统计等方法，观察响应，从而确定滑动窗所 在的区域是否是文本区域，后期通过分裂和合并算法得到最终的文本区域。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于笔划特征的自然场景文本检测算 法，能够从任意的自然场景图像中检测出文本区域的位置，克服了传统文本检测算法对自然 场景图像中文字的字体、大小、颜色等特征敏感的不足，并且提高了算法的计算速度，在保 证准确度的同时，相比于基于纹理的检测方法，大大降低了计算量，为在便携式智能设备上 应用提供了条件。

本发明的目的是通过以下技术方案来实现的：一种基于笔划特征的自然场景文本检测算 法，它包括以下多个步骤：

S1：图像预处理

进入输入图像处理，获取自然场景图像，通过图像预处理模块对自然场景图像进行预处 理，提取和突出图像的边缘特征。

S2：笔划宽度特征提取

通过笔划宽度特征提取模块提出笔画宽度特征，利用步骤S1中的边缘检测结果和颜色一 致化信息进行笔划特征提取，过滤掉背景区域，得到每个边缘像素点的笔划宽度值。

S3：候选文本字符的生成和过滤

通过字符水平过滤模块完成候选文本字符的生成和候选文本字符的过滤处理，采用基于 笔划宽度和颜色的区域生长算法得到候选文本字符；字符水平过滤模块中包括笔划滤波器， 通过笔划滤波器完成候选文本字符的过滤处理，采用笔划滤波响应和MSER区域限制滤除由 笔划宽度像素聚合成的非文本候选文本字符。

S4：文本行生成和文本行过滤

通过文本行生成模块完成文本行的生成，对所有的候选文本字符按照一定的聚对规则进 行聚对处理，得到字符对，然后再将字符对按照一定的合并规则进行合并处理，生成文本行； 通过文本行过滤模块完成文本行过滤处理，在字符水平层次和文本行水平层次进行两层分类， 分别对字符水平和文本行水平进行过滤，剔除非文本字符和非文本区域而得到最终的文本区 域。

步骤S2所述笔划宽度特征提取的具体过程为：

S201：在图像边缘上选择一个起始像素点p，其梯度方向为d_P，从p点开始沿着梯度方 向作射线r直到寻找到另一个边缘终止像素点q，q点的梯度方向为d_q，若d_P和d_q方向大致 相反，即满足公式：则此次射线寻找有效。

所述的射线r的计算公式为：r＝p+n·dp(n＞0)，其中，n为射线r的步长。

S202：否则，此次射线寻找无效，重新规划起始像素点p的寻找方向为然后沿着射线r的方向重新开始查找，知道寻找到另一个边缘终止像素点q′，若此时dp′和dq′ 满足公式：则此次射线寻找结果有效。

S203：否则，重新选择新的边缘起始像素点，继续S201～S202的寻找过程。

S204：在射线查找有效的情况下，计算笔划宽度值s_w，其计算过程如下：计算起始点p 和终止点q之间的线段长度遍历射线上p和q之间的所有点，若该点没有被赋 予笔划宽度值，则赋予笔划宽度值s_w，若该点已经被赋予过笔划宽度值，则比较其笔划宽度 值s_w和线段长度w的大小，取其较小者作为该起始点p的笔划宽度值s_w。

S205：重复S201～S204过程，计算出所有候选文本像素的笔划宽度值s_w。

所述的步骤S2还包括笔划宽度修正子步骤：

S206：笔划宽度值的修正

在笔划宽度值不能准确地表征其笔划属性时，应对其进行修正，包括以下一种或多种情 况；

①拐角处笔划像素修正：重新遍历所有有效的射线，计算其像素笔划宽度中值，重新设 置该射线上笔划宽度超过中值的为笔划宽度中值；

②孤立笔划点的消除：统计笔划点周围5×5范围内计算有效笔划点的个数，消除孤立笔 划点；

③局部极大笔划点抑制：对笔划点周围超出平均值3倍的极大笔划点进行抑制，消除字 符间的干扰笔划线。

步骤S3中所述的区域生长算法为：

用4维向量{s_w,I_r,I_g,I_b}表征笔划宽度特征图上的像素点，其中，s_w表示该像素点的归 一化的笔划宽度值，I_r、I_g、I_b分别表征该像素点的归一化的R、G、B通道的颜色值，利用 区域生长算法得到候选文本区域，其相似性计算公式为：

$S_{\mathrm{pq}}=\sqrt{0.6|s_{\mathrm{wp}}-s_{\mathrm{wq}}|+0.3|I_{\mathrm{rp}}-I_{\mathrm{rq}}|+0.2|I_{\mathrm{gp}}-I_{\mathrm{gq}}|+0.1|I_{\mathrm{bp}}-I_{\mathrm{bq}}|}$

式中，S_pq为像素点p和像素点的相似度，s_wp为起始像素点的笔划宽度值，s_wq为终止像素点 的笔划宽度值，I_rp、I_gp、I_bp分别为起始像素点的归一化的R、G、B通道的颜色值，I_rq、I_gq、I_bq分别为终止像素点的归一化的R、G、B通道的颜色值。

其区域生长的终止条件是S_pq≥0.5。

步骤S3中所述的候选文本字符的过滤的过程为：对候选文本字符的坐标进行归一化处 理，构造描述文本字符向量的特征向量，利用随机森林算法对候选文本字符进行分类，得出 每个候选文本字符的置信阈值T_c，并利用该置信阈值T_c对候选文本字符进行过滤。

该阶段包括基于启发式规则的过滤和基于机器学习方法的过滤。

基于启发式规则的过滤过程：剔除不满足以下条件的候选字符。

①对候选文本字符的尺寸限制：尺寸限制包括其外接矩形的宽度和高度的比值，其有效 范围为[0.1,1]。

②对候选文本字符的笔划宽度一致性限制：笔划宽度一致性定义为候选字符笔划宽度方

差和笔划宽度均值的比，其有效范围为[0.1,1]。

③对候选文本字符的占空比限制：占空比定义为候选字符文本像素区域面积与外接矩形

框面积的比值，其有效范围为[0.1,1]。

基于机器学习方法的过滤用来提取候选文本字符的以下特征：

①候选文本字符的轮廓特征：其定义为字符轮廓的方向梯度直方图响应。

②候选文本字符的尺寸特征：其定义为其外接矩形的宽度和高度的和。

③候选文本字符的字符占空比特征：其定义为候选字符文本像素区域面积与外接矩形框 面积的比值。

④候选文本字符的笔划宽度一致性特征：其定义为候选字符笔划宽度方差和笔划宽度均 值的比。

⑤候选文本字符的宽高比特征：其定义为外接矩形的宽度和高度的比值。

⑥候选文本字符的笔划滤波响应特征：通过笔划滤波器对强笔划响应区和弱笔划响应区 进行过滤，取笔划滤波器中间瓣的宽度值为s_w′，其中s_w′为候选文本字符的笔划宽度值s_w的 平均值。

⑦候选文本字符的MSER响应特征：MSER响应定义，其中q(c)为候选字符前景像素 区域面积，m(c)为候选字符前景像素对应区域是MSER区域的区域面积。

MSER区域限制用于解决因边缘模糊和低对比度造成的笔划宽度检测失败而导致候选文 本字符的提取失败的问题。

所述的笔划滤波器的对像素点p(x,y)的滤波响应定义为：

$R^B(x,y)=\underset{(a,d)}{\max }{R}_{a,d}^B(x,y);$

$R_{a,d}^B(x,y)=\frac{2u_1-u_2-u_3-|u_2-u_3|}{\sigma };$

式中，R^B(x,y)为像素点p(x,y)的笔划滤波响应值；

为在方向为a、笔划滤波器中间瓣的宽度值为d时笔划滤波器的响应；

α为笔划滤波器与x轴正向的夹角值；

d为笔划滤波器中间瓣1的宽度值；

x为像素点p(x,y)的横坐标值；

y为像素点p(x,y)的纵坐标值；

B代表该笔划滤波器求的是灰度图像的亮度值；

μ₁表示笔划滤波器中间瓣的面积；

μ₂表示笔划滤波器左瓣的面积；

μ₃表示笔划滤波器右瓣的面积；

σ表示笔划滤波器中间瓣的方差。

步骤S3所述的候选文本字符的生成和候选文本字符的过滤处理过程之间还包括候选文 本字符修正过程：通过形态学闭操作，消除候选文本字符内部的细小孔洞。

步骤S4所述的文本行生成处理过程为：

S411：对所有的候选文本字符按照一定的聚对规则进行聚对处理，得到字符对；

所述的聚对规则为：每两个候选文本字符满足下述条件，则该两个字符聚成字符对；

①该两个候选文本字符的笔划宽度中值大于0.5或者小于2，所述的笔划宽度中值为该两 个候选文本字符的笔划宽度值的平均值；

②该两个候选文本字符的字符高度值大于0.5或者小于2；

③该两个候选文本字符的字符间距小于3倍字符笔划宽度值s_w。

S412：对于不能聚对的单独候选文本字符，则重新评估其笔划滤波响应值和MSER响应 值。

S413：若满足滤波响应值大于0.4或MSER响应值大于0.8，则把其当成单独的字符对。

S414：将字符对按照一定的合并规则进行合并处理，生成文本行。

步骤S4所述的文本行过滤处理过程为：提取文本行的文本行特征，根据文本行特征构造 描述文本行的特征向量，利用随机森林算法对文本行进行分类，得出文本行的置信阈值T_l， 并利用该置信阈值T_l对文本行进行分类。分类模式中将文本行的置信度值与文本行置信阈值 T_l相比，置信度值大于置信阈值T_l的是文本行，反之，则不是。

所述的文本行特征包括：

①文本行中的字符个数；

②归一化的平均字符水平间距；

③归一化的平均字符中心连线的余弦值；

④文本行中所有字符平均置信值；

⑤文本行字符笔划宽度一致性：文本行内所有文本字符笔划宽度均值的方差；

⑥文本行字符尺寸一致性：文本行内所有文本字符尺寸的方差。

本发明的有益效果是：

1)本发明提出了一种基于笔划特征的自然场景文本检测算法，该算法对文本的字体、大 小、颜色变化等具有很强的鲁棒性，大大提高了文本检测的召回率。通过提取像素水平的笔 划宽度特征很好地过滤掉了绝大部分的背景区域，而采用的笔划滤波响应和MSER区域限制 则有效地滤除由笔划宽度像素聚合成的非文本候选文本字符，最后通过随机森林方法的进行 字符水平和文本行水平两层过滤，提高了文本检测的准确率，更增强了本发明算法的适应性。

2)本发明改进笔划宽度特征更能表征文本的属性。

3)通过笔划颜色在笔划宽度计算的限制性约束，可以避免在部分边缘缺失的情况下对笔 划宽度计算带来的错误。

4)MSER区域和笔划滤波响应约束的限制可以在笔划宽度检测失败的情况下对可能是文 本的区域进行修补，提高文本检测的召回率，因为加入了笔划滤波响应约束的限制，同时还 可以对笔划特征不明显的极值区域进行过滤。

附图说明

图1为本发明自然场景文本检测算法的流程图；

图2为本发明自然场景文本检测算法的处理过程示意图；

图3为本发明笔划特征示意图；

图4为本发明笔划特征修正示意图之一；

图5为本发明笔划特征修正示意图之二；

图6为本发明笔划滤波器的设计原理图；

图中，1-笔划滤波器中间瓣，2-笔划滤波器左瓣，3-笔划滤波器右瓣。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所 述。

由于自然场景图像中的文本广泛存在着以下多种情况：

1)文本畸变；

2)文本字符尺寸变化大；

3)文本字符排列和对齐方式随意；

4)背景图像复杂；

5)背景噪声干扰和低对比度。

笔划特征相对于文字的其它特征如纹理、角点、颜色、连通域、直方图、边缘等更能表 征文本的属性，更接近于文本的固有特征，而笔划特征是文本本身固有的特征，利用此特征 可以在以上几种情况下更好地将文本区域和非文本区域进行区分，因此，本发明提出一种基 于笔划宽度的自然场景文本检测算法。

本发明所提出的算法建立在文本具有连续一致性笔划宽度特征的基础上，同时利用了文 本笔划方向特性，提取出笔划特征，包括笔划的宽度、颜色和方向特性等，在像素水平上很 好地对文本像素和背景像素进行了区分，在连通域分析的基础上，本发明利用机器学习算法， 通过两层过滤方式，分别在字符水平和文本行水平进行过滤，有效地剔除了非文本字符和非 文本区域。

如图1所示，本发明所提出的一种基于笔划特征的自然场景文本检测算法包括：图像预 处理、笔划宽度特征提取、候选文本字符的生成、候选文本字符的过滤、文本行生成和文本 行过滤等多个步骤。

本发明通过对获取图像的预处理，提取和突出图像的边缘特征，采用基于笔划宽度和颜 色的双重约束，得到像素的笔划宽度值，通过区域生长算法得到候选文本字符，最后采用两 层分类的方式分别过滤掉非文本字符和非文本区域而得到最终的文本区域。

如图2所示，图2为基于笔划特征的自然场景文本检测算法的处理过程示意图。首先获 取自然场景图像，以亮色文本在暗色背景上的情况为例，首先对自然场景图像进行笔划特征 提取，利用中值和高斯滤波过滤掉图像中的噪声，根据Niblack分割算法对其进行分割处理， 再通过形态学原理对其进行修补，得到笔划特征图，通过基于启发式和具有MSER区域限制 的笔划滤波器聚合生成候选文本字符，再通过聚合和裁剪得到文本字符，然后将文本字符聚 合成文本行，通过聚合和裁剪处理分割出文本区域和非文本区域，从而得到文本定位的结果， 对于暗色文本在亮色背景上图像的处理，在计算笔划特征的时候取梯度的负方向进行笔划查 找，其它相应的处理流程不变，融合两种情况下的定位结果，得到最终的文本定位结果。

(一)图像预处理

进入输入图像处理，从ICDAR数据集中获取自然场景图像，通过图像预处理模块对自然 场景图像进行预处理，包括过滤噪声点处理、图像平滑处理、增强输入图像的对比度、边缘 检测处理、边缘增强处理、计算图像的水平梯度和计算图像的竖直梯度，提取和突出图像的 边缘特征。

这部分利用快速中值滤波算法和金字塔分解算法过滤掉图像中的噪声点，然后利用高斯 滤波进行图像平滑处理，通过直方图均衡化处理增强输入图像的对比度，根据Niblack分割 算法对其进行分割处理，再采用Canny算法对其进行边缘检测，边缘增强，最后再根据Sobel 算法求出该自然场景图像的水平梯度值和竖直梯度值。

(二)笔划宽度特征提取

通过笔划宽度特征提取模块提出笔画宽度特征，利用步骤S1中的边缘检测结果和颜色一 致化信息进行笔划特征提取，过滤掉背景区域，得到每个边缘像素点的笔划宽度值。

(1)笔划宽度特征提取

如图3所示，图3为笔划特征示意图。本发明中所述笔划宽度特征提取的具体过程为：

S201：在图像边缘上选择一个起始像素点p，其梯度方向为d_P，从p点开始沿着梯度方 向作射线r直到寻找到另一个边缘终止像素点q，q点的梯度方向为d_q，若d_P和d_q方向大致 相反，即满足公式：则此次射线寻找有效。

所述的射线r的计算公式为：r＝p+n·dp(n＞0)，其中，n为射线r的步长。

S202：否则，此次射线寻找无效，重新规划起始像素点p的寻找方向为然后沿着射线r的方向重新开始查找，知道寻找到另一个边缘终止像素点q′，若此时dp′和dq′ 满足公式：则此次射线寻找结果有效。

S203：否则，重新选择新的边缘起始像素点，继续S201～S202的寻找过程。

S204：在射线查找有效的情况下，计算笔划宽度值s_w，其计算过程如下：计算起始点p 和终止点q之间的线段长度遍历射线上p和q之间的所有点，若该点没有被赋 予笔划宽度值，则赋予笔划宽度值s_w。

如图4所示，若该像素点已经被赋予过笔划宽度值，则比较其笔划宽度值s_w和线段长度 w的大小，取其较小者作为该起始点p的笔划宽度值s_w。

图4中，该像素点既处于横向的笔划线中，同时也处于竖直的笔划线中，但横向的笔划 线即图4中的虚线才能表示真正的笔划宽度值，由于无法事先确定究竟是先被赋予横向笔划 宽度值还是纵向的笔划宽度值，因此需在此进行校正处理，取其较小者作为该像素点的笔划 宽度值s_w。

S205：重复S201～S204过程，计算出所有候选文本像素的笔划宽度值s_w。

(2)笔划宽度值的修正

笔划宽度特征提取过程还包括笔划宽度修正子步骤：

S206：笔划宽度值的修正

在笔划宽度值不能准确地表征其笔划属性时，应对其进行修正，包括以下一种或多种情 况；

①拐角处笔划像素修正：如图5所示，该像素点真实的笔划宽度值应该是图5中虚线段 的长度，但在笔划宽度特征提取步骤中由于搜索方向的限制，其被赋予的是经过该点的垂直 或者竖直笔划线的宽度，因此需要在这一步进行校正处理；重新遍历所有有效的射线，计算 其像素笔划宽度中值，重新设置该射线上笔划宽度超过中值的为笔划宽度中值；

②孤立笔划点的消除：统计笔划点周围5×5范围内计算有效笔划点的个数，消除孤立笔 划点；

③局部极大笔划点抑制：对笔划点周围超出平均值3倍的极大笔划点进行抑制，消除字 符间的干扰笔划线。

(三)候选文本字符的生成和过滤

通过字符水平过滤模块完成候选文本字符的生成和候选文本字符的过滤处理，采用基于 笔划宽度和颜色的区域生长算法得到候选文本字符；字符水平过滤模块中包括笔划滤波器， 采用笔划滤波响应和MSER区域限制滤除由笔划宽度像素聚合成的非文本候选文本字符。

(1)区域生长算法

所述的区域生长算法为：用4维向量{s_w,I_r,I_g,I_b}表征经过平滑滤波处理后的输入图像 上的一个像素点，其中，s_w表示该像素点的归一化的笔划宽度值，I_r、I_g、I_b分别表征该像 素点的归一化的R、G、B通道的颜色值，利用区域生长算法得到候选文本区域，其相似性 计算公式为：

$S_{\mathrm{pq}}=\sqrt{0.6|s_{\mathrm{wp}}-s_{\mathrm{wq}}|+0.3|I_{\mathrm{rp}}-I_{\mathrm{rq}}|+0.2|I_{\mathrm{gp}}-I_{\mathrm{gq}}|+0.1|I_{\mathrm{bp}}-I_{\mathrm{bq}}|}$

式中，S_pq为像素点p和像素点q的相似度，s_wp为起始像素点的笔划宽度值，s_wq为终止像素 点的笔划宽度值，I_rp、I_gp、I_bp分别为起始像素点的归一化的R、G、B通道的颜色值， I_rq、I_gq、I_bq分别为终止像素点的归一化的R、G、B通道的颜色值。

其区域生长的终止条件是S_pq≥0.5。

(2)候选文本字符修正

所述的候选文本字符的生成和候选文本字符的过滤处理过程之间还包括候选文本字符修 正过程：通过形态学闭操作，消除候选文本字符内部的细小孔洞。

(3)候选文本字符的过滤

所述的候选文本字符的过滤的过程为：对候选文本字符的坐标进行归一化处理，构造描 述文本字符向量的特征向量，利用随机森林算法对候选文本字符进行分类，得出每个候选文 本字符的置信阈值T_c，并利用该置信阈值T_c对候选文本字符进行过滤。

该阶段包括基于启发式规则的过滤和基于机器学习方法的过滤。

基于启发式规则的过滤过程为：剔除不满足以下条件的候选字符。

①对候选文本字符的尺寸限制：尺寸限制包括其外接矩形的宽度和高度的比值，其有效 范围为[0.1,1]。

②对候选文本字符的笔划宽度一致性限制：笔划宽度一致性定义为候选字符笔划宽度方 差和笔划宽度均值的比，其有效范围为[0.1,1]。

③对候选文本字符的占空比限制：占空比定义为候选字符文本像素区域面积与外接矩形 框面积的比值，其有效范围为[0.1,1]。

基于机器学习算法的过滤用来提取候选字符的以下特征：

①候选文本字符的轮廓特征：其定义为字符轮廓的方向梯度直方图响应。

②候选文本字符的尺寸特征：其定义为其外接矩形的宽度和高度的和。

③候选文本字符的字符占空比特征：其定义为候选字符文本像素区域面积与外接矩形框 面积的比值。

④候选文本字符的笔划宽度一致性特征：其定义为候选字符笔划宽度方差和笔划宽度均 值的比。

⑤候选文本字符的宽高比特征：其定义为外接矩形的宽度和高度的比值。

⑥候选文本字符的笔划滤波响应特征：通过笔划滤波器对强笔划响应区和弱笔划响应区 进行过滤，取笔划滤波器中间瓣1的宽度值d为s_w′，其中s_w′为候选文本字符的笔划宽度值s_w的平均值；

如何进行笔划滤波响应限制：利用设计的笔划滤波器对候选字符进行滤波，然后进行二 值化，计算强滤波响应区域(前景区域)面积与字符外接矩形框的面积比，以这个比值作为 候选字符的笔划滤波响应，剔除响应值小于0.1的候选字符。

笔划宽度值s_w′的作用和意义：笔划宽度值s_w′是笔划滤波器设计的关键，其过大或过小 都会破坏笔划滤波器在笔划处的响应，这里取笔划宽度值s_w的平均值可以保证在笔划出取得 较大响应，而在非笔划处响应较小。

⑦对候选文本字符的MSER区域限制：MSER响应定义，其中q(c)为候选字符前景像素 区域面积，m(c)为候选字符前景像素对应区域是MSER区域的区域面积。

MSER区域限制用于解决因边缘模糊和低对比度造成的笔划宽度检测失败而导致候选文 本字符的提取失败的问题；

如图6所示，图6为笔划滤波器的设计原理图，笔划滤波响应基于字符是由一些线段、 笔划等基本结构组成，这些结构具有宽度一致性，而且方向相对固定，主要集中在0，pi/4， pi/2,3pi/4四个方向上，而非文本字符往往不具有这些特性。该笔划滤波器对条状物体具有 很强的响应，而对非条状物体进行抑制，因此使得字符区域的响应更强，利于后面的进一步 处理。其中d为滤波器中间瓣1的宽度值，也是笔划滤波器的宽度值，d1，d2为笔划滤波器 左瓣2和笔划滤波器右瓣3的宽度值，w为笔划滤波器的长度。

所述的笔划滤波器的对像素点p(x,y)的滤波响应定义为：

$R^B(x,y)=\underset{(a,d)}{\max }{R}_{a,d}^B(x,y)$

式中，R^B(x,y)为像素点p(x,y)的笔划滤波响应值；

为在方向为a、笔划滤波器中间瓣1的宽度值为d时笔划滤波器的响应；

α为笔划滤波器与x轴正向的夹角值，

d为笔划滤波器中间瓣1的宽度值，d∈[3,5,7]，w＝2d；

x为像素点p(x,y)的横坐标值；

y为像素点p(x,y)的纵坐标值；

B代表该笔划滤波器求的是灰度图像的亮度值；

μ₁表示笔划滤波器中间瓣1的面积；

μ₂表示笔划滤波器左瓣2的面积；

μ₃表示笔划滤波器右瓣2的面积；

σ表示笔划滤波器中间瓣1的方差。

笔划滤波器的设计基于笔划特征的以下三个特性：

a.笔划区域在颜色和亮度上基本保持一致；

b.笔划区和非笔划区在颜色和亮度上差异很大；

c.非笔划区在一定范围内变换很小。

(四)文本行生成和文本行过滤

通过文本行过滤模块完成文本行生成和文本行过滤处理，利用提取的字符水平和文本行 水平的特征，在字符水平和文本行水平两个层次上分别用训练好的分类器进行分类，对字符 水平和文本行水平进行过滤，剔除非文本字符和非文本区域而得到最终的文本区域。

(1)文本行的生成

所述的文本行生成处理过程为：

S411：对所有的候选文本字符按照一定的聚对规则进行聚对处理，得到字符对。

所述的聚对规则为：每两个候选文本字符满足下述条件，则该两个字符聚成字符对。

①笔划宽度中值大于0.5或者小于2，所述的笔划宽度中值为该两个候选文本字符的笔划 宽度值的平均值；

②该两个候选文本字符的字符高度值大于0.5或者小于2；

③该两个候选文本字符的字符间距小于3倍字符笔划宽度值s_w。

S412：对于不能聚对的单独候选文本字符，则重新评估其笔划滤波响应值和MSER响应 值。

S413：若满足滤波响应值大于0.4或MSER响应值大于0.8，则把其当成单独的字符对。

S414：将字符对按照一定的合并规则进行合并处理，生成文本行。

首先，将文本字符合并字符对其合并规则如下：

①具有相似的字符尺寸：考虑到文本字符的大小写混合的情况，这里要求组成字符对的 两个字符的外接矩形框的高度比例小于2；

②具有相似的字符笔划宽度：要求组成文本对的两个字符的平均像素笔划宽度值的比例 小于2；

③具有相似的颜色：要求组成文本对的两个字符在RGB颜色值的上下误差为20；

④在空间上相邻：字符中心间的距离不超过两个连通域中较大高度值的3倍。

然后，对文本对进行合并处理形成文本行，并基于以下的准则进行合并文本对：

①至少共享一个终端，共享一个终端指文本对C₁和文本对C₂至少有一个字符是重合的。

②具有相似的方向和尺寸。

文本对的方向相似性计算公式如下：

$S_o(C_1,C_2)=\left(\begin{array}{cc}1-\frac{\gamma (C_1,C_2)}{\pi /2}& \mathrm{if\gamma }(C_1,C_2)\le \pi /6\\ 0& \mathrm{otherwise}\end{array}\right)$

式中，S₀(C₁,C₂)γ(C₁，C₂)为文本对C₁，C₂的方向夹角。

(2)文本行的过滤

步骤S4所述的文本行过滤处理过程为：提取文本行的文本行特征，根据文本行特征构造 描述文本行的特征向量，利用随机森林算法对文本行进行分类，得出文本行的置信阈值T_l， 并利用该置信阈值T_l对文本行进行分类，分类模式中将文本行的置信度值与文本行置信阈值 T_l相比，置信度值大于置信阈值T_l的是文本行，反之，则不是。

这里采用的是机器学习的方法，原理就是文本行和非文本在下述的几种文本行特征上具 有差异行，通过提取文本行特征向量，通过随机森林的分类方法训练分类模式，然后利用这 个分类模式对待分类候选文本行进行分类。

所述的文本行特征包括：

①文本行中的字符个数。

②归一化的平均字符水平间距。

③归一化的平均字符中心连线的余弦值。

④文本行中所有字符的平均字符置信值。

⑤文本行字符笔划宽度一致性：文本行内所有文本字符笔划宽度均值的方差。

⑥文本行字符尺寸一致性：文本行内所有文本字符尺寸的方差。