一种图片文字分割的方法

摘要

本发明提供了一种图片文字分割的方法，用于把图片文字检测的结果由文字区域图片转换成可以被OCR软件识别的二值图片，包括以下步骤：(一)对文字区域图片进行颜色分量选择；在所选择的颜色分量上，文字最为清晰；(二)在步骤(一)选取的颜色分量上，对文字区域图片进行二值化；(三)对步骤(二)得到的二值图片进行去噪。本发明能自适应地选取有利于二值化的颜色分量，从而取得更好的二值化效果；同时利用基于颜色的聚类方法去除噪声，能够得到更为清晰，噪声较少的二值文字图片，从而得到更好的图片文字识别结果。

说明书

技术领域

本发明属于图像处理和检索技术领域，具体涉及一种图片文字分割的方法。

背景技术

随着互联网技术和多媒体技术的快速发展，互联网上的图片内容呈现爆炸性增长趋势，如何在这海量的图片内容中快速检索到想要的图片，成为了一个急需解决的关键问题。现有的方法主要基于图片对应网页中的文字描述信息，而没有深入到图片内容的分析中去。这种方法存在以下缺点：(1)如何在网页中找到能够准确描述图片内容的文字信息本身就是一件很困难的事情；(2)大量的图片没有对应的网页信息。另一方面，大量的图片含有文字信息，这些文字信息一般能准确描述图片的内容，如果能识别这些文字，用这些文字信息对图片进行索引和检索，必将大大推动互联网图片搜索技术的发展。因此，图片文字检测和识别技术具有十分重要的研究和应用价值。

要对图片中的文字进行识别，先得把图片中的文字从背景中分割出来，转换成可供OCR软件识别的二值图片。图片文字分割方法主要包括两个部分：二值化和去噪。现有方法主要采用了基于阈值的二值化方法，这种方法选择在彩色图片的固定颜色分量上进行二值化操作，但并不合理，因为对于某些颜色的文字图片来说，其它的颜色分量更适合于二值化，如果能够自适应地选择对二值化较好的颜色分量，将会有利于二值图片的生成；另外，现有的噪声去除方法主要利用了连通分量的几何特征和灰度值特征，然而，当噪声的这些特征和文字笔画都相似的时候，这种方法就失效了。另一方面，图片中含有丰富的彩色信息，文字笔画和噪声的颜色一般具有差异，通过对连通分量颜色特征的分析，可以有效地去除噪声。

2005年在IEEE Transactions on Circuits and Systems for VideoTechnology上发表的文献“A comprehensive method for multilingualvideo text detection，localization，and extraction”(作者是Michael R.Lyu，Jiqiang Song，Min Cai，页码是243-254)，提出了一种图片文字分割的方法。

该文献首先利用边缘检测算子求得视频图像的边缘图，然后用分析边缘投影图的波峰和波谷的方法来找到可能的文字区域。基于文字区域检测的结果，在固定的颜色分量上对文字区域图片进行二值化，并且利用连通分量的几何特征去除噪声。该方法对于背景复杂、文字对比度较弱的文字区域，分割得到的二值图片效果较差，含有较多噪声，因此适应面并不广，文字分割的效果还需要提高。

发明内容

针对现有技术的不足，本发明提出了一种图片文字分割的方法，用于把图片文字检测的结果由文字区域图片转换为可以供OCR软件识别的二值图片。该方法充分利用了图片中的彩色信息进行二值化和噪声去除，相比现有方法，可以获得更为清晰，噪声更少的二值文字图片，从而有利于用OCR软件进行识别。

为达到以上目的，本发明的技术方案如下：

一种图片文字分割的方法，用于把图片文字检测的结果由文字区域图片转换成可以被OCR软件识别的二值图片，包括以下步骤：

(1)对文字区域图片进行颜色分量选择；在所选择的颜色分量上，文字最为清晰；

(2)在步骤(1)选取的颜色分量上，对文字区域图片进行二值化，得到二值图片；

(3)对步骤(2)得到的二值图片进行去噪。

进一步，上述的一种图片文字分割的方法，所述步骤(1)与步骤(2)之间增加如下步骤：对图片中文字灰度值的深浅进行判断，如果是浅色的文字，则反转文字区域图片的灰度值，否则灰度值不变。这样保证了在进行二值化之前，图片中的文字总是深色的，灰度值较小，有利于对图片进行统一的处理。判断文字灰度值深浅的方法为：用Otsu方法把文字区域图片二值化，然后找出白色和黑色的4连通分量，去除外接矩形宽高都极小的连通分量，最后统计出白色连通分量个数Com_white和黑色连通分量个数Com_black，如果Com_white＞Com_black，则判断文字是浅色的，反之是深色的。

进一步，上述的一种图片文字分割的方法，所述步骤(1)中对文字区域图片进行颜色分量选择的具体方法是：如公式一所示，分别求得文字区域图片在YUV各个颜色分量上的对比度C_Y、C_U和C_V，C_α为它们中的最大值，α∈{Y，U，V}，则选择在YUV颜色空间中的α分量上进行二值化。C_Y、C_U和C_V的值由公式二求得，分别为边缘强度图E_Y，E_U和E_V的中央部分的边缘强度累加值，C_Y、C_U和C_V代表了文字区域图片在YUV各个颜色分量上的对比度；E_Y、E_U和E_V是文字区域图片分别在YUV各个颜色分量上的边缘强度图，w和h分别为文字区域图片的宽和高。

公式一：C_α＝max(C_Y，C_U，C_V)，α∈{Y，U，V}

公式二：

$C_Y=\underset{h/3\≤y\≤h\×2/3}{\underset{w/3\≤x\≤w\×2/3}{\mathrm{\Σ}}}{E}_Y(i,j),C_U=\underset{h/3\≤y\≤h\×2/3}{\underset{w/3\≤x\≤w\×2/3}{\mathrm{\Σ}}}{E}_U(i,j),C_V=\underset{h/3\≤y\≤h\×2/3}{\underset{w/3\≤x\≤w\×2/3}{\mathrm{\Σ}}}{E}_V(i,j)$

当然，关于颜色分量的选择，还可以有其他的方法。譬如，2005年发表在International Conference on Document Analysis andRecognition上的文献“Segmentation and Recognition of Charactersin Scene Images Using Selective Binarization in Color Space andGAT Correlation”(作者是Minoru Yokobayashi和Toru Wakahara)中公开了一种使得所选择的颜色分量上文字最为清晰的直方图方法，这种方法首先求得图片在各个颜色分量上的直方图，然后比较各个直方图中灰度值的分布情况，选择在直方图中灰度值分布最广的颜色分量上进行二值化。

进一步，上述的一种图片文字分割的方法，所述步骤(2)中，文字区域图片被二值化成前景和背景，前景用黑色表示，背景用白色表示，前景中包含了文字的笔画和噪声。二值化的具体方法为：对于图片中的每一个像素x，求得一个局部阈值T_r(x)，如果这个像素的灰度值小于T_r(x)的话，这个像素被二值化成前景，否则是背景。对于每个像素x，我们用下面的方法计算局部阈值T_r(x)：如公式三所示，T_r(x)的值从一个以像素x为中心，大小为r(x)的窗口W_r中统计得到，μ_r(x)是W_r中像素的平均灰度值，σ_r(x)是W_r中像素灰度值的标准方差，k₁是一个常数。窗口大小r(x)由公式四计算得到，公式四中，Y_σ是一个常数，r(x)为像素灰度值的标准方差大于T_σ的最小窗口的大小。

公式三：T_r(x)＝μ_r(x)+k₁×σ_r(x)

公式四：r(x)＝min(r，σ_r(x)＞T_σ)

进一步，上述的一种图片文字分割的方法，所述步骤(3)中处理的对象是步骤(2)中得到的二值图片。二值图片中的黑色像素表示前景，白色像素表示背景，黑色像素组成的连通分量包括了文字的笔画和噪声。在本步骤中对二值图片进行处理，采用连通分量分析方法，灰度一致性分析方法和基于颜色的聚类方法中的一种或多种，去除二值图片中被认定为噪声的连通分量。

进一步，上述的一种图片文字分割的方法，所述步骤(3)中用连通分量分析来去除噪声的方法具体为，把满足下列条件之一的连通分量当作噪声去除掉：

(1)同文字区域的边界相连；

(2)连通分量所占的像素数目小于一个文字笔画所占的最少像素数目；

(3)连通分量的宽高比大于文字笔画的最大宽高比，或者小于文字笔画的最小宽高比。

进一步，上述的一种图片文字分割的方法，所述步骤(3)中用灰度一致性分析来去除噪声的方法具体为：对于二值图片连通分量中的像素，首先恢复它在步骤(1)中所选择的颜色分量上相应位置的灰度值，然后计算所有连通分量中像素灰度值的方差st和均值m，并检查每个连通分量P，如果连通分量P中满足公式五的像素数目大于这个连通分量中所有像素数目的一定比例，那么P被当作是噪声而除去。

公式五：$\frac{|o_p-m|}{\mathrm{st}}>k_2$

公式五中，k₂是一个常数，o_p是连通分量P中像素的灰度值。

进一步，上述的一种图片文字分割的方法，所述步骤(3)中用基于颜色的聚类来去除噪声的方法为：首先将连通分量中的像素恢复其在原图中的颜色，得到彩色的连通分量集合C；然后用基于颜色的聚类方法把连通分量集合C分为两类，一类是文字的笔画，另一类是噪声，从而去除噪声。

本发明的效果在于：与现有方法相比，本发明能够取得更高的图片文字识别率，从而充分发挥图片文字信息在互联网图像检索中的巨大作用。

本发明之所以具有上述发明效果，其原因在于：现有的方法主要选择在彩色图片的固定颜色分量上进行二值化，但这并不合理，因为对于某些颜色的文字图片来说，其它的颜色分量更适合于二值化，而本发明能自适应地选取有利于二值化的颜色分量，从而取得更好的二值化效果。另外，对于现有方法不易去除的，具有与文字笔画相似几何特征和灰度值特征的噪声，本发明充分利用了噪声与文字笔画的颜色差异，进一步采用基于颜色的聚类方法有效的去除了这些噪声。因此，本发明能够得到更为清晰，噪声较少的二值文字图片，从而得到更好的图片文字识别结果。

附图说明

图1是本发明的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细的描述。

本实施方式中，首先通过一种图片文字检测的方法对图片中的文字区域进行检测，然后采用本发明的图片文字分割方法把文字区域图片转换为二值文字图片。包括以下步骤：

1、图片文字检测，包括：

(1)合并原图在多个颜色分量上的边缘图，得到累积边缘图。

累积边缘图由在图片的YUV各个分量上用改进的Sobel边缘检测算子检测到的多个边缘图合并得到。合并的方法如公式一所示，E是累积边缘图，E_Y、E_U和E_V分别是在图片的YUV各个分量上用改进的Sobel边缘检测算子检测到的边缘图，E(x，y)是累积边缘图中坐标为(x，y)的点的边缘强度值，它等于E_Y、E_U和E_V中相应位置像素点的边缘强度值累加和与255中较小的一个。

公式一：E(x，y)＝min(E_Y(x，y)+E_U(x，y)+E_V(x，y)，255)

在上述过程中，在图片的YUV分量上用改进的Sobel边缘检测算子检测到的边缘图，具体方法如公式二所示，E_α是在图片的α分量上用改进的Sobel边缘检测算子检测到的边缘图，α∈{Y，U，V}，S_H、S_V、S_LD和S_RD分别表示水平、垂直、左对角线和右对角线这四个方向上的Sobel边缘强度值，max表示计算最大值，E_α(x，y)是在α分量上，坐标为(x，y)的点的边缘强度值，它的值等于这一点在α分量上水平、垂直、左对角线和右对角线四个方向的最大Sobel边缘强度值。

公式二：E_α(x，y)＝max(|S_H|，|S_V|，|S_LD|，|S_RD|)α∈{Y，U，V}

(2)对于累积边缘图中强度值大于阈值T(0＜T＜255)的边缘点，把这些边缘点置为它们在原图中的相应颜色，得到彩色的累积边缘图；然后，根据边缘点颜色的不同，用聚类的方法把彩色累积边缘图分解成若干个子边缘图，每张子边缘图中只含颜色相近的边缘点。在本具体实施例中，阈值T取为50，每张累积边缘图被分解成了3张子边缘图。

(3)在每张子边缘图中，多次进行水平和垂直投影，根据投影图进行垂直方向和水平方向的区域分割，从而定位图片中的文字区域，具体方法如下。

需要一个待处理区域集合S，刚开始时，集合S中只有步骤(2)中得到的子边缘图区域，在处理的过程中，每次在S中取一个区域A₀进行处理，直到集合S为空为止。

对区域A₀处理的方法是：首先对区域A₀进行水平方向的投影，统计每行边缘像素的数目，然后根据A₀的水平投影进行垂直方向的分割。如果A₀在垂直方向是不可分割的，就把它作为一个整体进行垂直方向的投影和水平方向的分割；如果A₀在垂直方向可以分割，则对A₀在垂直方向进行分割，并把所有从A₀中分割出来的区域A₁，A₂...A_n进行垂直方向的投影和水平方向的分割。如果区域A_i根据其垂直投影图不能再进行水平方向的分割，就把它放入结果集合R中，否则把从A_i分割出来的区域放入集合S中等待处理。

在上述过程中，区域分割的具体方法为：对于一个待分割的区域，垂直分割的方法是从下往上扫描边缘点的水平投影图做分割；水平分割的方法是从左往右扫描边缘点的垂直投影图做分割。上述水平和垂直分割在扫描的过程中，把强度相近的行归为一组，并随时更新这个组所有行的边缘像素数目平均值。如果当前扫描行的边缘像素数目和当前组的平均值差别很大，就进行分割，然后继续扫描下一行。只有扫描行的强度值大于一个阈值时，才开始一个新的组。当扫描到最后一行时，对这个区域的分割就完成了。

(4)在步骤(3)中定位到的文字区域中包括了错误判断的文字区域，利用基于SVM(support vector machine)分类器的方法过滤掉这些误判的文字区域，具体方法分为训练和判断两个过程：训练过程是预先进行的，在训练过程中，选取了大量的文字区域正负样本，输入SVM分类器进行训练；在判断过程中，把步骤(3)中检测到的文字区域输入SVM分类器进行判断，文字区域分为为正确的文字区域和误判的文字区域，误判的文字区域被过滤掉。

2、采用本发明的图片文字分割方法，把文字区域图片转换为二值文字图片。如图1所示是本发明的流程示意图。包括：

(1)对文字区域图片进行颜色分量选择，在所选择的颜色分量上，文字最为清晰。

如公式一所示，分别求得文字区域图片在YUV各个颜色分量上的对比度C_Y、C_U和C_V，C_α为它们中的最大值，α∈{Y，U，V}，则选择在YUV颜色空间中的α分量上进行二值化。C_Y、C_U和C_V的值由公式二求得，分别为边缘强度图E_Y，E_U和E_V的中央部分的边缘强度累加值，代表了文字区域图片在YUV各个颜色分量上的对比度；E_Y、E_U和E_V是文字区域图片分别在YUV各个颜色分量上的边缘强度图，w和h分别为文字区域图片的宽和高。

公式一：C_α＝max(C_Y，C_U，C_V)，α∈{Y，U，V}

公式二：

$C_Y=\underset{h/3\≤y\≤h\×2/3}{\underset{w/3\≤x\≤w\×2/3}{\mathrm{\Σ}}}{E}_Y(i,j),C_U=\underset{h/3\≤y\≤h\×2/3}{\underset{w/3\≤x\≤w\×2/3}{\mathrm{\Σ}}}{E}_U(i,j),C_V=\underset{h/3\≤y\≤h\×2/3}{\underset{w/3\≤x\≤w\×2/3}{\mathrm{\Σ}}}{E}_V(i,j)$

(2)对图片中文字灰度值的深浅进行判断，如果是浅色的文字，则反转文字区域图片的灰度值，否则灰度值不变。这样保证了在进行二值化之前，图片中的文字总是深色的，灰度值较小，有利于对图片进行统一的处理。判断文字灰度值深浅的方法为：用Otsu方法把文字区域图片二值化，然后找出白色和黑色的4连通分量，去除外接矩形宽高都极小的连通分量，最后统计出白色连通分量个数Com_white和黑色连通分量个数Com_black，如果Com_white＞Com_black，则判断文字是浅色的，反之是深色的。

(3)在(1)中选择的颜色分量上，把文字区域图片二值化为前景和背景，前景用黑色表示，背景用白色表示。

对于图片中的每一个像素x，求得一个局部阈值T_r(x)，如果这个像素的灰度值小于T_r(x)的话，这个像素被二值化成前景，否则是背景。对于每个像素x，我们用下面的方法计算局部阈值T_r(x)：如公式三所示，T_r(x)的值从一个以像素x为中心，大小为r(x)的窗口W_r中统计得到，μ_r(x)是W_r中像素的平均灰度值，σ_r(x)是W_r中像素灰度值的标准方差，k₁是一个常数。窗口大小r(x)由公式四计算得到，公式四中，T_σ是一个常数，r(x)为像素灰度值的标准方差大于T_σ的最小窗口的大小。在本实施例中，k₁的值取为-0.2，T_σ的值取为文字区域图片中所有像素灰度值的标准方差。

公式三：T_r(x)＝μ_r(x)+k₁×σ_r(x)

公式四：r(x)＝min(r，σ_r(x)＞T_σ)

(4)对步骤(3)中得到的二值图片进行去噪。

去噪的具体方法主要包括三个部分：连通分量分析、灰度一致性分析和基于颜色的聚类。

a.用连通分量分析去除噪声，把满足下列条件之一的连通分量当作噪声去除掉：

(1)同文字区域的边界相连；

(2)连通分量所占的像素数目小于一个文字笔画所占的最少像素数目；

(3)连通分量的宽高比大于文字笔画的最大宽高比，或者小于文字笔画的最小宽高比。

b.用灰度一致性分析来去除噪声：对于二值图片连通分量中的像素，首先恢复它在步骤(1)中所选择的颜色分量上相应位置的灰度值，然后计算所有连通分量中像素灰度值的方差st和均值m，并检查每个连通分量P，如果连通分量P中满足公式五的像素数目大于这个连通分量中所有像素数目的一定比例，那么P被当作是噪声而除去。

公式五：$\frac{|o_p-m|}{\mathrm{st}}>k_2$

公式五中，k₂是一个常数，o_p是连通分量P中像素的灰度值。本具体实施例中，k₂取为2，当P中满足公式五的像素数目多于总像素数目的2/3的时候，P被认为是一个噪声而除去。

c.用基于颜色聚类的方法去除噪声：首先将连通分量中的像素恢复其在原图中的颜色，得到彩色的连通分量集合C；然后用基于颜色的聚类方法把连通分量集合C分为两类，一类是文字的笔画，另一类是噪声，从而去除噪声。在本实施例中，对于C中的每个连通分量P，我们首先计算P中所有像素的平均颜色值c(P)，然后用基于连通分量平均颜色值的k-means聚类方法把C分为两类：所占像素较多的一类被认为是文字笔画而保留；所占像素较少的一类被认为是噪声而除去。

最后把处理后的文字区域二值化图片输入给OCR软件进行识别，以得到图片文字识别结果。

下面的实验结果表明，与现有方法相比，本发明可以取得更高的文字识别查全率和查准率，从而充分发挥图片文字信息在图像检索中的巨大作用。

本实施例中建立的数据库包含了1000张含有文字的Web图片，这些图片是从互联网上随机抓取下来的，大多含有复杂的背景，以及大小、颜色、分辨率和对比度均不相同的文字，能够反映互联网上文字图片的真实情况，有助于证明本发明方法对各种情况的适应性以及最终结果的有效性。经过人工统计，这1000张图片中含有1621个文字区域，1621个文字区域中包含了10594个文字。

在本实施例中，上述1621个人工标注的文字区域被送给图片文字分割模块进行处理，得到二值图片，然后用同一个OCR软件对二值图片进行识别得到文字识别结果。这样，由OCR软件的识别结果可以对图片文字分割的方法作出评价。为了证明本发明在图片文字分割方面的有效性，我们测试了以下3种方法作为实验对比：

I.本具体实施例；

II.本具体实施例，但不包括用基于颜色的聚类方法进行去噪；

III.现有方法：2005年在IEEE Transactions on Circuits andSystems for Video Technology上发表的文献“A comprehensive methodfor multilingual video text detection，localization，andextraction”(作者是Michael R.Lyu，Jiqiang Song，Min Cai，页码是243-254)，该方法在固定的颜色分量上对文字区域图片进行二值化，并且利用连通分量的几何特征去除噪声。

实验采用了两个评价指标，即文字识别查全率和文字识别查准率，两个指标都是越高越好：

文字识别查全率＝正确识别的文字数目/总文字数目

文字识别查准率＝正确识别的文字数目/识别的文字数目

表1实验结果对比

  文字识别查全率  文字识别查准率  本发明I  本发明II  现有方法III  67.5％  60.4％  43.8％  82.9％  80.8％  58.7％

从表1中可以看出，本发明的方法I和II在查全率和查准率上都比现有方法III要高，主要原因包括：本发明自适应的选择了比较适合于二值化的颜色分量，并且在这个颜色分量上对文字区域图片进行二值化，相比现有方法在固定颜色分量上进行二值化，本发明的方法能够取得更好的二值化结果；本发明的噪声去除方法能够更为有效的去除二值图片中的噪声，从而有利于获取更好的文字识别结果。对比本发明的方法I和II，方法I比方法II取得了更好的文字识别结果，这充分说明了本发明提出的用基于颜色聚类的方法去除噪声的有效性。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。