基于局部特征的复杂背景图像内文本识别研究与实现

摘要

图像文本识别是数字图像处理和计算机视觉领域的研究热点与重要问题。与扫描图像相比，复杂背景和自然拍摄图像存在：1、文本字体和笔画粗细多样；2、文本字符排列布局多样；3、背景颜色和纹理复杂多样；4、相机视角与载体扭曲引起字符几何形变；5、光度不均与噪声导致图像解析度低下等特性。上述特性使得针对复杂背景和自然拍摄图像的文本识别成为一个具有困难和挑战的对象识别，而并非简单的光学字符识别(OCR)问题。OCR对输入图像在文本结构规范上的要求与限制，使得目前基于OCR技术的识别框架存在较大的局限性。虽然可以通过改进前期文本定位和预处理环节来为OCR提供结构化和规范化更好的输入从而获得识别率的一定提升，但这些环节的优化是困难和受限的。区别于基于OCR技术的识别框架，本文提出基于局部特征的文本识别框架。该框架利用图像检索原理和技术，通过构建模版字符图像库，采用图像局部特征匹配来实现复杂背景图像文本识别。针对局部特征的不同应用和处理手段，本文实现了基于Bag-of-Words Model和基于Point-to-Point Matching的识别系统。与基于OCR技术的框架相比：1、免除了区域增强，二值化，图层分析，几何归一化等一系列复杂的预处理环节；2、通过采用具有几何和光度不变性的局部特征，并引入针对性的投票算法和几何一致性验证，克服了OCR对于文字旋转，不规则排列，图像解析度不均，视角变换和扭曲等条件下识别的局限性；3、通过构建多语种和多字体的模版字幅图像库，实现识别在语种和字体上的透明与鲁棒性。本文重点以中文，日文，韩文，英文，阿拉伯文为基础，在单字符，多字符，自然拍摄图像上进行了大量对比实验，结果显示基于局部特征技术的识别框架在处理能力和识别准确率上都有良好的表现，更加适合复杂背景和自然拍摄图像文本识别。

目录

摘要

ABSTRACT

目录

第一章 绪论

1.1 本文的研究背景及意义

1.2 相关研究与主要技术

1.2.1 文本识别技术发展

1.2.2 近来主要处理框架和方法

1.3 本文提出的技术框架和方法

1.4 本文章节安排

第二章 复杂背景下文本分析与识别

2.1 复杂背景下文本分析与识别要求

2.2 复杂背景下文本分析与识别方法

2.2.1 基于OCR 技术的文本分析与识别

2.2.2 基于局部特征技术的文本分析与识别

2.3 主要处理方法的对比

2.4 本章小结

第三章 基于BAG-OF-WORDS 模型的文本识别

3.1 模型主要相关技术

3.1.1 数字图像局部特征

3.1.2 特征聚类与词汇法

3.2 基于BAG-OF-WORDS 模型的文本识别系统

3.2.1 识别系统设计

3.2.2 系统主要处理流程

3.3 模版字符图像库构建

3.4 特征聚类与词汇表构建

3.4.1 符号约定与声明

3.4.2 基于K-means 的特征聚类

3.5 TF/IDF 索引构建

3.6 本章小结

第四章 基于POINT-TO-POINT MATCHING 方法的文本识别

4.1 基于P2P-M 方法的文本识别系统

4.1.1 识别系统设计

4.1.2 系统主要处理流程

4.2 基于MP-LSH 的特征匹配

4.2.1 近邻查找与高维向量索引

4.2.2 基本LSH 算法原理

4.2.3 基本LSH 索引构建

4.2.4 MP-LSH 索引构建

4.2.5 基于MP-LSH 的一级检索

4.3 基于投票改进的识别结果优化

4.4 基于几何一致性约束的识别结果优化

4.4.1 几何一致性约束原理

4.4.2 MCM 算法原理

4.4.3 几何约束图构建

4.4.4 最大团块查找

4.5 本章小结

第五章 实验与结果分析

5.1 实验条件

5.1.1 实验内容安排

5.1.2 模版字符图像数据库

5.1.3 测试字符图像数据库

5.2 实验分析

5.2.1 基于Bag-of-Words 模型的识别实验

5.2.2 基于P2P-M 方法的识别实验

5.3 实验小结

第六章 总结与展望

6.1 论文工作总结

6.2 工作展望

缩略语

参考文献

致谢

攻读硕士学位期间发表或录用的论文

攻读硕士学位期间参加的课题与项目