联机数学公式手写体识别的研究与实现

摘要

在教育行业，为了实时追踪学生的学习轨迹和知识薄弱环节，机器自动识别学生答题的手写笔迹成为必要的技术需求。因此，本文的研究重点为联机数学公式手写体识别，旨在提出一个稳健可行的解决方案来识别学生的手写数学公式笔迹，主要研究内容包括如下几点：
　　1、提出了一种融合CNN和DBN的单字符识别模型
　　应用卷积神经网络（Convolutional Neural Network，CNN）搭建和训练了一个单字符分类器模型，针对神经网络对对抗样本的脆弱性表现，同时创造性的采用了深度信念网络（Deep Belief Network，DBN）的解码重构损失作为识别置信度评价模型，最后融合了CNN和DBN的置信度评价，增强了对对抗样本的拒识能力。
　　2、提出了一种基于组合排序的手写体识别算法
　　手写数学公式中存在着大量的二义性，二维结构准确判定存在着相当的难度，同时还有许多容易混淆的相似字符，这些情况都增大了机器自动识别的难度。本文提出了一种基于组合排序的手写体识别算法，先把这些不确定的情况都保存下来作为候选，产生候选组合路径，再基于词组频率表，语义模型，识别置信度等进行路径排序就能保证识别正确率，可以大大简化系统的复杂度，同时增大识别系统的鲁棒性。
　　3、提出了一种基于错误识别案例的快速学习方法
　　识别出错案例的调试工作非常繁重，本文提出了一个基于错误案例的学习方法，可以快速的从我们提供的错误案例标记数据中学习到新的组合映射知识，并将这些知识作为系统的组合补充分支，避免了再次出现同样的识别错误。
　　基于上述的方法，实现了一个识别系统，实验结果表明本文提出的联机数学公式手写体识别方法具有较高的识别率及较好的鲁棒性。

目录

声明

第一章 绪论

1.1. 研究背景和意义

1.2. 手写数学公式数据的产生

1.3. 研究现状

1.4. 难点分析

1.5. 本文中识别系统的设定

1.6. 本文的创新点

1.7. 本文的组织结构

第二章 基于CNN和DBN的单字识别融合模型

2.1. 训练数据的采集与处理

2.2. 基于CNN的单字识别模型的搭建与训练

2.3. CNN网络对对抗样本的脆弱性

2.4. 基于DBN的单字识别置信度模型

2.5. DBN与CNN的融合

2.6. 对单字识别结果基于背景信息的粗筛

2.7. 本章小结

第三章 基于组合排序思想的数学公式识别方法的研究

3.1. 整体思路剖析与可行性分析

3.2. 笔划粗分组方法的研究

3.3. 初步确定数学公式二维结构的方法研究

3.4. 基于组合思想建立候选组合路径的方法研究

3.5. 候选组合路径筛选排序方法的研究

3.6. 基于语义模版和背景信息的语义纠正方法

3.7. 识别结果排序方法的研究

3.8. 本章小结

第四章 基于错误识别案例的快速学习方法

4.1. 基于错误识别案例的快速学习方法的提出

4.2. 知识的学习与存储方法

4.3. 学到的知识在识别系统中的使用方法

4.4. 本章小结

第五章 识别系统的实现与测试分析

5.1. 识别系统的实现

5.2. 系统性能测试

5.3. 系统识别效果测试

5.4. 系统分析

第六章 总结与展望

6.1. 总结

6.2. 展望

致谢

参考文献

攻硕期间取得的研究成果