脱机-联机样本骨架化联合训练的DBLSTM手写英文识别

摘要

手写英文识别因其实用背景和较高的难度吸引了大批研究者的兴趣，而近年来无切分方法和深度学习方法的兴起也为这一领域注入了新的活力。传统上手写英文识别因为原始数据形式的不同分为脱机手写识别和联机手写识别两种，因而一般会对其分别建立识别系统。本文将无切分方法和深度学习框架基础上，对脱机-联机手写英文识别的联合训练方法进行研究。
　　我们在得到图像对比度归一化及手写文字歪斜矫正的文字行图像基础上，首先构建了基于DBLSTM-HMM框架的手写识别系统，其基本思想为：首先训练GMM-HMM模型以实现自动切分，在强制对齐算法下得到每一帧特征向量和HMM状态之间的一一对应关系，并利用这种对应关系来训练DBLSTM循环神经网络，使其能够对新的数据结合其上下文信息进行分类。识别时将HMM转移概率，DBLSTM网络对每个HMM状态预测的后验概率，词表限制及语言模型概率结合起来，在Viterbi解码算法下寻找最优路径。本文在IAM脱机手写英文数据集上对此系统进行了验证，并优化了DBLSTM网络结构。
　　为了进行脱机和联机手写样本的联合训练，本文中将联机手写样本绘制为了静态手写图像，并使用骨架化方法将脱机样本和联机样本都转化为笔划为1像素宽的手写骨架图像以模糊两者的界限。之后使用融合样本进行DBLSTM-HMM系统的训练。融合样本的使用能够极大地扩充训练样本的数据量，提升识别系统的鲁棒性。在IAM脱机-联机手写数据集和微软INK联机手写数据集上的实验表明，使用融合样本训练得到的系统相较于使用单一样本能够在脱机和联机两种类型的测试集上均得到更好的识别准确率。
　　本文在DBLSTM-HMM混合识别框架下，创新地使用骨架化方法将脱机和联机手写英文样本进行融合以进行联合训练。实验结果证实了这种训练方法的显著效果。

目录

封面

中文摘要

英文摘要

目录

第1章 绪论

1.1 课题背景及意义

1.2 手写英文识别概述

1.3 文章内容和组织结构

第2章 数据集介绍

2.1 IAM脱机手写英文数据集

2.2 IAM联机手写英文数据集

2.3 微软INK联机手写英文数据集

2.4 小结

第3章 手写图像预处理与特征提取

3.1 数据预处理

3.2 滑动窗口及PCA特征提取

3.3 小结

第4章 构建基于DBLSTM-HMM模型的识别系统

4.1 DBLSTM-HMM模型理论框架及意义

4.2 基于DBLSTM-HMM模型的识别系统框架

4.3 GMM-HMM训练与训练数据标注

4.4 DBLSTM训练

4.5 DBLSTM-HMM解码

4.6 系统有效性验证

4.7 小结

第5章 骨架化脱机-联机手写样本联合训练

5.1 脱机-联机样本联合训练的意义及研究现状

5.2 骨架化脱机-联机手写样本合成方法

5.3 骨架化脱机-联机样本联合训练有效性验证

5.4 小结

结论

参考文献

攻读硕士学位期间发表的学术论文

声明

致谢