BP神经网络改进及其在手写数字识别中的应用

摘要

手写数字识别技术是近年来研究的热点。传统数字识别方法中，模版法只能适用于印刷体数字；统计决策法很难反映模式的精细结构特征；句法结构法抗干扰能力太弱等。本文中采用BP神经网络进行手写体数字识别，应用网络极强的非线性数据处理能力和容错能力，仅需要把经过预处理和特征提取的大量样本数据矩阵输入给网络就可以得到数字类别输出。但是传统BP神经网络有缺陷无法直接使用，各种网络参数的选择和确定非常复杂而且关键，文中分别对基于梯度下降方式的改进和数值优化思想的改进两大方面进行了分析探讨，通过一个故障模式识别仿真实验来研究不同改进算法的训练和识别性能，基于梯度方式的动量项自适应学习率算法训练非常平稳易于控制训练，识别性能较好，但对于大规模网络训练较慢。基于数值优化的LM-BP算法训练快而且识别性能最好，但训练不易控制且需要较大计算机内存。
　　本文在256M计算机内存环境下使用不同隐节点选取和几种改进方式进行改进BP神经网络手写数字识别实验。由于手写体数字样本的特殊性，文中详细探讨了细化预处理方法和结构特征提取方式。接下来从样本集中选取600组较规范手写体数字样本，经过样本预处理和特征提取后建立网络，选用一种13维样本结构特征向量来反映样本信息。根据MATLAB7.0编程，经过训练和识别测试，隐节点数目采用经验公式选27个节点时性能最好。梯度改进方式中的动量项自适应学习率算法和基于数值优化的LM-BP算法各种性能非常好，训练很快而且识别率最高，识别率能达到90％。文中以图表的形式作了比较。

目录

BP神经网络改进及其

THE IMPROVEMENT OF BP NEURAL NETWORK AND ITS APPLICATION IN HANDWRITTEN RECOGNITION

摘 要

Abstract

目 录

第1章 绪论

1.1 研究背景及实际意义

1.1.1 人工神经网络的历史及展望

1.1.2 手写数字的应用

1.1.3 手写体数字识别的研究现状

1.2 本论文所做的工作

第2章 BP神经网络概述

2.1 人工神经网络概述

2.1.1 神经网络基本定义及特性

2.1.2 学习规则和学习方式

2.1.3 神经网络处理问题的能力

2.2 BP神经网络原理及性能

2.2.1 传统BP神经网算法原理

2.2.2 BP算法的编程步骤

2.2.3传统的BP算法流程图

2.2.4 BP 神经网络的优良性能

2.3 本章小结

第3章 BP神经网络的改进

3.1 传统BP神经网络的缺陷

3.2 结构内网络参数确定及改进

3.2.1 初始权值选取

3.2.2 隐层及隐节点选取

3.2.3 目标误差界值

3.2.4 学习速率确定

3.2.5 激励函数改进

3.2.6 性能函数确定

3.3 基于梯度方法上的改进

3.3.1 批处理方法

3.3.2采用动量项法

3.3.3 模拟退火和柯西算法

3.3.4 BI算法

3.4 基于数值最优化的BP算法

3.4.1 共轭梯度BP算法

3.4.2 拟牛顿BP算法

3.4.3 LM-BP算法

3.5 几种BP改进算法的仿真结果比较

3.5.1 识别问题描述

3.5.2 网络训练部分

3.5.3 网络测试部分

3.6 本章小结

第4章 数字识别部分

4.1 神经网路模式识别概述

4.2 预处理工作

4.2.1 原始样本获取

4.2.2 定位和切割

4.2.3 归一化

4.2.4 二值化

4.2.5 平滑化

4.2.6 去噪和细化

4.3 特征选择和提取

4.3.1 笔画动态特征

4.3.2 有效行特征

4.3.3 结构特征

4.4 手写体数字的识别过程

4.4.1 样本获取及处理

4.4.2 网络建立

4.4.3 训练和测试的性能比较

4.5 本章小结

结 论

参考文献

攻读学位期间发表的学术论文

哈尔滨工业大学硕士学位论文原创性声明

哈尔滨工业大学硕士学位论文使用授权书

致 谢