支持向量机及其在手写数字识别中的应用

摘要

支持向量机（Support Vector Machine，SVM）是一种新兴的机器学习方法，在近些年进展非常迅速，研究结果表明，该方法可以应用于多个领域，并且具有广阔的应用潜能。SVM集成了最大间隔超平面、凸二次规划、Mercer核和松弛变量等多项技术。在信号处理、图像识别和基因图谱识别等挑战性的应用中，SVM获得了目前为止最好的性能，并显示了它的优势。
　　手写数字识别是处理一些数据信息的核心技术，比如：统计报表、邮政编码、银行票据等录入的数据信息。因此，该领域的研究具有重大的应用意义。SVM在手写数字识别中的关键在于数字图像预处理和SVM核函数的选取。低维空间向量集通常不易划分，核函数能够很好地解决这个问题。换句话说，若想得到高维空间的分类函数，需要选用适当的核函数。在SVM理论中，使用不同的核函数将得到不同的SVM算法。因此，在SVM分类识别中应注重参数和SVM核函数的优化及样本的特征选择，参数优化主要针对C和s两个参数。
　　本文主要研究了SVM核函数的参数优化方法的选取。首先对三种主流参数优化算法：网格搜索法、GA、PSO算法，在识别精度等方面进行比较。相比之下，PSO算法所得到的结果最优。因此，本文选用该算法进行参数优化。进而提出基于改进的PSO-LSSVM的手写数字识别方法，此方法兼顾了改进的PSO和LSSVM的优点。本文利用Libsvm加强工具箱和改进的PSO-LSSVM模型进行手写数字识别。首先用改进的PSO进行参数优化，然后用LSSVM进行手写数字识别，该方法不仅提高了局部搜索能力，而且可解决识别过程中训练集中类别标号不十分准确的问题。实验结果表明，提出的新模型表现出较好的模型稳定性，并且有效地提高了数字识别的准确度，具有一定的应用价值，可以广泛的应用于手写数字识别领域。

目录

封面

中文摘要

英文摘要

目录

1 绪 论

1.1 研究的背景与意义

1.2 支持向量机的研究现状与应用

1.2.1 支持向量机的研究现状

1.2.2 支持向量机的应用

1.3 手写数字识别的基本理论

1.3.1 手写数字识别的研究现状

1.3.2 手写数字识别的流程

1.3.3 手写数字字符识别的方法

1.4 论文的主要工作及内容安排

1.4.1 论文的主要工作

1.4.2 论文的内容安排

2.1 支持向量机的统计学基础

2.1.1 分类问题的统计学提法

2.1.2 经验风险最小化原则

2.1.3 VC维

2.1.4 结构风险最小化原则

2.2从线性分化到非线性分化

2.2.1线性可分问题的支持向量机

2.2.2 近似线性可分问题的支持向量机

2.2.3 非线性分化的分类算法

2.3 C-支持向量机的训练算法

2.4 基于两类支持向量分类机的方法

2.5 核函数

2.5.1 常用的核函数

2.5.2 核函数及参数的选取

3 支持向量机参数和核函数的优化问题

3.1 基于网格搜索法的优化

3.2 基于GA的优化

3.2.1 选择与复制

3.2.2 交叉与变异

3.2.3 基于GA优化的模型

3.3 基于PSO算法的优化

4 手写数字图像的预处理过程

4.1 图像预处理的研究现状

4.2 阈值选取方法

4.2.1 全局阈值法

4.2.2 二维Otsu自适应阈值法

5 基于改进的PSO-SVM模型的手写数字识别问题

5.1 阈值处理方法的选取

5.1.1 备选方法

5.1.2 数据的来源

5.1.3 开发平台与开发工具

5.1.4 比较实验结果

5.2 支持向量机核函数参数优化算法的选取

5.2.1 备选算法

5.2.2比较实验结果

5.3 改进的PSO-SVM模型的设计说明

5.3.1 改进的PSO算法

5.3.2 LSSVM变形策略

5.3.3 基于改进的PSO-SVM模型的手写数字识别

5.3.4 实验结果分析

5.4 本章小结

6 总结与展望

致谢

参考文献

附录

作者在攻读硕士学位期间发表的论文