支持向量机在机器学习中的应用研究

摘要

近十年来，基于统计学习理论的支持向量机方法逐渐成为机器学习的重要研究方向。与传统的基于经验风险最小化原则的学习方法不同，支持向量机基于结构风险最小化，能在训练误差和分类器容量之间达到一个较好的平衡，它具有全局最优、适应性强、推广能力强等优点。但是直到目前为止，支持向量机方法还存在一些问题，例如训练时间过长、核参数的选择等，成为限制支持向量机应用的瓶颈。本文的研究主要围绕以上两个问题展开，研究结果在多个国际通用的基准数据集上进行验证。主要成果如下： 1) 系统地研究了支持向量机的训练方法。目前支持向量机的训练算法是以序贯最小最优化(SMO)为代表的，其中工作集的选择是实现SMO算法的关键。本文对基于Zoutendijk最大下降方向法和函数逼近的工作集选择方式进行了总结和整理，并对这种选择策略重新进行了严格的数学推导。研究指出，当二次规划问题的Gram矩阵在非正定的情况下，目前存在的工作集选择算法存在某些不足。 2) 对于大规模训练集的缩减研究。支持向量机在小样本情况下具有优于别的机器学习算法的性能，但并不意味着支持向量机只限于应用在小样本情况。现实中的问题大多具有大规模的样本，虽然目前有了以SMO为代表的快速训练算法，但对于大规模训练集仍然存在训练时间过长的缺点，不能满足实时性的要求。本文根据支持向量的几何分布，提出了在原输入空间和高维映射空间中预选支持向量的两种方法。原输入空间预选支持向量方法是受启发于最近邻规则，通过与支持向量的几何分布结合，使用Delaunay三角网络寻求包含支持向量的边界集的原理。受聚类方法的启发，基于样本类别质心的方法实现了高维特征空间支持向量的预选。实验证明这两种支持向量预选策略是有效的，在大幅缩减训练时间的同时基本不损失SVM的推广能力和预测性能。 3) 对支持向量机模型选择的研究。支持向量机通过核函数将样本从输入空间映射到高维特征空间(Hilbert空间)，从而实现在特征空间中寻求线性判别超平面。但是，不同的核对应着不同的特征空间，而支持向量机的训练结果在不同的核映射下往往有不同的效果。本文通过对像集线性可分程度和模型复杂程度的估计，寻找可以使学习机器具有良好推广能力的特征空间，并以此为标准实现核的选择。特征空间确定之后，分析惩罚因子与间隔宽度之间的关系，通过间隔宽度实现对惩罚因子的选择。本文的模型选择方法并不寻求核函数、惩罚因子与学习机器推广能力之间的解析表达式，而是以间接的方法估计参数对学习机器推广能力的影响，指导模型的选择。 4) 对机器学习的实际应用的研究。本文对机器学习的重要问题——人脸识别进行了研究，提出了一种基于关键部件的人脸识别方法。由于一对余多类分类算法缺乏理论上的依据，本文以后验概率作为支持向量机的输出，实现了以相似度为判别标准的多类分类算法。对ORL和YALE人脸图像数据库进行仿真实验，结果表明，该方法具有对表情、姿态以及角度的变化具有较好的鲁棒性。本文研究了SVM在金融领域的一个典型应用一一个人信用评估，主要探讨了基于SVM的特征选择和提取方法(遗传算法和主分量分析法)的实际应用效果。实证分析表明，小样本信用数据下SVM的准确度和推广性能显著好于BP神经网络；基于遗传算法的SVM能使银行检测出信用评级的关键决定因素。这对于我国银行进行个人信用评价具有重要的现实意义。

目录

文摘

英文文摘

声明

第一章 绪论

1.1研究背景

1.1.1机器学习的内容和发展

1.1.2统计学习理论

1.2支持向量机的研究现状

1.3本文的研究内容和意义

1.4本文的内容安排

1.5本章小结

第二章 支持向量机的训练算法研究

2.1支持向量机基础

2.1.1线性支持向量机

2.1.2非线性支持向量机

2.2二次规划的求解算法

2.4.1选块算法

2.4.2分解算法

2.4.3序贯最小优化算法

2.3基于函数逼近的工作集选择策略

2.6.1一阶逼近

2.6.2二阶逼近

2.6.3收敛性分析

2.4本章小结

第三章 大规模训练集的支持向量预选

3.1预选样本集

3.2基于边界的预选策略

3.2.1线性可分问题

3.2.2线性不可分问题

3.2.3仿真实验及分析

3.3基于类别质心的预选策略

3.3.1类别质心

3.3.2快速实现算法

3.3.3仿真实验及分析

3.4本章小结

第四章 模型选择

4.1模型选择的一般方法

4.1.1交叉验证(Cross Validation)

4.1.2留一法(Leave-one-out，LOO)

4.2基于结构风险的模型选择

4.2.1选择核及其参数

4.2.2惩罚因子的选取

4.3仿真实验及分析

4.4本章小结

第五章 支持向量机在模式分类问题中的应用

5.1人脸识别问题

5.1.1图像预处理

5.1.2样本获取

5.1.3基于后验概率的多类分类

5.1.4多类分类的模型选择

5.1.5基于关键部件的人脸身份识别

5.1.6仿真实验及分析

5.2信用评估问题

5.2.1样本获取

5.2.2基于SVM的信用评估实证分析

5.2.3特征约简

5.3本章小结

结论

主要结论

后续工作展望

致谢

参考文献

攻读博士学位期间所发表论文、著作及科研情况