基于边界样本选择的支持向量机

摘要

支持向量机(Support Vector Machine,SVM)是以统计学理论和结构风险最小化原则为基础的,一种处理小样本问题的数据挖掘方法。由于其具有完备的理论基础和很好的泛化能力,被广泛应用于求解分类问题和回归问题。因为求解SVM的实质是求解一个凸二次规划问题,它的计算时间复杂度为O(n3),空间复杂度为O(n2),所以当处理大规模数据问题时,其训练时间会很长,对存储空间的要求也很高。
　　由于分类超平面仅由支持向量确定,而支持向量大多分布在分类边界上。根据这一特点,针对上述问题,本文提出了两种基于边界样本选择的支持向量机。利用概率神经网络和极端学习机,选出边界样本作为候选支持向量,训练支持向量机。在筛选候选支持向量时,使用K-L散度和熵作为启发式。当K-L散度值越大时,说明期望分布和真实分布差异越大,也就是说这个样本最不容易被区分,通常这样的样本分布在分类边界上。当熵值越大时,说明样本包含的不确定信息越大,对分类超平面位置的影响也就越大,因此这样的样本也分布在分类边界上。
　　本文在两个人工数据集和13个UCI数据集上进行了实验,验证了所提出的方法在较大规模数据集上其测试精度和训练时间都有很好的结果。从而归纳出一种基于边界样本选择的支持向量机的基本框架。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪 论

1.1 研究背景及意义

1.2 支持向量机的研究现状

1.3 支持向量机处理大规模数据问题的研究现状

1.4 本文研究内容

1.5 本文组织

第2章 基础知识

2.1 支持向量机(SVM)

2.2 概率神经网络(PNN)

2.3 极端学习机（ELM）

第3章 基于边界样本选择的支持向量机

3.1 基于PNN和K-L散度的SVM（PNN-SVM）

3.1.1 基于PNN和K-L散度的SVM

3.1.2 实验结果及分析

3.2 基于ELM和熵的SVM（ELM-SVM）

3.2.1 基于PNN和K-L散度的SVM

3.2.2 实验结果及分析

3.3 本章小结

第4章 总结与展望

4.1 总结

4.2 展望

参考文献

致谢

攻读学位期间取得的科研成果