加权支持向量回归算法研究

摘要

支持向量机(Support Vector Machine,SVM)是Vapnik等人根据统计学理论提出的一种机器学习方法。它是建立在VC维和结构风险最小化原则基础上的，利用核函数把非线性可分数据映射到高维特征空间，使其在高维特征空间中线性可分，同时利用核函数计算内积可避免维数灾难。由于支持向量机具有较好的学习性能和泛化能力，该技术已成为机器学习的热点，并在很多领域得到成功应用，如模式识别、图像分析、预测等方面。
　　 支持向量回归算法是Vapnik在定义了ε-不敏感损失函数的基础上提出来的，简称ε-SVR算法。在ε-SVR中，输入样本被等同对待，每个样本的松弛项被赋予相同的惩罚因子，所以当样本中存在噪声或野点时，导致SVM在这些点较为敏感，由此产生过拟合现象。针对这种情况，2002年Lin C F等将模糊隶属度的概念引入到SVM分类中，提出了模糊支持向量机(Fuzzy Support Vector Machine，简称FVSVM)的概念，根据不同输入样本对分类贡献的不同，赋予不同的隶属度，将噪声和野点与有效样本区分开。
　　 本文在介绍了统计学与支持向量机分类与回归理论的基础上，对加权支持向量回归权值的确定方法进行了研究。根据每个样本偏离数据域程度的不同赋予不同的权值，使噪声点的权值接近于一个很小的实数，以减小对回归函数的影响。在确定权值的训练中，采用线性规划下的一类分类方法。实验证明，该方法减小了回归误差，提高了SVM的抗噪能力。

目录

文摘

英文文摘

声明

1绪论

1.1研究的目的和意义

1.2研究现状

1.3论文结构

2统计学习理论

2.1学习模型

2.2经验风险最小化原理

2.3VC维

2.4结构风险最小化

2.5最优化理论

2.6Wolfe对偶

3支持向量机理论

3.1基于二次规划的支持向量机分类

3.1.1线性可分

3.1.2线性不可分

3.1.3一类分类

3.2基于线性规划的支持向量机分类

3.3支持向量回归

4加权支持向量回归

4.1权值的确定

4.2实验分析

4.2.1人工数据

4.2.2实际数据

4.3实验总结

5总结与展望

参考文献

致谢