确定经验风险水平的线性规划支持向量回归算法

摘要

支持向量机（Support Vector Machine，简称SVM）是20世纪90年代由美国N·vapnik教授在统计学习理论（Statistical Learning Theory，简称SLT）基础上，运用统计学习理论原理提出来的一种机器学习方法，该学习方法是以统计机器学习理论为基础，专门针对小样本情况下发展起来的。支持向量机是基于统计学习理论中的VC维和结构风险最小化原则为基础的最实用的一部分，最初主要用来处理样本的分类问题，其主要思想就是将统计学习理论中的结构风险最小化原则引用于此，它不仅可以处理线性情况，还可以处理非线性情况。在非线性可分的情况下，通过使用核函数，把原始空间的样本数据映射到一个高维特征空间中，使其在这个高维特征空间中变成线性可分的情况，进而利用线性可分的方法找到最优解。利用核函数的方法计算内积，也可大大避免“维数灾难”。随着科学技术的不断发展，在具有有效算法的分类问题的基础上，将支持向量机扩展到了回归问题中，因此，产生了支持向量回归机。支持向量回归机在对函数拟合效果的问题处理中具有重要的理论意义和广泛的应用前景。正是由于支持向量机具有良好的学习性能以及泛化能力，所以该技术已成功地被应用于许多领域。 支持向量机算法不仅可以处理分类问题，而且也可以处理回归问题。基于支持向量机分类和回归理论的基础上，确定了经验风险水平下线性规划支持向量回归算法的研究。传统的支持向量回归算法中，经验风险和置信风险需要一个折中的参数C来控制，而针对不同的样本数据，选择最优的参数C一般并不容易，当参数C的取值较大时，这时经验风险起着主要作用，反之，当参数C取值较小时，对经验风险的要求就不那么高。关于参数C的选择方法前人已经做出了一些研究成果，在二次规划情况下提出了给定风险水平的支持向量机分类和回归模型，实现了在给定经验风险水平下最小化结构风险的目的，在此基础上，本文将这一思想延伸到线性规划支持向量回归模型中，给出确定经验风险水平的线性规划支持向量回归算法，该算法可以事先确定经验风险水平的大小，另外，新的算法同样也可以通过设置不同样本点上经验风险的大小，处理在样本中存在有异方差的情况。本文最后以拟合一个回归函数为例，应用新算法给出了仿真实验，验证了该新算法的可行性和有效性。

目录

声明

摘要

第一章 绪论

1．1 论文的研究背景及发展状况

1．1．1 研究背景

1．1．2 发展状现

1．2 本文的主要工作

1．3 论文的组织结构

第二章 支持向量机的基本理论

2．1 小样本统计学习理论基础

2．1．1 经验风险最小化原则和一致性

2．1．2 VC维

2．1．3 结构风险最小化原则

2．2 支持向量机

2．2．1 核函数

2．2．2 Wolfe对偶

第三章 支持向量回归算法

3．1 二次规划下的支持向量回归算法

3．1．1 ε-不敏感损失函数

3．1．2 二次规划下的支持向量回归模型

3．1．3 算法实现

3．2 线性规划下的支持向量回归算法

3．2．1 线性规划下的支持向量回归模型

3．2．2 算法实现

第四章 确定经验风险水平的线性规划支持向量回归算法

4．1 确定单个参数经验风险水平的线性规划支持向量回归算法

4．1．1 引言

4．1．2 回归模型介绍

4．1．3 算法实现

4．2 确定多个参数经验风险水平线性规划支持向量回归算法

4．2．1 引言

4．2．2 回归模型

4．2．3 算法实现

4．3 实验与分析

4．3．1 实验1

4．3．2 实验2

4．3．3 实验3

第五章 总结

参考文献

附录A 实验1图4．1与4．2模型式(4．5)算法程序

附录B 实验2图4．3模型式(4．5)算法程序

附录C 实验2图4．4模型式(4．14)算法程序

附录D 实验3图4．7模型式(4．5)算法程序

攻读硕士学位期间发表学术论文情况

致谢