监督和半监督支持向量机研究

摘要

支持向量机是基于统计学习理论的一种机器学习算法，近年来由于其良好的分类和回归性能、较强的泛化能力受到广泛的关注，在理论研究、算法的实现和求解上都取得了重大进展，成为机器学习的前言课题。
　　支持向量机将机器学习问题转化为最优化规划，并应用优化理论构造求解算法，从而得到最优解。转化后的无约束支持向量机的目标函数含有不可微项，所以不能应用快速算法求解，于是产生了基于光滑函数的监督和半监督支持向量机研究。本文主要从光滑技术的方法和角度进行研究，主要内容如下:
　　1、对光滑支持向量分类机进行研究。约束支持向量机的目标函数是非光滑不可微的，而传统的优化算法大多要用到目标函数和约束条件的一阶或二阶可导条件。本文提出一类基于贝塞尔曲线的光滑支持向量分类机BSSVM模型和基于旋转双曲线的RHSSVM模型，它们都具有二阶可微性，可采用快速的Newton-Armijo算法进行求解。理论和实验都证明了提出的BSSVM和RHSSVM两种算法比已有模型在分类精度和训练时间上有改进和提升。同时，节省了存储空间，有效地处理了高维、大数据的分类问题。
　　2、对光滑支持向量回归机进行研究。建立无约束支持向量机回归模型，应用光滑技术，给出了基于贝塞尔曲线的ε-不敏感光滑支持向量回归机ε-BSSVR模型和基于旋转双曲线的ε-RHSSVR模型。对非线性样本，本文采用了核函数技术，将输入样本映射到高维希尔伯特空间，在高维特征空间进行线性回归，对于高维数据，采用简约支持向量机技术，在不降低回归性能的前提下，减少了运算数量。提出的两种模型，在理论和数据仿真上都给出了比较，结果说明ε-BSSVR和ε-RHSSVR模型在回归精度和训练时间上都优于已有的模型。
　　3、对于光滑半监督支持向量机进行研究。半监督支持向量机的目标函数为非凸非光滑的，为了提高▽ TSVM的分类性能和求解速度，引进了光滑函数，给出了基于贝塞尔曲线的光滑半监督支持向量机BSS3VM模型。该光滑函数对非凸非光滑部分进行了逼近，逼近精度高于已有的近似高斯函数，理论和数据仿真都说明了该模型对▽ TSVM性能的改进。

目录

摘要

第1章 绪论

1．1 课题的研究背景及意义

1．2 国内外研究现状

1．2．1 无监督学习研究

1．2．2 监督学习研究

1．2．3 半监督学习研究

1．2．4 支持向量机研究与进展

1．3 论文研究的目的、意义和主要工作

1．3．1 研究的目的和意义

1．3．2 本文的主要工作

第2章 支持向量机及其理论基础

2．1 最优化理论基础

2．1．1 KKT条件

2．1．2 Wolfe对偶

2．2 统计学习理论的基本思想

2．2．1 经验风险

2．2．2 VC维

2．2．3 结构风险最小化

2．3 支持向量分类机

2．3．1 最优分类超平面

2．3．2 线性支持向量机

2．3．3 非线性支持向量分类机

2．3．4 支持向量

2．3．5 核函数

2．4 支持向量回归机

2．4．1 损失函数

2．4．2 支持向量回归机

2．5 小结

第3章 新的光滑支持向量分类机

3．1 引言

3．2 光滑支持向量及其发展

3．2．1 光滑支持向量的原理

3．2．2 光滑支持向量机发展现状

3．3 基于贝塞尔曲线的光滑支持向量

3．3．1 光滑Bézier支持向量机及其性质

3．3．2 BSSVM的Newton-Armijo算法

3．3．3 非线性光滑BSSVM

3．3．4 数值实验

3．4 基于旋转双曲线的光滑支持向量

3．4．1 基于旋转双曲线的光滑支持向量RHSSVM及其性质

3．4．3 非线性光滑RHSSVM

3．4．4 数值实验

3．5 小结

第4章 新的光滑支持向量回归机

4．1 引言

4．2 光滑支持向量回归机及其发展

4．2．1 光滑支持向量回归机的发展现状

4．2．2 光滑支持向量回归机的原理

4．3 基于贝塞尔函数的光滑支持向量回归机

4．3．1 光滑贝塞尔函数的支持向量回归机ε-BSSVR及其性质

4．3．2 非线性ε-BSSVR

4．3．3 ε-BSSVR的Newton-Armijo算法

4．3．4 数值实验

4．4 基于旋转双曲线的光滑支持向量

4．4．1 基于旋转双曲线的光滑支持向量ε-RHSSVR及其性质

4．4．2 非线性光滑ε-RHSSVR

4．4．3 ε-RHSSVR数值实验

4．5 小结

第5章 基于光滑技术的半监督支持向量分类机

5．1 引言

5．2 半监督支持向量机算法概述及其发展

5．2．1 基于组合的半监督支持向量机

5．2．2 基于连续法的半监督支持向量机

5．2．3 ▽TSVM算法介绍

5．2．4 半监督支持向量机发展

5．3 基于贝塞尔函数的光滑半监督支持向量机

5．3．1 光滑贝塞尔半监督支持向量机

5．3．2 求解算法

5．3．3 数值实验

5．4 小结

第6章 总结与展望

参考文献

攻读学位期间取得的研究成果

致谢

声明