最小二乘与最小二乘支撑向量机

摘要

本论文主要研究了最小二乘支撑向量机(LSSVM)增量型训练算法以及固定尺度算法。最小二乘支撑向量机(LSSVM)是由J．A．K Suykens等人根据支撑向量机(SVM)算法提出的，是SVM的扩展版本。 主要进行了如下的研究： 1) 深入探讨了最小二乘支撑向量机训练算法的基本理论，然后利用仿真实验对最小二乘法、标准最小二乘支撑向量机、稀疏最小二乘支撑向量机算法性能进行了比较。 2) 研究了增量型的最小二乘支撑向量机训练算法以及固定尺度训练算法。针对常规固定尺度最小二乘支撑向量机存在的问题(比如对于时间序列数据，可能导致支撑向量过于集中于初期)进行了分析，得到了有效的改进方法，大大的提高了算法的性能。通过仿真实验验证了改进方法的有效性。

目录

文摘

英文文摘

声明

第一章数据挖掘与机器学习理论

1.1数据挖掘的基本概念及理论基础

1.2数据挖掘的主要研究内容

1.3机器学习的基本概念

1.4机器学习的发展与展望

第二章最小二乘方法

2.1引言

2.2最小二乘原理

2.3最小二乘问题求解方法

2.3.1线性最小二乘问题求解方法

2.3.2非线性最小二乘问题求解方法

2.4小结

第三章支撑向量回归机（SVR）与最小二乘支撑向量机（LSSVM）

3.1引言

3.2统计学习理论中一些概念介绍

3.2.1 VC维

3.2.2结构风险最小化

3.2.3最优ε-带超平面

3.3.4 Mercer条件与核函数

3.3支撑向量回归机的基本概念及模型

3.4 LSSVM的基本概念

3.5 LSSVM的求解方法以及算法设计

3.6算法复杂度分析

3.7数值试验

3.8研究工作小节

第四章基于矩阵分块求逆的最小二乘支撑向量机求解方法

4.1矩阵块的一些基本概念

4.2基于矩阵分块的LSSVM

4.3算法设计

4.4数值实验

4.5研究工作小结

第五章总结与展望

致谢

参考文献

作者攻读硕士期间取得的成果