基于集成学习的支持向量机预测优化算法及其应用

摘要

支持向量机（Support Vector Machine, SVM)以置信范围值最小化作为优化目标，是一种基于统计学习理论框架下提出的一种新型模式识别方法，采用基于结构风险最小化准则的学习方法，推广能力好。SVM擅长解决样本数量小、低维空间线性不可分类等问题,并且能够应用到函数拟合等其他机器学习中。但是由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及m阶矩阵的计算，故其在应用于大规模训练样本方面难以实施。
　　本文针对传统的支持向量机在处理数据量大的样本时，在预测时间方面有提高的缺点进行优化算法改进。使得在保证精确度的情况下，学习时间大大减少。主要的研究工作如下：
　　首先，讨论了机器学习的基本概念，支持向量机的基础理论,包括统计学习理论、VC维理论、结构风险最小化原则、线性可分与非线性可分的情况、核函数等。着重讨论了支持向量预测机，建立了预测回归模型，并用Matlab中的LIBSVM工具包进行仿真实验，采用交叉验证的方法确定核函数与惩罚参数。得到算法执行均方误差（最为精确度衡量）与运行时间等性能指标。在波动区间的预测问题方面，本文采用信息粒度化的思想，将时间序列分割成若干小子序列，再模糊化为三个粒子分别进行预测，得到分别对应于最大值、最小值与平均值的预测结果。
　　其次，对于大规模样本的训练时间方面的缺点，提出了基于动态聚类与集成学习思想的优化改进算法。动态模糊聚类方法，通过选择粒度值与计算样本两两之间的距离，得到大致的初步聚类结果，用隶属度函数作为确定每个数据点属于某个聚类程度的判断准则，以保证划分到同类的对象间距离最小，而不同类的对象间距离最大。不同粒度等级距离函数的衡量标准得到不同的聚类数目，将各次聚类结果进行采样构成子学习器，对每个子学习器进行分别预测训练，再将各个子学习器的输出按照其误差大小进行集成，得到最终输出结果。并与优化前全体样本进行训练以及对整体样本随机采样训练进行的结果进行对比，分析算法的性能优缺点。
　　接着，搭建基于LabVIEW和Matlab的软件系统平台，把LabVIEW界面设计与读取数据接口的优势与 Matlab仿真实验的优点结合。其中系统平台主要由五个功能模块组成：登录模块、数据读取模块、算法执行模块、数据存储模块、结果画图显示模块。
　　最后对本文进行了总结与展望。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1研究背景与意义

1.2研究现状

1.3主要研究内容与创新点

1.4 论文结构安排

第二章 机器学习与支持向量机综述

2.1引言

2.2机器学习理论

2.3统计学习理论

2.4支持向量机

2.5小结

第三章 基于支持向量机的预测回归模型

3.1引言

3.2基于SVM的回归模型

3.3 SVM的信息粒化回归预测

3.4实验结果与分析

3.5小结

第四章 模糊粒度与集成学习的支持向量机预测模型优化

4.1引言

4.2基于模糊粒度的动态聚类算法

4.3集成学习理论

4.4动态聚类集成学习算法

4.5实验结果与分析

4.6小结

第五章 软件系统平台实现

5.1引言

5.2开发平台所用软件

5.3系统平台实现与预测算法应用

5.4小结

第六章 总结与展望

6.1 总结

6.2 展望

参考文献

致谢

攻读硕士期间发表的论文和参加的项目

1、攻读硕士学位期间参加的项目

2、攻读硕士学位期间发表的论文

3、攻读硕士学位期间申请的专利

附录一 模糊聚类算法主要实现

附录二 基于支持向量机的预测回归模型实现

附录三 信息粒度化支持向量机回归预测主要实现