基于属性选择算法和支持向量机的组合预测模型研究

摘要

在移动互联网高速发展的今天，人类已经不可避免地生活在了海量数据日积月累的年代，诸如社交网络、证券交易以及气象变化等领域每天都有千兆兆字节（Peta-Byte，PB）的数据注入我们的计算机网络、万维网和计算机存储设备。面对洪流般的数据，数据挖掘、机器学习和人工智能等学科蓬勃发展，这些工具帮助我们从海量数据中发现有价值的信息。其中，使用特定的学习模型根据已知数据来预测将来未知数据是目前研究的热点，这使得我们可以使用预测的结果对事物做出更加正确的决策。但是实践中产生的大量数据通常具有不完整、冗余性、有噪声等特性，如果不对数据进行预处理就直接使用模型方法进行处理，那么我们得到的结果肯定是受到一定损失的。以属性选择算法为代表的数据预处理则可以在一定程度上解决这一问题。通过属性选择，对数据的预测精度以及学习的效率都有诸多好处。　　本文正是基于这一理论基础，将目前比较流行的支持向量机学习器和几种属性选择算法结合起来，设计出一种预测数据的组合模型并得到了不错的结果。本文具体工作如下：（1）研究了常见的三种属性选择算法：邻域粗糙集属性选择算法、基于灰度关联分析的属性选择算法以及基于线性相关性分析的属性选择算法。使用属性选择方法将高维度数据中冗余的属性、对决策结果影响极弱的属性以及某些噪声属性删除，这对后续分析处理大有益处。（2）研究了支持向量机学习模型。支持向量机基于自身完善的理论基础能够很好的解决小样本情况下的非线性学习问题，并最终得到全局最优解。但是当样本数据量过大、样本维度过高时，则会导致学习时间过长甚至可能由于冗余数据产生过度拟合的情况，由此造成学习的精度和效率受到一定程度的折扣。（3）本文结合属性选择算法和支持向量机各自的优点将两者结合起来得到组合预测模型“属性选择-PSO-SVM”：分别将邻域粗糙集、灰度关联分析和线性相关分析这三种属性选择算法作为支持向量机学习模型的前端，首先将待处理的数据进行降维操作，然后将预处理得到的结果作为支持向量机学习模型的输入并得到学习结果。（4）本文使用来自UCI机器学习数据库的10组数据集对设计的组合模型进行了验证，实验证明“属性选择-PSO-SVM”组合模型相比于单一的支持向量机学习模型，在预测精度和学习效率两方面都有很大程度的改善。（5）本文通过实验对邻域粗糙集、灰度关联分析和线性相关性分析三种属性选择算法做了分析比较。实验证明：邻域粗糙集属性选择算法对应的组合模型在预测精度方面具有最大程度的提高；线性相关性分析属性选择算法对应的组合模型对预测精度提高最小，但是该组合模型的整体学习时间却是最少的；灰度关联分析对应的组合模型对预测精度的提高介于前两者之间，其对应的运行时间是最多的。

目录

声明

第一章 绪论

1.1 研究背景和意义

1.2 研究现状

1.3 本文主要工作

1.4 本文内容安排

第二章 若干属性选择算法的研究

2.1 属性选择的基本理论

2.2 基于粗糙集的属性选择方法

2.3 基于灰色关联的属性选择方法

2.4 基于线性相关性的属性选择方法

第三章 支持向量机

3.1 支持向量机概述

3.2 线性可分支持向量机

3.3 近似线性可分支持向量机

3.4 非线性可分支持向量机

3.5 核函数及其本质

3.6 支持向量机回归

3.7 最小二乘支持向量机

第四章 属性选择算法作为支持向量机前端的组合模型

4.1 组合模型概述

4.2 PSO-SVM学习机

4.3 属性选择-PSO-SVM组合模型的设计与实现

4.4 本章小结

第五章 实验

5.1 实验数据描述

5.2 实验评价指标

5.3 实验结果及分析

5.4 本章小结

第六章 总结与展望

6.1 本文完成的工作

6.2 本文的不足和展望

参考文献

在学期间的研究成果

致谢