最小最大模块化支持向量机数据划分及其应用研究

摘要

随着信息技术的不断进步，现实领域产生了海量的数据。传统简单的分类器无法对海量数据准确地进行分类，而已有的研究表明，集成学习方法是一种有效的解决海量数据分类的方法。本文研究的是基于涌现理论的集成学习方法——最小最大模块化支持向量机(M3-SVM)。M3-SVM主要分成两个部分:首先对海量数据集采用一定的划分策略进行分解，然后通过MIN规则和MAX规则集成各个基分类器的结果。
　　对数据集划分策略来说，算法的优劣在很大程度上影响着M3网络的性能。所以如何找到一种有效且复杂度较低的训练集划分方法，从而得到相对平衡的划分子集对M3网络非常重要。M3网络中已采用了随机划分、超平面划分、等分割聚类、谱聚类和基于先验知识等多种数据划分方法。但是这些划分方法或者没有考虑到原始数据集的分布属性，或者过于复杂。针对此问题，本文提出了一种基于优化的二分K-means的训练集划分方法，它时间复杂度较低且可以有效地避免陷入局部最优解。但是二分K-means的准则函数只考虑了簇内的紧凑性，而没有考虑到簇间的差异性，不能有效地对不平衡数据进行分类。于是本文对二分K-means的准则函数进一步研究，提出了基于均衡化函数的二分K-means的训练集划分方法。基于均衡化函数的二分K-means的训练集划分方法不仅可以得到全局最优解，且时间复杂度较低，还可以得到相对均衡的划分子集。在现实的数据集上的实验结果表明，基于均衡化函数的二分K-means划分方法在不提高时间开支的情况下有效的提高了M3-SVM的分类准确率。
　　入侵检测数据存在着数据量大且严重不平衡的问题，为了验证基于均衡化函数的二分K-means划分方法对不均衡数据集有较好的划分效果，本文在现实的入侵检测数据集KDD CUP99上进行了实验。结果表明，本文提出的划分方法能有效提高M3-SVM的检测性能。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景及研究意义

1.2 国内外研究现状

1.3 论文安排

第二章 最小最大模块化支持向量机

2.1 任务分解方法

2.2 M3 网络的集成

2.3 支持向量机(support vector machine)

2.4 本章小结

第三章 最小最大模块化网络中基于聚类的数据划分方法

3.1 聚类(clustering)

3.2 最小最大模块化网络中已经用到的数据划分方法

5.1 计算

5.2 更新各个簇的中心向量

3.3 实验中最小最大模块化网络使用的样本集划分方法

3.4 本章小结

第四章 M3-SVM 中二分 K-means 的数据划分方法

4.1 K-means 算法

4.2 二分 K-means 算法(Bisecting K-means)

4.3 算法的性能分析

4.4 基于二分 K-means 聚类算法的 M3-SVM

4.5 本章小结

第五章 M3-SVM 中基于均衡化函数的二分 K-means 数据划分

5.1 聚类准则函数

5.2 M3-SVM 中基于均衡化函数的二分 K-means

5.3 实验结果与分析

5.4 本章小结

第六章 最小最大模块化支持向量机在入侵检测中的应用

6.1 入侵检测

6.2 KDD CUP99 入侵检测数据集

6.3 实验结果与分析

6.4 本章小结

第七章 总结与展望

7.1 本文的主要工作

7.2 进一步的研究工作

致谢

参考文献

攻读硕士学位期间的学术成果

攻读硕士学位期间参加的科研项目