特征选择和集成学习及其在入侵检测中的应用

摘要

随着入侵检测等高维数据机器学习问题的不断涌现，已有的特征选择算法和机器学习算法面临着严峻的挑战，迫切需要准确性和运行效率等综合性能较好的特征选择算法以及机器学习算法的出现。本文将围绕特征选择、集成学习及其在入侵检测中的应用三个方面展开研究。主要工作包括以下方面： 1. 提出了基于margin的特征子集的评估。该方法通过计算特征子集的margin值来评估由Rough Set模型诱导出的特征子集的优越。实验表明，多数情况下，当特征子集的基数相同时，margin大的特征子集比那些margin值相对较小的特征子集有更好的分类效果。 2.提出了一种基于混合差别矩阵的特征选择算法。该算法通过构造混合差别矩阵的方法，解决了传统的粗集特征选择方法只能够处理离散属性的数据却不能直接处理混合属性(既有离散属性又有连续属性)的数据的缺点。实验表明分类器在该算法得到的特征子集上有较好的分类效果。 3.提出了一种新的适于高维数据的有监督的特征选择集成学习算法。该算法用基于margin的特征子集评估准则来选择特征子集，构造了准确率比较高的个体分类器，提高了集成学习的效果。实验表明该算法比传统的基于特征选择的集成学习算法有更高的分类性能。此外，本文还把Bagging技术引入到特征选择集成的算法中并且取得了比较理想的实验效果。 4.提出了一种基于分类器集成的半监督学习算法。该算法通过分类器集成技术从未标记示例中挑选出若干置信度较高的示例进行标记，从而使分类器模型得以更新，解决了在入侵检测系统中，训练数据稀缺的条件下保证检测效率难的问题。实验结果表明，本文提出的算法能有效地减少学习样本数，并且能有效地提高入侵检测系统的检测率，降低入侵检测系统的漏报率和误报率。

目录

文摘

英文文摘

声明

第一章绪论

1.1课题研究的意义及其背景

1.1.1课题研究的意义

1.1.2国内外研究现状简介

1.2论文的主要研究内容与创新点

1.2.1本文的研究内容

1.2.2本文的创新之处

1.3论文的组织结构

第二章特征选择概述

2.1特征选择的基本概念和一般过程

2.2特征选择模型

2.2.1嵌入式特征选择

2.2.2过滤式特征选择

2.2.3封装式特征选择

2.3相关的特征选择算法

2.3.1 Relief及其变种算法介绍

2.3.2基于辨别矩阵的属性约简

2.3.3基于遗传算法的属性约简

2.4本章小结

第三章基于maygin的特征子集评估准则

3.1引言

3.2 margin评估准则

3.3基于margin准则的属性约简算法

3.4实验结果及分析

3.5本章小结

第四章基于混合差别矩阵的特征选择算法及其在入侵检测中的应用

4.1引言

4.2混合辨别矩阵的构造及其属性约简算法

4.3实验结果与分析

4.3.1 UCI数据集上的实验结果及分析

4.3.1 KDDCUP99数据集上的实验结果及分析

4.4本章小结

第五章有监督分类器集成及其在入侵检测中的应用

5.1集成学习概述

5.1.1基本概念

5.1.2个体生成方法

5.1.3结论生成方法

5.2基于margin的特征选择的集成

5.2.1算法分析与描述

5.2.2 KDDCUP99数据集上的实验结果与分析

5.3本章小结

第六章半监督分类器集成及其在入侵检测中的应用

6.1引言

6.2半监督学习

6.2.1半监督学习简介

6.2.2协同训练算法描述

6.3一种新的半监督分类器集成算法

6.4实验结果及分析

6.4.1数据源

6.4.2实验结果及分析

6.5本章小结

第七章结束语

7.1本文工作总结

7.2未来工作展望

参考文献

致谢

附录攻读硕士学位期间发表(录用)论文情况