无监督异常检测技术研究及应用

摘要

随着互联网络的飞速发展，网络信息安全正日益得到人们的关注，入侵检测则成为安全专家积极研究的重要课题。入侵检测方法主要分为误用检测和异常检测两类，它们各有自己的优势，在不同的安全策略中有不同的应用。但由于入侵类型的日益复杂，新的入侵行为层出不穷，使得对未知入侵行为的检测显得尤为重要，而误用检测不能对未知入侵行为进行模式匹配，因此未知入侵检测主要由异常检测来完成。无监督的异常检测是一个比较新的研究课题，有不需专门的训练集等优点，因此研究无监督的入侵检测方法是非常必要的。 异常检测尤其是基于聚类的异常检测成为当前研究的热点领域，但大部分聚类算法无法处理字符型属性数据。在实际应用中，特别是在入侵检测领域，需要处理的数据往往是既包括数值类型，也包括符号类型。所以如何处理混合型属性数据，使得能够更好的进行聚类分析从而实现异常检测是本研究的内容之一。在统计学上，孤立点挖掘与聚类分析虽然在一定程度上是相似的，但两者还是有着本质的区别：聚类的目的在于寻找性质相同或相近的记录，并归为一个类；而孤立点挖掘的目的则是寻找那些与所有类别性质都不一样的记录。因此，可以将入侵检测的问题转换为网络行为数据集中孤立点的挖掘问题。 针对以上的问题本文做了如下工作：在对混合型属性的预处理方案上采用对符号型属性进行编码映射的方法，并使用主成分分析对编码后增加的维数进行降维，从而来解决在入侵检测中使用聚类分析无法对符号型数据进行处理的问题；将关联规则挖掘技术引入到聚类分析机制中，利用针对符号型属性的关联规则挖掘结果对聚类结果进行修正，从而来实现降低由于在入侵检测单纯使用聚类分析所导致的误报。另外根据对入侵事件的特征分析，将孤立点挖掘技术引入到异常检测领域，提出了基于相似度和的孤立点挖掘算法的入侵检测技术和基于核密度孤立点挖掘算法的入侵检测技术；并尝试将融合技术引入孤立点挖掘中，提出基于融合孤立点挖掘算法的异常检测方案。在论文最后介绍了所设计的一个无监督异常检测原型系统。

目录

文摘

英文文摘

声明

第一章绪论

1.1研究背景及选题意义

1.2研究现状及存在问题

1.3本文研究内容和主要特色

1.4本文结构安排

第二章 无监督异常检测技术

2.1数据挖掘技术及应用

2.1.1数据挖掘技术

2.1.2数据挖掘技术在入侵检测中的应用

2.2异常检测技术

2.2.1异常检测技术综合分析

2.2.2发展趋势

2.3无监督异常检测模型

2.3.1无监督方法与研究

2.3.2聚类分析与无监督异常检测

2.3.3孤立点挖掘与无监督异常检测

2.4本文研究重点及框架

2.5小结

第三章 基于聚类分析的无监督异常检测技术

3.1聚类分析在入侵检测中的应用

3.2基于聚类和关联规则修正的异常检测技术

3.2.1获得关联规则

3.2.2 CLUAPR算法描述

3.3处理混合型属性的聚类算法

3.3.1混合属性处理方法

3.3.2数据降维

3.3.3 MACLU算法描述

3.4实验分析

3.4.1 KDD数据集

3.4.2评估参数

3.4.3测试环境

3.4.4测试方案

3.4.5实验结果与分析

3.5小结

第四章基于孤立点的无监督异常检测技术

4.1基于相似度和的孤立点挖掘算法

4.1.1相似度和的描述

4.1.2基于相似度和孤立点算法的入侵检测算法

4.2基于核密度的孤立点挖掘算法

4.2.1基于密度的孤立点描述

4.2.2多维核密度估计

4.2.3观测样本的选择

4.2.4孤立点集合的确定

4.2.5基于核密度估计的入侵检测方法

4.3融合孤立点挖掘算法

4.3.1融合的概念

4.3.2基于投票机制的融合孤立点挖掘算法

4.4实验分析

4.4.1 SimiOut算法实验

4.4.2 IDKD算法实验

4.4.3 VoteOut算法实验

4.4.4综合实验与分析

4.5小结

第五章无监督异常检测系统设计及实验

5.1 VAD系统设计思想

5.2 VAD系统框架和模块设计

5.3 VAD系统功能使用

5.4 TCPDUMP网络实际数据实验

5.5小结

第六章结论与展望

参考文献

攻读硕士期间科研成果

致谢