半径可调的覆盖聚类算法在入侵检测中的研究

摘要

计算机网络技术的迅猛发展和广泛应用，特别是Internet的快速普及，促进了计算机与互联网技术的不断创新与升级。社会信息化程度的提高使人们的日常生活与网络的关系越来越密切，同时大量的网络系统面临攻击和入侵。入侵检测是继防火墙、数据加密等传统安全保护措施后的更为有效的安全保障技术，它广泛应用于识别和响应恶意使用计算机和网络资源的行为。 当前多数入侵检测方法是使用大量的标记数据来训练入侵检测模型的，然而很多情况下并没有已准备好的可供使用的标记数据。如果对收集到的数据进行手工标记，由于数据量十分庞大，将会耗费大量的时间和精力。而基于聚类的入侵检测方法以一组没有标记的数据作为输入，进而发现其中存在的攻击数据，这与传统的检测方法相比，免去了手工标记数据的繁琐性，因此具有一定的应用优势。 本文分析了传统聚类方法在入侵检测领域中的优势和不足，以提高对异常攻击的检测有效性为目标，分别从检测率和误报率两个重要指标出发，提出了半径可调的覆盖聚类算法(Radius Adjustable CoveringClustering Algorithm，RACCA)，将其应用于入侵检测，并通过大量的仿真实验验证了该检测算法的有效性。 本文的主要工作集中体现在四个方面： 1．在深入分析入侵检测技术和聚类技术的基础上，探讨了运用聚类算法解决入侵检测问题的方法。由于聚类的方法可以在未标记数据集上找出异常，因此可以采用聚类方法对数据集进行标记，以便于关联规则、序列规则、分类等数据挖掘方法在这些已标记好的训练数据集上进行模式挖掘，进一步更新规则库；也可以直接利用聚类算法在训练数据集上生成检测模型，并进行实时入侵检测。 2．在入侵检测中使用了不需要进行初值选择且聚类速度快的覆盖聚类算法(Covering Clustering Algorithm，CCA)，同时针对CCA存在误报率高的问题，设计了用于入侵检测的高效聚类方法RACCA。为了降低误报率RACCA对CCA的两个方面做了改进：一是增加两个改变覆盖半径的参数，使覆盖半径变得可调；二是在确定下一步覆盖的中心时，选择离当前所有剩余未聚类样本点重心最近的样本点为下一步覆盖的圆心。 3．用KDD Cup 99数据集对RACCA的效率进行了评估，实验结果显示本算法在入侵检测误报率上和CCA相比有很大程度的降低。 4．通过实验反复精简特征属性集，构造出一个在检测率和误报率方面都有一定改善的重要属性集，并对利用重要属性集实现的聚类进行实验及结果分析，证实采用RACCA检测入侵能有效提高检测率，同时降低误报率。

目录

文摘

英文文摘

声明

第一章绪论

1.1论文研究的背景及意义

1.2入侵检测系统发展动态

1.2.1入侵检测模型的提出

1.2.2基于主机的入侵检测系统

1.2.3基于网络的入侵检测系统

1.2.4分布式入侵检测系统

1.2.5现有入侵检测系统存在的问题

1.3采用聚类技术的入侵检测

1.4本文的主要研究内容

第二章入侵检测技术介绍

2.1入侵检测概述

2.2入侵检测系统

2.2.1入侵检测系统组件

2.2.2入侵检测系统通用模型

2.3入侵检测方法

2.3.1基于异常的入侵检测方法

2.3.2基于误用的入侵检测方法

2.3.3混合入侵检测方法

2.4入侵检测的发展趋势

第三章聚类分析技术

3.1聚类分析的基本知识

3.1.1聚类的定义

3.1.2数据的标准化处理方法

3.1.3相似度计算方法

3.2层次聚类法

3.2.1层次聚类思想

3.2.2层次聚类法步骤

3.2.3层次聚类法性能评价

3.3划分聚类法

3.3.1划分聚类思想

3.3.2 k-means算法

第四章面向入侵检测的半径可调的覆盖聚类算法

4.1入侵检测中采用聚类技术的必要性和可行性

4.1.1采用聚类技术的必要性

4.1.2采用聚类技术的可行性

4.2聚类技术在入侵检测中应用

4.2.1入侵检测对聚类方法的要求

4.2.2原始数据的收集

4.2.3原始数据的预处理

4.2.4入侵检测中应用聚类的方面

4.3覆盖聚类

4.3.1球形覆盖领域概念

4.3.2领域覆盖思想

4.3.3 CCA

4.3.4 RACCA

4.4 RACCA算法性能分析

第五章基于RACCA的入侵检测实验

5.1实验数据集

5.1.1数据集来源

5.1.2数据集说明

5.1.3数据标准化处理及相似度计算

5.2算法性能评价标准

5.3面向入侵检测的RACCA的程序实现

5.3.1算法的数据结构

5.3.2 KDD Cup 99数据预处理模块

5.3.3标准化处理模块

5.3.4基于RACCA的ID实现模块

5.3.5结果分析模块

5.4参数选择实验

5.5 RACCA和CCA比较

5.6属性选择实验

5.6.1基本属性

5.6.2全部属性

5.6.3重要属性

5.7 ROC曲线

第六章结束语

参考文献

致谢

攻读学位期间发表的学术论文目录

附录