网络入侵检测系统中的智能算法研究

摘要

当前，计算机安全已经成为一个全球性难题，它对政治、经济、社会生活带来了广泛影响。网络入侵检测系统(NetworkIntrusionDetectionSystem,NIDS)作为保障计算机安全的重要技术手段和措施，越来越受产业界和学术界的重视。研究NIDS，其重点和难点就是：一是如何完成大规模的数据采集和处理；二是如何降低对已知攻击的误报率和漏报率、如何降低对未知新攻击的误报率和漏报率。 本文围绕这两个问题，对NIDS中的各种智能算法进行研究和探讨，并逐步加以改进和改善。主要工作和研究成果如下： (1)分析IDS、NIDS基本概念，相关技术、方法和分类；讨论NIDS算法方面的研究热点、难题和新进展；根据当前NIDS算法研究中存在的问题，提出本文的研究思路和主要研究内容。 (2)针对现有检测算法比较和评估只考虑检测正确率的问题，将时间和空间开销引入算法比较，分别基于在线数据及标准数据集设计了NIDS检测算法比较方法和评估方法，并证明了当测试次数趋于无穷时，入侵检测比较算法结果属于正态分布，且给出了置信区间表达式。 (3)为了使被检测数据尽可能保持时间序列特征，分别为在线数据和标准数据设计了最佳时间窗大小选择算法和进行检测的最佳分割算法。 (4)针对NIDS处理很大数据量的问题，采用基于粗糙集理论的属性简约方法对NIDS数据进行属性简约，并且对软件包ROSETTA进行改进，建立了特征提取算法。 (5)针对(4)中没有考虑对实际数据进行评估，还有降维空间的问题，采用遗传算法来完成特征选择；同时考虑到NIDS中特征的实际相关性，引入免疫中相似性度量的方法来描述这种关系，以实现冲散解，避免遗传算法局部极小的问题；利用基因编码模式中，一些特殊效应来指导遗传算法，例如上位效应，来改进遗传算法；考虑到遗传算法是全局搜索算法，利用混合算法的互补性，尝试利用遗传算法(全局搜索算法)+邻域搜索算法(局部搜索算法)来完成特征选择；同时考虑到邻域定义的不确定性，设计具有更高灵活性的遗传算法(全局搜索算法)+变邻域搜索算法(局部搜索算法)来完成特征选择，实现了输入数据的再次降维。经过实例测试，上述算法的逐步改进效果明显。 (6)针对基于规则的分类器进行NIDS入侵检测时，检测时间过长，对未知新的入侵模式的检测效果较差，不好控制和提高检测率的问题，本文采用基于小样本进行分析的支持向量机(SupportVectorMachine,SVM)算法进行分类器设计；针对常用的几种核函数的互补性特点，根据核函数的构建条件，构建混合核以提高分类器的训练和分类精度；针对基于混合核SVM的分类器参数多，关系复杂，而且无好的调节准则和算法的问题，提出将遗传算法引入到基于混合核SVM参数的寻优问题中，取得较好的效果。 (7)针对基于规则和SVM的分类器进行NIDS入侵检测，对全新的未知入侵模式的检测效果较差的问题，设计了基于聚类的孤立点算法并进行了改进，避免基于规则和SVM的分类器算法对异常模式过度拟合而泛化能力差的情况，但是这里也可能会增加虚警。 (8)将隐马尔可夫模型(HiddenMarkovModel,HMM)引入到NIDS中检测正常-异常模式异常，提出了正常-异常模式异常定义的紧急级别的新概念。针对直接对检测数据进行HMM训练和检测，计算量很大的问题，提出了采用先聚类降低状态维数，然后采用HMM的方法进行NIDS检测的方法，效果显著。 (9)设计和实现了NIDS测试系统。

目录

文摘

英文文摘

论文说明：记号与约定、资助

华南理工大学学位论文原创性声明及学位论文版权使用授权书

第一章绪论

1.1研究背景

1.2 IDS比较分析

1.3 NIDS分析

1.4 NIDS算法研究现状

1.4.1 NIDS算法的主要研究内容

1.4.2主要的NIDS算法

1.4.3 NIDS算法的研究进展

1.5问题的提出及其研究的意义

1.6研究思路

1.7主要研究内容

1.8本章小结

第二章NIDS测试评估、数据采集与分割算法研究及测试系统设计

2.1引言

2.2标准数据集

2.3算法的复杂度

2.4基于在线数据NIDS检测算法比较方法的设计和评估

2.4.1有关定义

2.4.2基于模拟在线数据NIDS检测算法比较方法的改进

2.4.3对基于模拟在线数据NIDS检测算法比较方法改进的评估

2.5基于标准数据集NIDS检测算法比较方法的设计和评估

2.5.1基于标准数据集的样本错误率的估计

2.5.2基于标准数据集NIDS检测算法比较方法的改进

2.5.3对基于标准数据集NIDS检测算法比较方法改进的评估

2.6构建最佳时间窗及数据分割算法

2.6.1有关定义

2.6.2在线数据最佳时间窗大小的选择

2.6.3对在线数据进行检测的最佳分割

2.6.4基于标准数据集计算最佳时间窗大小

2.6.5标准数据集的分割

2.7 NIDS算法测试系统设计

2.7.1 NIDS算法测试系统总体设计

2.7.2 NIDS算法测试系统各模块设计

2.8本章小结

第三章NIDS中的属性简约和特征选择算法研究

3.1引言

3.2基于粗糙集理论的属性简约方法在NIDS中的应用

3.2.1基于粗糙集理论的属性筒约原理

3.2.2 NIDS数据及属性描述

3.3.3基于改进ROSETTA的属性简约

3.3.4实例说明

3.3基于GA的特征选择算法

3.3.1问题的提出及解决思路

3.3.2遗传算法基本理论

3.3.3基本遗传算法与杰出者遗传算法

3.3.4遗传算法的局限性分析及改进思路

3.3.5基于GA的特征选择算法设计

3.4基于GA-IM及改进GA-IM的特征选择算法

3.4.1机理分析

3.4.2免疫算子分析与设计

3.4.3实例说明

3.5基于上位效应的GA特征选择算法

3.6基于混合GA的特征提取算法

3.6.1邻域搜索算法(NS)与变邻域搜索算法(VNS)

3.6.2互补邻域结构测试

3.6.3互补邻域结构的推论定义与测试算法

3.6.4遗传算法+邻域搜索算法(GANS)

3.6.5遗传算法+互补变邻域搜索算法(GACVNS)

3.6.6实例说明

3.7本章小结

第四章基于混合核的支持向量机的NIDS算法研究

4.1引言

4.2 SVM分类原理

4.3 SVM在NIDS算法中的应用

4.3.1分类器设计中NIDS数据及属性描述

4.3.2基于LIBSVM的分类器设计

4.3.3实例说明

4.4 NIDS算法中SVM混合核的分析与设计

4.4.1问题的提出和解决思路

4.4.2构建混合核函数

4.5基于GA的混合核SVM分类器参数寻优

4.5.1机理分析

4.5.2基于GA的混合核SVM分类器参数寻优算法设计

4.5.3基于GA-IM的混合核SVM分类器参数寻优算法改进

4.5.4实例说明

4.6本章小结

第五章基于聚类的NIDS算法研究

5.1引言

5.2带监督学习算法的局限性分析

5.2.1机理分析

5.2.2实例说明

5.3基于聚类的孤立点算法在NIDS中的应用

5.3.1聚类原理

5.3.2模糊C-均值聚类和减法聚类算法的应用比较

5.3.3基于二次计算聚类的孤立点算法设计及分析

5.3.4基于一次计算聚类的孤立点算法设计及分析

5.3.5实例说明

5.4本章小结

第六章基于聚类的HMM算法在NIDS中的应用

6.1引言

6.2 HMM理论及求解算法

6.2.1基于HMM建模优点

6.2.2 HMM算法

6.3基于聚类的HMM-NIDS算法

6.3.1问题的提出和解决思路

6.3.2基于聚类思想构建NIDS中的HMM算法

6.3.3实例说明

6.4本章小结

结论

附录

参考文献

攻读博士学位期间发表的论文

致谢