基于数据挖掘技术降低入侵检测系统误报率的研究

摘要

在允许各种网络资源以开放方式运作的前提下，入侵检测成了确保网络安全的一种必要手段。然而，由于网络组件之间相关性太强，一个组件的错误会导致很多与其相连的组件报错，从而触发大量警报。KlausJulisch列举了常见的几种网络错误并进行了具体分析，发现这些错误会导致99％以上的警报，而这些警报不是真正意义上的入侵。由于真正的攻击隐藏在大量误警中，导致很难识别真正的攻击行为，利用人工处理这些海量的警报是不现实的。因此，我们的思想是以系统中触发过的历史警报为研究对象，通过对历史警报的学习，找出误报的特点，推导出过滤规则，以指导对未来警报的触发，实现自动减少误报。对于与过滤规则匹配的警报，我们有理由怀疑这又将是一次“错误”的报警，因此选择“丢弃”即不触发该类警报。这样，可以大大减少警报负荷，降低系统误报率。 以数据为中心的观点看，处理入侵警报本身就是一个数据分析过程。在许多相关的领域，数据挖掘已经取得了成功的应用。于是，如何利用数据挖掘技术实现对历史警报数据的高效挖掘，获得过滤规则，以指导未来警报的触发成为研究热点。 本文通过对应用于入侵检测的多种数据挖掘技术的研究，提出一种基于频繁模式树的AOI聚类算法。该算法能有效降低系统误报率，并且它还针对KM-AOI算法存在无效概化、抗噪声能力差及规则不精确等缺点进行了改进。将频繁模式树的构造思想引入KM-AOI算法，有效减少了概化次数，避免了无效概化和数据回滚，获得更精确的规则，并实现了一定的“抗噪声”功能。 在工作过程中，选择频繁度最大的属性作为概化对象，并根据概化取值不同，实现警报数据的逐步分组，并以产生频繁模式树的子结点的形式储存分组结果，对子结点中的数据递归上述过程。最终，挖掘结果存储于频繁模式树的叶结点中。频繁模式树的应用，保证了仅对“必须”的数据进行概化，避免了无效概化，从而达到了提高聚类效率的目的；而且，保证了不再对已频繁属性值进行任何概化操作，从本质上杜绝了“过概化”的发生，得到更精确的挖掘结果。 为了避免噪声数据的干扰，对分组中的警报，首先判断其是否符合“最小值”要求，再确定是否对其进一步概化。这防止了对噪声数据的“过度概化”，并且可在概化过程中剔除噪声数据，进一步优化了训练数据集。 分析了两种算法的时间和空间复杂度，对其性能进行比较，新算法性能提高约一倍，并结合一个实例说明两种算法的工作过程。与KM-AOI算法的比较实验表明，改进的算法具有更好的可扩展性，能从本质上杜绝“过概化”，获得更精确的规则。最后我们分析了新算法的缺陷和不足之处。 总之，在入侵检测系统挖掘警报的过程中，通过将频繁模式树与KM-AOI算法相结合，减少了挖掘工作量，提高了挖掘效率，达到了预期的设计目标。

目录

文摘

英文文摘

原创性声明和关于学位论文使用授权的声明

1引言

2入侵检测研究

3数据挖掘技术

4KM对AOI的三点改进

5KM-AOI算法与基于频繁模式树的AOI算法

6结束语

参考文献

致谢

攻读硕士期间发表的学术论文目录