基于数据挖掘和复杂事件处理的分布式入侵检测系统的研究

摘要

入侵检测是近10余年发展起来的一种动态的监控、预防或低于系统入侵行为的安全机制。主要通过监控系统、网络的行为、状态以及系统的使用状况，来检测用户是否越权使用以及系统的安全缺陷是否被外部入侵者利用并对系统进行入侵的企图。由于入侵检测系统需要不断更新专家规则库已跟不上入侵技术的发展。早期的基于知识工程方法的入侵检测系统，通过手动编写用户行为特征和用户的正常行为轮廓或异常模式来实现入侵检测，这种针对某种具体系统环境的方法早已缺乏有效性、适应性、扩展性及可伸缩性。数据挖掘技术凭借从大量数据中自动提取出模型的优势已被广泛的引用到入侵检测系统中。利用数据挖掘技术的归纳能力和挖掘算法对审计数据进行分析，从而能自动从海量数据中发现新的模式。现有的基于数据挖掘的入侵检测系统，大多只是把收集到的网络数据包与已有的攻击模式进行匹配，发现入侵行为。这种方法对于常见的入侵行为的检测效率很高，但对于一些新的未知的攻击却往往无能为力。即使目前有人提出的动态入侵检测系统也存在着入侵检测漏报和误报率偏高，以及必须海量存储数据的硬盘来支持该算法等缺陷。
　　 本论文针对当前入侵检测系统的综合性能不能很好地满足实际网络安全需要的不足，提出了将复杂事件处理技术和数据挖掘技术一并应用到入侵检测系统的研究工作中。论文主要包括以下内容：
　　 1)根据数据挖掘技术和复杂事件处理技术的学习研究，找到它们在入侵检测系统的必要性和可行性，本文设计了一种基于数据挖掘和复杂事件处理的分布式入侵检测系统，给出了系统的体系结构。
　　 2)基于复杂事件处理技术的实时性，智能化，预警性，低耦合，低成本等优势避免了高成本的海量数据存储硬盘的使用。复杂事件处理技术的易变性在极大程度上提高了本文提到入侵检测系统的可移植性，使系统的维护更改变得十分方便。本文提出的复杂事件处理技术将极大的提高入侵检测系统的综合性能。
　　 3)本系统在数据分析系统中定义了一个数据挖掘模块，采用聚类分析算法和基于FP树的关联规则分析算法进行规则挖掘，实现自动更新入侵规则库。为了防止入侵规则库的过度扩张，提出了一种入侵规则库优化算法。
　　 4)根据入侵检测系统的实际需要将基于数据挖掘和复杂事件处理的分布式入侵检测系统划分为三个子系统：数据采集子系统，数据分析子系统，响应子系统。本文把整个入侵检测系统看作是一个OracleCEPIDE应用程序，将各个子系统融入到OracleCEPEPN中，使真个系统协调高效的工作。
　　 5)对本文设计并开发的基于数据挖掘和复杂事件处理的分布式系统分别进行了功能测试和性能测试，实验结果表明该系统具有良好的综合入侵检测能力，并在检测准确率上有了一定的提高。能够满足当前网络安全的需要，具有一定的理论价值和实际意义。