基于Hadoop的入侵检测系统研究

摘要

计算机的普及以及网络技术的不断发展极大地改变了人们的生活方式，提高了人们的工作效率。与此同时，由于网络的攻击行为越来越严重，如何更好地保证网络的安全受到人们越来越多的关注。入侵检测系统是一种可以对网络安全进行检测、报警、响应的技术，它通过采集网络中某些关键信息并对其进行分析，从而发现异常或者入侵攻击行为。但是，随着网络规模的增大和数据流量的增多，传统的入侵检测系统的缺点越来越多，如何对海量数据进行处理，从而精确且快速地发现异常行为是入侵检测领域研究的一个重点。 本文针对传统的入侵检测系统单点失效以及无法处理海量数据的问题，提出了一个基于 Hadoop的入侵检测系统模型和改进的关联规则算法，来提高海量数据的处理能力，提高入侵检测系统的性能。 本文的主要工作内容和创新点如下： （一）搭建Hadoop实验平台。针对本文提出的基于Hadoop集群的入侵检测系统模型搭建了 Hadoop实验平台，并对实验平台中用到的相关技术进行了详细的介绍。 （二）针对传统入侵检测系统在数据规模较大时，数据处理能力不足、单点失效的问题，本文设计一个基于 Hadoop集群的入侵检测系统模型。对模型中用到的检测代理模块、数据收集组件和存储模块的功能和设计方法进行了详细的介绍，并针对各个模块之间数据传递机制进行了详细的设计。 （三）针对传统的关联规则算法无法处理海量入侵数据记录的问题，给出了一种改进的基于Hadoop的关联规则算法——IFP H算法。算法将传统的关联规则算法（FP-Growth）并行化，利用剪枝策略对频繁模式树（FP-Tree）的规模进行压缩，减少数据的处理量，来提高算法的数据处理效率。在搭建的实验平台上对算法进行性能测试，实验结果表明了改进算法的有效性和可扩展性。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1. 1 研究背景和意义

1. 2 国内外研究现状

1. 3 本文研究内容

1. 4 本文结构安排

第二章 相关知识简介

2. 1 入侵检测技术

2. 2 数据挖掘概述

2.3 Hadoop相关技术

2. 4 本章小结

第三章 基于Hadoop的分布式IDS（HIDS）模型设计

3.1 当前IDS的缺点

3.2 HIDS模型描述

3. 3 关键模块实现分析

3. 4 本章小结

第四章 基于Hadoop的关联规则挖掘算法IFPH

4. 1 关联规则算法分析

4.2 FP-Growth算法改进

4. 3 实验平台搭建

4. 4 实验结果分析

4. 5 本章小结

第五章 总结与展望

5. 1 总结

5. 2 展望

参考文献

致谢

作者在攻读硕士期间主要研究成果