基于Hadoop的全网络流量异常监测算法研究

摘要

网络安全防护水平随着网络规模的不断扩大被提升到一个新的高度。传统的入侵检测均基于单条链路或者单个节点，但是在大规模网络中大多数异常在单条链路或者单个节点的表征不明显，这就导致传统的入侵检测不能兼顾到大规模网络，因此需要将云计算引入到入侵检测中。Hadoop云计算平台在海量数据处理上具有的高效、高容错、高扩展和高可靠性以及开源的特点均有利于提高海量数据的处理能力，因此将Hadoop云计算平台引入入侵检测势在必行。
　　本文首先主要研究了Hadoop的两个关键技术:HDFS存储框架和MapReduce计算框架。分析并拆解了多尺度主成分分析(MSPCA)的主要步骤，并且基于MapReduce实现了对MSPCA算法的并行化;其次对并行化的MSPCA算法进行了可扩展性与加速比试验;最后在原型系统中验证并行化MSPCA算法对于异常流量的检测能力。

目录

声明

摘要

1 绪论

1．1 研究背景与意义

1．1．1 大数据时代网络安全的发展现状

1．1．2 入侵检测的发展现状

1．1．3 本文的研究意义

1．2 本文工作

1．3 论文的组织框架

2 Hadoop云计算平台研究

2．1 Hadoop概述

2．1．1 Hadoop与云计算

2．1．2 Hadoop的总体框架与模块简介

2．2 Hadoop分布式文件系统HDFS

2．3 Hadoop计算框架MapReduce

3 基于MapReduce的MSPCA算法并行化研究与实现

3．1 MSPCA算法

3．1．1 正常流量建模

3．1．2 残余流量分析

3．2 基于MapReduce对MSPCA算法进行并行化改造

3．2．1 基于MapReduce对流量矩阵进行小波分解

3．2．2 基于MapReduce对小波系数矩阵进行主成分分析

3．2．3 基于MapReduce对流量矩阵小波重构与主成分分析

4 并行化MSPCA算法测试与分析

4．1 Hadoop集群的部署

4．1．1 软硬件环境

4．1．2 Hadoop云计算平台配置

4．2 测试结果分析

4．2．1 数据集

4．2．2 处理节点的可扩展能力实验

4．2．3 数据的可扩展能力实验

4．2．4 加速比性能测评实验

5 流量异常检测系统在DETERlab环境下的部署与实现

5．1 DETERlab网络安全仿真环境与Emulab实验床

5．2 原型系统的设计与架构

5．3 原型系统测试

5．3．1 DDOS攻击—TCP SNY Flooding

5．3．2 端口扫描—TCP 445端口扫描

6 总结与展望

6．1 本文的总结

6．2 下一步的工作

参考文献

致谢