基于分布式计算的网络流量异常检测系统

摘要

随着网络的开放性、共享性及互联程度的扩大，网络的重要性以及对社会的影响也越来越大。Internet的迅速发展给人们带来巨大方便的同时，也使我们面临着各种安全事件的威胁。据统计，近年来针对网络资源的各种攻击带来了巨大的经济损失。异常检测作为网络的安全防护体系逐渐成为网络安全领域的研究重点。
　　 互联网时代的数据是庞大的，尤其是大规模网络的数据流量，能够快速而精确地从海量日志数据源中检测出异常的系统具有很好的市场前景。本文针对大量数据，提出了结合分布式计算思想进行并行处理的方法，介绍了开源软件平台Hadoop在分布式并行计算方面的优点，实现了数据预处理的具体应用并进行了相关实验。接着从对流量异常分类的研究入手，通过对目前主要的流量攻击的攻击特征的分析，根据信息熵的定义，得出网络信息熵能应用于网络流量异常检测。系统设计了基于网络信息熵的算法，结合统计学中的主成分分析法和子空间方法，共同实现了对网络流量异常的检测。
　　 本文所实现的实际系统包括数据预处理模块，熵值计算模块，主成分分析模块和子空间异常检测模块。系统结合实际应用，得到了较好的检测效果。论文最后还对研究中存在的问题及有待于进一步研究的课题进行了探讨。论文为异常检测系统设计提供了有价值的参考，具有一定的理论意义及实际应用价值。

目录

文摘

英文文摘

第一章 绪论

1.1 网络安全概述

1.2 网络流量异常的分类

1.3 课题研究背景

1.3.1 网络流量异常检测

1.3.2 网络流量异常检测的意义

1.4 本文的工作和内容安排

第二章 网络流量异常检测技术

2.1 异常检测的分类

2.2 异常检测的主要方法

2.3 本文方法

2.4 小结

第三章 Hadoop分布式计算平台的研究

3.1 分布式计算开源框架Hadoop概述

3.1.1 分布式计算思想

3.1.2 Hadoop核心思想

3.1.3 Hadoop具体结构

3.2 Hadoop性能分析

3.3 小结

第四章 主成分分析和子空间法的研究

4.1 熵值计算

4.1.1 信息熵

4.1.2 网络信息熵

4.2 主成分分析法

4.2.1 概念准备

4.2.2 主成分分析的基本原理

4.2.3 主成分分析的计算步骤

4.3 子空间法

4.4 小结

第五章 基于分布计算的网络流量异常检测系统

5.1 实验环境

5.2 实验数据

5.2.1 网络数据流采集方法概述

5.2.2 NetFlow数据采集技术

5.2.3 实验数据分析

5.3 实验系统具体流程

5.3.1 数据预处理

5.3.2 异常检测主体模块

5.4 实验结果验证与分析

5.4.1 Hadoop处理结果分析

5.4.2 异常检测结果分析

5.5 小结

第六章 总结与展望

6.1 对本文工作的总结

6.2 对未来工作的展望

参考文献

附录

致谢

作者攻读学位期间发表的学位论文目录