基于Netflow的网络异常流量发现的研究与实现

摘要

目前,网络的演进方向是IP化。随着网络的发展和业务的推动,大多数业务都被迁移到IP网络上来。在全IP网络承载越来越多的业务的同时,网络安全问题也层出不断,网络中出现了越来越多的异常流量。异常流量的检测也就随之成为了网络运营商关注的重点对象。通过对网络流量检测可以及时的发现网络问题,采取对应措施保证网络的正常运行。随着网络规模的扩大,网络流量呈指数级增加,传统的基于数据包和字节数的检测技术变得不堪重负。随之,基于流的异常检测应时而出。Cisco公司提出了Netflow技术。Netflow技术以流为基础进行统计,提供多粒度的流量分析,是进行异常流量检测的最佳选择。
　　 本文在分析以往基于Netflow的异常检测技术选取的指标和算法的基础上,对校园网络流量的Netflow数据进行了长期多视角、多粒度的分析,并提出了利用融合指标和融合指标时间窗比较算法进行异常发现的新方法。融合指标主要反映了网络流的特点,去除了网络流量的非平稳因素;融合指标时间窗比较算法分为纵向和横向的比较,纵向的比较是分析融合指标的长期变化趋势,横向比较是分析融合指标的短期变化趋势。
　　 本文利用融合指标和融合指标时间窗比较算法设计并实现了一个基于Netflow的异常发现系统。整个异常发现系统包括数据采集,数据处理和异常检测三个模块,数据采集模块负责Netflow数据的采集,并对数据库做优化处理;数据处理模块对Netflow数据进行裁剪,只保留异常检测所需字段;异常检测模块主要包括检测指标的提取,融合指标时间窗检测算法两个子模块。指标提取模块分为初级指标提取和融合指标提取两步。本文给出了各个部分的详细设计,列举了实现所涉及的主要类及说明,并对各个模块进行了测试,达到了预期的效果,最后对论文加以总结并提出了进一步的工作。

目录

文摘

英文文摘

第一章 绪论

1.1 课题研究背景

1.2 网络异常流量检测的研究现状与发展趋势

1.2.1 研究现状

1.2.2 发展趋势

1.3 本论文的主要工作

1.4 本论文的创新点

1.5 本文的组织结构

第二章 异常流量检测技术相关知识介绍

2.1 异常流量的定义

2.2 网络异常流量分类

2.3 常用的网络流量采集与统计技术

2.3.1 基于Sniffer的方法

2.3.2 基于SNMP协议的方法

2.3.3 基于RMON的方法

2.4 基于Netflow的方法

2.4.1 Netflow概述

2.4.2 Netflow流

2.4.3 Netflow缓存cache

2.4.4 Netflow数据导出

2.4.5 Netflow数据聚合

2.5 常用的异常检测技术介绍

2.5.1 基于分类的异常检测技术

2.5.2 基于最近邻点的异常检测技术

2.5.3 基于聚类的异常检测技术

2.5.4 基于统计的异常检测技术

2.5.5 基于信息理论的异常检测技术信息

2.5.6 基于光谱的异常检测技术

2.6 本章小结

第三章 基于Netflow的异常发现算法设计

3.1 检测指标选择

3.2 基于Netflow的异常检测算法

3.2.1 TOPN与基线法

3.2.2 常规匹配法

3.2.3 基于信息熵的算法

3.2.4 基于小波分析的算法

3.2.5 滑动时间窗算法

3.2.6 上述算法的特点比较

3.3 融合指标时间窗比较算法

3.3.1 融合指标时间窗纵向比较算法

3.3.2 融合指标时间窗横向比较算法

3.3.3 融合指标时间窗异常修正算法

3.4 技术对比

3.5 本章小结

第四章 基于Netflow的异常发现系统设计与实现

4.1 系统的设计目标

4.2 系统总体框架结构

4.3 系统的工作流程

4.4 数据采集模块

4.4.1 数据采集模块工作流程

4.4.2 大规模数据优化处理

4.5 数据处理模块

4.6 异常检测模块

4.6.1 指标提取子模块

4.6.2 融合指标时间窗比较算法检测子模块

4.7 实现主要类说明

4.8 本章小结

第五章 实验与系统测试

5.1 测试环境

5.2 指标实验

5.3 系统测试

5.3.1 数据采集模块测试

5.3.2 数据处理模块测试

5.3.3 异常检测模块测试

5.4 结果分析

5.5 本章小结

第六章 总结与展望

6.1 工作总结

6.2 进一步的工作

致谢

参考文献

在学期间的研究成果及获奖情况

科研工作情况

发表论文

获奖情况