大型企业数据骨干网VPN应用流量的异常检测算法研究

摘要

VPN在大型企业中的应用越来越多，承载着许多关键的业务应用，它的安全和稳定直接关系到企业的正常发展。大型企业的网络往往都是广域网，连接着它的所有分支机构，属于大规模的网络。目前对大规模网络的异常流量检测研究是网络安全领域的一个热点，但是还远远不够成熟。特别是在大规模网络中VPN应用的异常流量检测方面的研究工作还很少。
　　 本文在研究了目前大规模网络的异常检测方法的基础上，首先分析了各种方法的优缺点，然后根据本文研究的具体网络环境选择了CUSUM累积和算法进行异常流量的检测。
　　 本文发现了大型企业规范的 VPN应用流量内在规律，即同类应用的包数和流记录数有相对稳定的比值关系。然后由此将检测序列进行变换，消除周期性和突变性，使其更有利于CUSUM算法的检测。接着分析了通用的CUSUM算法的不足，然后针对不足提出了相应的改进算法。
　　 本文设计的检测平台是某大型企业内部正在使用的流量管理系统的一个子模块，所以实验的数据都是真是产生的数据，而不是模拟的，因此实验结果更加可信。通过对改进前后的CUSUM算法的检测结果进行分析比较，证明了在同样条件下，改进的CUSUM算法对小流量的异常有更好的检测能力，同时能更快地产生报警，而误报率也控制得非常好。

目录

文摘

英文文摘

声明

第一章 绪论

1.1 课题的背景与意义

1.1.1 骨干网定义、现状和发展

1.1.2 企业级数据骨干网

1.1.3 了解企业的应用流量

1.2 网络流量数据采集分析概述

1.2.1 基于侦听网络数据包的包分析模式

1.2.2 基于SNMP/RMON的流量采集方式

1.2.3 基于硬件探针PROBE的流量采集方式

1.2.4 基于流Flow的流量采集方式

1.3 网络流量异常检测技术概述

1.3.1 网络流量异常分类

1.3.2 常用的异常检测方法

1.3.3 大规模网络的异常检测问题

1.4 本文工作内容

1.5 论文的组织结构

第二章 NetFlow技术发展状况

2.1 NetFlow概述

2.1.1 NetFlow技术的起源

2.1.2 什么是NetFlow

2.1.3 NetFlow的处理机制

2.1.4 基于NetFlow的网络管理

2.1.5 NetFlow在异常检测中的优势

2.2 NetFlow的版本演进及数据输出格式

2.2.1 版本演进

2.2.2 Netflow数据输出格式

2.3 NetFlow的部署

2.3.1 NetFlow的部署结构

2.3.2 路由器Netflow配置

2.3.3 对网络性能影响

2.4 NetFlow采样

2.4.1 Netflow采样方法

2.4.2 采样对分析结果的影响

2.5 本章小结

第三章 大规模网络的异常检测方法研究

3.1 大规模网络流量异常概述

3.2 子空间方法

3.2.1 PCA主成分分析

3.2.2 子空间检测

3.3 基于信息熵的方法

3.3.1 信息熵

3.3.2 信息熵分析

3.4 基于统计模型的方法

3.4.1 间序列模型

3.4.2 指数平滑技术检测方法

3.5 基于流量特征的方法

3.6 累积和校验方法

3.6.1 变点的连续检验问题

3.6.2 累积和(CUSUM)检验原理

3.6.3 平均运行长度与参数选择

3.6.4 CUSUM算法在异常检测中的实际应用

3.7 本章小结

第四章 VPN应用流量分析

4.1 VPN简介

4.1.1 AccessVPN

4.1.2 IntranetVPN

4.1.3 ExtranetVPN

4.2 VPN应用流量采集

4.3 VPN应用流量特征分析

4.3.1 周期性

4.3.2 突变性

4.4 流量序列的预处理

4.4.1 深入挖掘网络流特征

4.4.2 Netflow统计值处理

4.5 本章小结

第五章 改进的CUSUM算法实现

5.1 通用的CUSUM算法的实现

5.2 通用CUSUM算法的不足

5.3 CUSUM算法的改进

5.3.1 动态k值

5.3.2 自适应检测门限

5.3.3 k值和门限动态结合

5.4 改进CUSUM算法的实现

5.5 本章小结

第六章 检测平台的设计与实现

6.1 系统概述

6.2 系统主要功能

6.3 系统软件架构

6.4 系统软硬件环境介绍

6.4.1 系统软件配置环境

6.4.2 系统硬件配置环境

6.5 数据处理流程

6.6 异常检测模块

6.6.1 程序流程

6.6.2 原始数据处理

6.6.3 CUSUM算法检测

6.6.4 主要功能函数及参数

6.7 系统运行效果

6.7.1 系统前台展示

6.8 本章小结

第七章 检测结果分析

7.1 检测环境

7.1.1 网络规模

7.1.2 VPN配置

7.2 检测结果比较

7.2.1 Zn与Pn的比较

7.2.2 Zn与Dn的比较

7.2.3 Zn与Sn的比较

7.2.4. Pn与Sn的比较

7.2.5 Dn与Sn的比较

7.2.6 小结

7.3 异常定位和处理

7.4 本章小结

总结

参考文献

攻读硕士学位期间取得的研究成果

致谢