高速网络中实时流量识别系统的研究与设计

摘要

下一代互联网为用户带来了丰富多彩的用户体验，但同时庞大的网络流量也给网络管理人员及服务提供商带来了巨大的挑战。流量监测是保障网络可控性的基础。目前传输速率为10Gbps的设备已经被广泛应用，传输速率为40Gbps的设备也将出现在骨干网上，这给传统的流量监测技术提出了更高的要求。目前业界对流量识别技术的研究还远远无法满足业务发展的步伐，主要体现在目前大多数技术都采用离线分类的手段，无法实现实时监控。本文主要研究高速网络中实时流量识别系统的研究与设计，该系统能对高速网络环境下的业务进行实时精确分类，实现下一代网络流量的有效控制。
　　 本文深入学习和研究了传统流量识别技术以及数据挖掘的流量识别方法，提出了基于数据流挖掘的流量识别技术，并将采样技术应用到数据包采集过程中，以保证在不影响分类准确性的前提下，降低流量识别系统的负担。同时，本文将 VFDT（Very Fast Decision Tree）算法应用于实时流量识别中，并详细分析了如何在实时流量识别系统中应用VFDT算法。与此同时，定义了实时属性的重要特性，并制定了适合于本流量识别系统的实时属性集。最后，通过相关的实验以及不同情况下的结果进行了统计分析，说明如何根据实时流量识别系统的要求来使用VFDT算法，通过选择不同的VFDT参数以及不同的分类粒度，全面展示了该流量识别系统的分类精度。

目录

文摘

英文文摘

第一章 引言

1.1 课题研究背景及意义

1.2 课题研究的重点及创新意义

1.3 论文章节安排

第二章 流量识别技术

2.1 不同层面的流量识别技术

2.2 传统流量识别的方法与技术

2.2.1 基于端口的方法

2.2.2 基于净荷检测的方法

2.2.3 基于流量行为特征

2.3 数据挖掘算法

2.3.1 数据源与数据预处理

2.3.2 属性选择

2.3.3 主要算法

2.3.4 算法性能与结果的一些比较

2.4 高速网络中实时的流量识别

2.4.1 高速网络对流量识别带来的问题

2.4.2 网络流量中的采样技术

2.4.3 基于数据流挖掘的流量识别

第三章 流量采集和采样机制的研究与设计

3.1 数据采集机制

3.1.1 Linux系统下的包捕获机制

3.1.2 基于Libpcap的包捕获机制

3.1.3 PF—RING

3.2 数据采样机制

3.2.1 理论分析

3.2.2 实验观察

3.2.3 高速网络中的应用

第四章 基于数据流挖掘的实时流量识别算法研究

4.1 Hoeffding约束与Hoeffding树算法

4.2 VFDT算法

4.3 VFDT对Hoeffding树的改进

4.4 VFDT的优点以及不足

4.5 VFDT与流量识别系统

第五章 高速网络中实时流量识别系统的研究与设计

5.1 系统需求分析

5.1.1 基于流的流量特征分析的需求分析

5.1.2 高速网络中实时流量识别系统的需求分析

5.2 系统设计与流程图

5.2.1 系统分析与设计

5.2.2 系统框架和基本模块

5.2.3 系统主要使用的数据结构

5.2.4 系统流程图

5.3 模块的具体设计与实现

5.3.1 主要数据结构的设计

5.3.2 流实时属性选择

5.3.3 建树模块

5.3.4 流采集模块

5.3.5 分类模块

第六章 实验结果分析

6.1 实验设计

6.1.1 实验环境

6.1.2 数据源

6.1.3 分类粒度

6.2 实验结果的分析

6.2.1 流实时属性的选择

6.2.2 与分类结果相关的VFDT参数

6.2.3 选择不同的参数值组合

第七章 总结与展望

7.1 总结

7.2 展望及前景

参考文献

致谢

攻读学位期间发表的学术论文目录