基于通用PC平台的流量测量方法的研究与评估

摘要

网络流量测量是了解网络流量特征的重要手段之一。网络流量监测分析可以获取网络行为特征，检测网络异常状况，发现网络瓶颈，并根据详细的流量信息实现故障定位和恢复。
　　 从实现方法的角度，目前所存在的流量测量方法可分为两大类：基于硬件的测量方法和基于通用PC平台测量方法。基于硬件的测量方法由于在高速链路的环境下具有了巨大的性能优势，一般为大型开发商和运营商所用。但是因为其价格比较昂贵，大多数的中小企业还是选用基于通用PC的流量监测方法。然而，随着网络速率的不断提高，基于通用PC平台的流量监测因为受到操作系统和硬件性能的限制，不能满足高速链路流量监测的需求。目前作为流量测量研究热点的流采样技术和高速链路数据包捕获技术在通用PC平台下同样也面临着巨大的挑战。本文深入调研了网络流量监测方法，分析了基于通用PC的流采样技术和高速链路的数据包捕获技术，主要工作如下：
　　 (1)提出了混合采样的大流估计方法。针对目前基于通用PC平台流量测量方法无法实现维护和存储每流状态的问题。本文结合自适应采样方法，提出了一种混合采样的大流估计方法，即通过预测当前流量状况自动调节采样概率和设置流大小阀值来判断和识别大流对象以提高采样的准确性并减少存贮空间。理论上给出了算法的流大小的无偏估计，相对误差的上界以及时间和空间复杂度。实验结果显示算法能够很好的调节采样概率，准确的识别大流对象。
　　 (2)评估了基于通用PC的高速链路数据包捕获方法。常用数据包捕获方法有Libpcap,libpcap_mmap，基于内核的数据包捕获方法以及基于共享内存的数据包捕获方法。然而由于操作系统和硬件的影响，不同的捕获方法在可操作性和实际应用上有所不同。本文通过实验对这四种数据包捕获方法进行评估，并且分析了NAPI模式和中断模式对数据包捕获方法的影响。实验表明流量大且小包多的环境下，NAPI模式对数据包捕获有很大的改善，而当大包多的情况下特别是256Bytes以上的数据包比较多的时候，采用中断的方式捕包性能更高。
　　 (3)设计并实现了流量监测分析子系统。主要设计和实现了子系统的核心部分流量分析模块，完成了基于流级和数据包级的流量监测分析等。该系统目前已经运行在实际网络环境中。

目录

文摘

英文文摘

插图索引

附表索引

第1章 绪论

1.1 研究背景及意义

1.1.1 研究背景

1.1.2 研究意义

1.2 国内外研究现状

1.3 本文的研究内容

1.4 论文结构

第2章 网络流量测量技术研究

2.1 网络流量的基本概念

2.1.1 网络流量的基本定义

2.1.2 数据包监测的定义

2.1.3 流(flow)的定义

2.2 流量测量技术分类

2.2.1 基于硬件的测量方法

2.2.2 基于通用PC平台测量方法

2.3 网络测量中采样技术概述

2.3.1 采样测量技术的提出

2.3.2 采样测量技术的分类

2.3.3 采样测量技术发展趋势

2.4 基于通用PC流量测量技术的难点问题

2.4.1 基于采样大流估计方法的研究

2.4.2 基于高速链路的数据包捕获技术研究

2.5 本章小结

第3章 混合采样的大流估计方法

3.1 引言

3.2 采样方法概述

3.3 自适应采样算法

3.3.1 采样概率调节

3.3.2 大流的判断

3.4 算法分析

3.4.1 无偏估计

3.4.2 相对误差

3.4.3 存储开销

3.4.4 时间复杂度

3.5 实验

3.6 本章小结

第4章 基于通用PC的高速链路数据包捕获方法评估

4.1 引言

4.2 数据包捕获方法概述

4.2.1 基于Libpcap数据包捕获方法

4.2.2 基于Libpcap_mmap的数据包捕获方法

4.2.3 基于内核的数据包捕获

4.2.4 基于多空间内存共享的数据包捕获方法

4.2.5 基于中断的数据包捕获

4.2.6 基于NAPI的数据包捕获

4.3 实验环境和配置

4.3.1 实验环境以及发送流量

4.3.2 实验设计

4.4 实验结果分析

4.4.1 包大小VS数据包分析能力测试

4.4.2 中断模式下数据包分析能力测试

4.4.3 NAPI模式下数据包分析能力测试

4.4.4 数据包大小VS NAPI性能分析

4.5 本章小结

第5章 高速链路流量监测分析子系统设计与实现

5.1 引言

5.2 系统概述

5.3 流量分析模块设计与实现

5.3.1 数据包捕获

5.3.2 流量分析

5.3.3 结果汇总

5.4 系统应用

5.5 本章小结

结论

参考文献

致谢

附录A 攻读硕士学位期间所发表的学术论文目录

附录B 攻读硕士学位期间所参与的科研活动