基于自适应抽样的网络热点监测系统

摘要

随着互联网的不断建设和发展，互联网用户对网络应用多样化和网络服务性能的需求越来越高，特别是网络物理传输线速的进一步提升都极大地增加了高速主干网络测量和管理的难度。通过分析高速网络流量行为特征发现，越来越多的网络应用和网络安全事件都表现为网络热点，即短时间内产生或接受大量的报文、字节或逻辑链接的节点或子网，并占用大量的带宽资源，这些网络热点对网络运行的可用性、安全性和稳定性产生极大的影响。因此，如何检测和监控网络热点是高速主干网络测量的一个重要研究内容。
　　 论文在高速网络环境下，通过分析网络流量的特征以及现有传统网络测量系统的局限性，并对高速、突变、海量的网络流数据和有限的网络测量资源之间的矛盾进行深入研究，设计了适用于高速复杂网络环境下的网络热点测量系统模型，并对自适应网络热点测量算法进行了分析，最终设计并实现用于高速网络环境下基于自适应抽样的网络热点监测系统。论文首先介绍目前网络状况和整个网络测量技术的发展，对现有的网络测量系统的局限性进行了讨论，引出网络热点测量的迫切性和必要性；对网络热点进行量化定义，分析国内外网络热点测量领域的发展状况和现有的网络热点测量技术，指出网络热点测量的难点，提出研究与实现网络热点测量系统的应用需求。
　　 接着在基于自适应抽样的网络热点监测系统的分析和设计中，着重研究网络热点测量的核心算法和核心技术。重点分析超流和重尾流检测算法，现有算法目前只能从报文、字节或逻辑链接的一个维度上对网络热点进行分析，不能对网络热点进行多维属性测量和监控。论文提出基于自适应抽样的网络热点测量算法，此算法可以同时从报文、字节和逻辑链接对网络热点进行多维属性测量，而且能够在测量过程中控制内存空间的使用，并且采用了轮转时间窗口测量技术，测量精度也较以前的算法有较大的提高。同时论文对系统中的网络原始报文预处理算法、网络热点属性补偿算法、不等概率非网络热点淘汰算法、抽样比自适应调整算法和轮转时间窗口调整策略算法等核心算法进行深入分析。流哈希函数是测量系统中数据抽样和数据组织的基础，其性能直接影响测量系统的整体性能。论文研究了流哈希函数关键技术，定义了流哈希函数和报文哈希函数，分析现有的流哈希函数及其性能测度，通过实验为网络热点测量系统中流哈希函数的选择提供依据。
　　 随后论文提出了系统的设计需求，完成系统的整体架构设计。在系统整体数据流程和基于自适应抽样的网络热点检测核心算法的基础上，对系统运行中的功能模块和数据流程进行划分，提出了系统的功能结构设计，并使用功能图直观化描述了系统的整体运行状态和各个功能模块之间的协同工作关系；对一些重要的功能模块进行了详细设计。同时在实验室的网络环境中实现了系统原型。最后，论文对测量系统的原型系统及其核心算法进行了相关测试，还研究了自适应参数的选取。实验结果表明论文所提出的热点测量算法在功能和性能上能适用于高速主干网络的环境。

目录

文摘

英文文摘

声明

第一章绪论

1.1引言

1.2 网络测量研究

1.2.1网络测量现状

1.2.2现有网络测量系统

1.3网络热点测量研究

1.3.1网络热点定义

1.3.2网络热点测量研究现状

1.4研究目标和主要研究内容

1.4.1论文研究目标

1.4.2主要研究内容

1.5课题来源

1.6组织结构

第二章网络热点测量算法

2.1算法研究基础

2.1.1资源节约型监测算法

2.1.2基于自适应抽样的超点检测算法

2.2算法改进分析

2.2.1网络热点多维属性测量分析

2.2.2测量时间周期分析

2.3算法总体设计

2.3.1算法概述

2.3.2算法的数据流模型

2.3.3算法总体流程

2.4算法分析设计

2.4.1报文预处理过程

2.4.2更新过程

2.4.3自适应过程

2.4.4轮转时间窗口调整过程

2.5算法性能分析

2.5.1 Bitmap空间分析

2.5.2流表结构空间分析

2.5.3时间代价分析

2.6 本章小结

第三章面向网络热点的流哈希函数

3.1流哈希函数概述

3.1.1研究背景

3.1.2流哈希函数的应用

3.2流哈希函数

3.2.1哈希函数定义

3.2.2常用流哈希函数

3.2.3性能测度

3.3性能比较分析

3.3.1理论比较

3.3.2实验比较

3.4 本章小结

第四章网络热点测量系统设计与实现

4.1测量系统总体设计

4.1.1设计需求

4.1.2总体设计结构

4.1.3系统数据流

4.2系统功能设计

4.2.1总体功能设计

4.2.2 Web用户交互设计

4.2.3数据接口设计

4.2.4数据库设计

4.3系统参数设计

4.3.1数据源模块

4.3.2测量时间片的设定

4.4系统实现

4.4.1系统模块实现

4.4.2系统开发运行环境

4.5本章小结

第五章系统测试与分析

5.1 测试方案

5.1.1测试内容

5.1.2测试评价测度

5.1.3测试数据说明

5.2测试结果分析

5.2.1系统总体性能测试

5.2.2原始报文抽样比调整测试

5.2.3自适应过程测试

5.2.4网络热点测量误差分析

5.3本章小结

第六章总结与展望

6.1论文工作总结

6.2未来工作展望

致谢

参考文献

附录

作者介绍