IP网络测量数据存储与流量建模研究

摘要

IP网络规模不断扩大,异构化程度不断增加,带宽成倍增长,网络日益复杂。IP网络流量测量和建模研究与分析具有非常重要的作用和意义,它是网络监视预测、协议设计、设备开发、网络管理与网络性能提升的基础,同时也是一项异常复杂且需要持续不断进行的工作。而纷繁复杂的应用层业务、高速的网络链路、海量的流量数据和持续变化的网络给IP网络流量测量和建模研究与分析带来了巨大的挑战。
　　 本文面向纷繁复杂的应用层业务和持续变化的网络,充分利用自主研发的支持高速链路的分布式网络流量测量和控制系统,设计改善流量测量数据的实时接口与存储体系,并以当前国内实际运营商网络中的流量测量数据作为分析对象,将应用层流量作为研究的重点,分析应用层流量的特性、变化趋势以及异常流量检测等,采用统计学方法进行建模,通过实验,验证模型的可靠性。
　　 概括的讲,本文的贡献主要包含以下几个方面:
　　 1.网络监测平台与实时数据接口设计
　　 在流量数据的实时共享方式中,专用API接口使用复杂,而MIB有相对好的标准化优势,但支持MIB的科学分析工具却很少。为了解决海量流量数据的实时共享问题,本文提出建立开放分布式的高速网络流量监测平台的一种设计方法,在监测平台上提供一个专门的OPC服务器,此OPC服务器与监测平台软件通过共享内存交换数据,同时提供数据接口供其它的OPC client工具进行访问。这是业界首次将OPC这种自动化控制领域中的世界标准用于网络监测平台中,使平台更有开放性和扩展性,可方便使用具有OPC client功能的工具对网络数据做各种分析。其它网络服务系统可以通过这种通用的接口访问到所需要的网络数据指标,进行相关的服务控制。该方法已经在自主研发的网络监测分析系统中得到应用。
　　 2.测量数据与多级流量数据存储系统设计
　　 本文设计并实现了流量数据的多级存储系统,适应于不同精度的测量需求又兼顾了成本、性能和效率,并根据高速网络流量的重尾分布特性,采用合理的流数据存储策略,相对于Ciseo NetFlow采取的只存储流中的每个数据包的前N个字节的简单方法,本方法大幅度减少要存储的数据量,同时又保留了重要的网络控制信息。为了提高流数据处理效率,本文还通过实验分析并实现用于流数据处理串操作函数的指令级优化方案。采用自主研发的网络监测分析系统,作者在全国多个ISP架设实验局进行监测,包括电信运营商、网络服务商以及企业用户,获取大量的一手数据,从而深入了解我国互联网的流量现状,为本文的研究提供有力的基础。
　　 3.应用层流量ARIMA季节乘积混合预测模型
　　 本文提出基于应用层的流量预测分析模型,对国内某城域网出口链路上的应用层流量序列采用ARIMA季节乘积混合模型(p,d,q)(P,D,Q)s建模并预测。Internet流量是具有复杂非线性组合特征的季节性时间序列。目前国内外的网络流量预测研究主要集中在网络层和传输层,且仅采用单一的ARMA(n,n-1)模型来描述网络的整体流量趋势。本文模型的实验结果表明,在同一个城域网中不同的应用层流量表现出不同的行为特征,经ARIMA季节乘积混合模型(p,d,q)(P,D,Q)s预测的应用层流量趋势与实际曲线基本相似,平均绝对百分比误差在10％左右。
　　 4.基于多变量故障诊断技术的网络异常检测与分析
　　 借鉴控制领域中的多变量故障诊断技术,本文提出了一种新的网络异常检测方法。由于监测分析系统将数据流量指标按已知应用分解并存储,本文将应用层流量指标按一定的时间窗口建立一个流量数据矩阵,采用主成份等统计分析方法对这个高维相关变量空间进行降维,将其转化为相互独立的低维变量空间,实现对复杂过程数据的特征抽取,并建立相应的主成份模型。主成份模型舍弃了部分残差而保留体现数据变异的主要方向。由于变量间的相关关系,一个特定的异常会使测量值按照特定的规律变化,主成份模型则包含了异常在变量空间的变化方向。在反映过程主要变化的几个主成份中,异常表现了它们对系统的不同影响。实际异常的监测与分析可以依据基于主成份模型的平方预测误差(SPE)统计图法和主成份贡献图法来进行的。通过SPE统计图本文可以发现在哪个时间点出现异常,通过主成份贡献图可查出是哪一个分量对异常的贡献最大,从而可获知是哪一个应用层指标出现异常。这种方法简洁实用,进一步挖掘了监测分析系统指标数据的应用潜力,随着系统的进一步完善,对应用层流量的分解越来越细致,这种方法的精确性也会越来越高。