基于边缘测量的高速网络链路流量测量系统研究

摘要

随着网络新业务的层出不穷和网络用户的飞速增长，网络业务量有了巨大的提升，骨干网络的链路速度已经达到1Gbps/s～10Gbps/s。目前，大多数网络测量系统的监测能力已经远远不能适应高速网络。在1000Mbps/s的链路速度下，大多数测量系统其报文丢失率较高，或者根本无法正常运行。虽然少数流量测量系统可以通过抽样网络中的数据报文在千兆环境下运行，但是抽样获得的网络测量数据会对网络状态刻画带来极大的不确定因素。 面对网络规模日益庞大，拓扑结构越来越复杂，网络链路带宽和业务量不断的增长，由此网络测量环境的提速给网络测量带来了更大的困难，加上网络分析技术对测量的要求越来越高，大多数网络测量系统已经表现出了它的局限性。构建一个能够在高速网络中以线速捕获报文的测量系统，设计和发展一个高性能的测量平台使它具有高效率的可测量范围性和灵活性，用来满足当前和未来在高速网络环境中进行流量测量的需要具有重大的意义。 本论文对高速网络链路流量测量系统进行了较为深入的研究，主要进行了以下四方面的研究工作： （1）研究了基于边缘测量的高速网络链路流量测量模型，该模型中的关键技术包括以下三点：一是瓶颈链路背景流量的测量，目的是保证注入的探测包能够较为准确地反映网络的路由信息；二是数据包快速分类算法，目的是保证在边缘测量模块中能快速准确地将采集到的数据包归类为所属的流；三是边缘测量单元中sd节点对流量测量系统的实现，目的是确保我们的思路能够在实际中实现。边缘测量模型采用分级结构包括：边缘测量单元（EMU，edge measure unit）和网络汇聚单元（NCU，network convergence unit）。EMU包括两个部分：sd节点对流量测量部分和路由探测部分。EMU通过对接入流量进行测量获得相关的sd节点对流量结果，并根据对该点处接入流量的抽样结果，发送探测包获取网络路由情况，记录一个测量周期内所有的路由测量信息，然后对测量结果进行相应的统计处理，并将结果传给NCU。NCU周期性的收集、保存各个EMU的测量结果和计算结果，然后进行全网链路流量计算，并根据不同的系统需要可以将结果回送到各个EMU处。对于一个网络运营商的骨干网络来说，通常其节点数并不会很多，这样在EMU和NCU之间需要传送的信息量并不是很大，当测量周期选择合适，结果信息交互不太频繁时，如5min，则既不影响测量的准确性又减少了所需的通信负荷。在该模型中，据此选择了SNMP框架[75]用于测量控制信息的管理。NCU作为管理者周期性的轮询各个EMU代理，并将计算所得的全网业务流量矩阵以通知的方式发送给每一个EMU代理。EMU代理响应管理者的轮询，将预处理后的测量结果传送给管理者。此外管理者还可以对EMU代理进行配置管理，如启动测量，下载测量参数等工作。EMU代理也可以利用陷阱方式报告一些故障或错误的发生。 （2）研究了基于回归方程方法的瓶颈链路流量监测技术，目的是监测网络中链路带宽使用情况，避免链路阻塞等情况发生，导致主动测量的路由概率误差较大。因为在边缘测量模型中，我们使用主动方法获取路由信息时，需要向网络中注入探测包，当瓶颈链路带宽饱和时，我们注入的探测包无法达到目的或者改路，直接导致路由概率误差急剧增大，直至边缘测量模型失效。 （3）研究了数据包快速分类算法，在边缘聚合流测量中，为了准确测量各链路业务流量，我们采用了快速包分类算法，随着业务的细化，有必要研究多域数据包分类算法。在分类算法中针对无冲突哈希算法的不足提出了一种改进算法—称为基于无冲突哈希和跳转表（Non-collision Hash and Jumping Table Trie-tree，NHJTTT）的数据包分类算法。由于NHJTTT算法内存消耗仍然较大且不能支持较大的匹配规则集，论文又进一步研究了Hash算法，提出了一种基于双哈希（Double Hash，DH）的数据包分类算法。该算法能克服常规Hash算法的用于包分类冲突率高的缺点。两种算法具有不同的应用场合，NHJTTT包分类算法适用于软件实现，用于分类规则数少的环境。而DH算法适合于软件实现，用于分类规则较多的场合。 （4）研究了边缘测量单元中sd节点对流量测量系统，该系统采用软件方法实现，并且将测量流量模块作为系统模块，有效地提高了数据包采集速度，避免了丢包的发生。经测试，Tcpdump单位时间内处理数据包的数量大致在每秒二十四万，我们开发的流量测量系统单位时间内处理数据包的数量大致在每秒四十三万。而目前Internet中的高速网络（1000Mbit/s）单位时间内的数据包数目大约在78000~355000 packets/s之间，这里构建的流量测量系统完全可以胜任在高速网络中进行流量测量的工作。