一种给定扰动下的通信网络弹性测评方法

摘要

本发明公开了一种给定扰动下的通信网络弹性测评方法，属于网络通信以及可靠性技术领域。本方法包括如下步骤：定义测试场景；确定系统关键性能参数；定义系统性能基线；确定扰动注入方法；扰动注入与性能监控；弹性计算。在各测试场景下对系统扰动注入前后测试时，均以用户要求的系统恢复时间为时间尺度，记录在时间尺度内各性能参数的变化情况。本发明解决了原有弹性测评时间度量尺度不一、难以对不同系统进行比较的问题，所用弹性度量物理意义明晰，更接近实际需求。

说明书

技术领域

本发明属于网络通信以及可靠性技术领域，具体涉及一种给定扰动下的通信网络弹性测评方法。

背景技术

随着通信网络技术的不断发展与应用，对网络的定量与定性特征的科学理解，已成为一个极其重要的挑战性课题，甚至被称为“网络的新科学”。但是由于通信网络规模庞大、行为复杂，很小的扰动可能会带来严重的后果，因此对网络系统受扰动后的行为能力——弹性测评的研究应运而生。弹性测评广泛应用于评价个体、集体或系统承受扰动以及扰动后的恢复能力。

与其他系统相比，通信网络大量采用多路径冗余与容错机制等，是典型的高可靠系统，不可能等待足够长的时间通过实际观察来获取有关统计结果。因此，人为地使系统出现扰动，进而分析它的行为就显得十分必要。扰动注入是按照事先选定的扰动模型，用人工的方法有意识地产生扰动并施加于特定的被测系统中，以观测和检查系统注入扰动后的行为反应，实现对系统的弹性测评。

现有的弹性测评方法中时间尺度不一，无法实现不同弹性过程的比较(参考文献[1]：Reed,Dorothy A.,Kailash C.Kapur,and Richard D.Christie."Methodology for assessing the resilience of networked infrastructure."IEEE Systems Journal 3.2(2009):174-180.)，或统一了时间尺度，但其定义的时间尺度为一个长时间区间，和现实系统差异较大，不能直接用于对系统的评价(参考文献[2]：Zobel,Christopher W.,and Lara Khansa."Characterizing multi-event disaster resilience."Computers&Operations Research 42(2014):83-94.)。

发明内容

本发明目的是为了解决现有弹性测评度量尺度不一、难以对不同系统进行比较的问题，提出了一种给定扰动下的通信网络弹性测评方法，其弹性度量的时间尺度选择了用户所要求的系统恢复时间，物理意义更加明晰，更接近实际需求。

本发明提供的一种给定扰动下的通信网络弹性测评方法，包括如下步骤：

步骤一：定义测试场景(Benchmark)；设定义了n个测试场景，记为Ben₁，Ben₂，…，Ben_n，n为正整数；

步骤二：确定系统关键性能参数；设确定了m个性能参数P₁,P₂,…P_m，m为正整数；

步骤三：将在给定测试场景下系统正常情况下测得的性能参数在T*时间内的积分作为性能基线；T*为总测试时间，是用户所要求的系统恢复时间；在每隔时间Δt记录性能参数测量值，记在测试场景Ben_i下性能参数P_j在第k次测量的性能参数测量值为P_i,j,k,0，k＝1,2,…,N，N为总测量次数，N＝T*/Δt；根据性能参数测试结果计算系统性能基线A_i,j,0如下：

其中，t₀为测试开始时刻，P_i,j,0(t)为在场景Ben_i下性能参数P_j在正常运行情况下在t时刻对应的性能参数值，P_i,j,0,0为t₀时刻的性能参数值，G_i,j(t)为在测试场景Ben_i下望目型性能参数P_j在t时刻对应的目标值，G_i,j,k为在测试场景Ben_i下望目型性能参数P_j在第k次测量对应的目标值。

步骤四：确定扰动注入方法；

步骤五：扰动注入与性能监控；按照扰动注入方法，在各测试场景下将扰动注入到正在正常运行的被测系统中，对系统性能参数进行监控，记录在T*时间内各性能参数的变化情况；在每隔时间Δt记录性能参数测量值，记扰动注入后在Ben_i场景下性能参数P_j在第k次测量的性能参数测量值为P_i,j,k；

步骤六：弹性计算；

首先，计算扰动注入后，测试场景Ben_i下性能参数P_j对应的系统性能参数在T*时间内的积分A_i,j如下：

其中，P_i,j(t)为在测试场景Ben_i下性能参数P_j在扰动注入情况下在t时刻对应的性能参数值。

由此，获得测试场景Ben_i下性能参数P_j对应的系统弹性值

本发明的优点与积极效果在于：

(1)弹性度量以用户要求的系统恢复时间为时间尺度，参数反应了系统遭受扰动后在用户要求的系统恢复时间内的平均性能，物理意义更加明晰，更接近实际需求，避免了原有弹性度量尺度不一、难以对不同系统进行比较的问题。

(2)本发明给出了一整套针对给定扰动的弹性测评方法，并在正常运行场景定义了系统性能基线，方便最终实现对不同产品的对比分析，以此确定在同样场景下，哪种产品、哪种配置策略会提供更好的弹性，为设计者提供决策依据。

附图说明

图1是本发明的给定扰动下的通信网络弹性测评方法的整体流程示意图；

图2是本发明实施例的某企业内部网模型示意图；

图3是本发明实施例中扰动注入时网络链路背景流量设置示意图；

图4是本发明实施例中注入扰动前后网络性能仿真结果示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提出一种给定扰动下的通信网络弹性测评方法，整体步骤如图1所示。下面说明各步骤的实现。

步骤一：定义测试场景。

根据系统典型应用场景，定义n个测试场景，记为Ben₁，Ben₂，…，Ben_n，n为正整数。具体的测试场景因不同的系统及系统上运行的不同应用业务而不同，通过业务类型、使用方式和频率等要素进行表征。以Yahoo云服务Benchmark(YCSB)项目为例，该项目构建了一个标准化的Benchmark，用于对不同系统在常用负载下进行比较，所构建的Benchmark要素包括：读写比例、请求分布和请求大小等，并根据常见需求定义了一系列基本Benchmark，该项目中定义了6个基本Benchmark。

步骤二：确定系统关键性能参数。设确定了m个系统性能参数P₁,P₂,…P_m，m为正整数。

弹性是对系统在扰动下能在多大程度上抵御扰动和以多快速度恢复的度量，具体表征在性能上，因此需要确定系统关键性能指标(KPI)。对于通信网络，影响用户体验的指标包括连通、及时、完整、正确四个方面，上述指标通过时延、丢包率、误码率等性能参数表征。不同的被测系统由于使用需求不同而有不同的系统关键性能参数，系统关键性能参数应为能够观测到的指标。

步骤三：定义系统性能基线；

分别在测试场景Ben₁-Ben_n下，按无扰动注入的正常情况运行系统，测试系统性能参数P₁,P₂,…P_m，设测试场景Ben_i下测试采集的性能参数P_j在T*时间内的积分为A_i,j,0，则确定Ben_i场景下性能参数P_j对应的性能基线值为A_i,j,0，即采用给定场景下系统正常情况下测得的性能作为性能基线。

定义系统性能基线具体包括如下步骤：

步骤3.1，测试环境准备。根据测试需求，完成测试环境的软硬件配置和部署，提供符合测试需求可使用的测试环境，完成脚本开发及监控部署任务。即在系统正常运行(无扰动注入)状态下，编写测试脚本分别对各测试场景进行模拟，并部署性能参数数据采集工具。

步骤3.2，执行测试内容并记录测试结果。正常情况(无扰动注入)下分别在被测系统上运行测试场景Ben₁-Ben_n，测试时间为T*，T*为用户所要求的系统恢复时间。在测试过程中，测试人员通过提前部署的性能监控工具对各项性能参数进行监控，每间隔Δt时间记录性能参数测量值，记Ben_i场景下性能参数P_j在第k次测量的性能参数值为P_i,j,k,0。其中，Δt为评价的时间粒度，时间粒度应选取合适，过大会导致计算结果误差过大，过小会减少计算误差，但是会增大性能监测需求，在实际应用中带来不便。k＝1,2,…,N，N为测量总次数。实际操作中，建议测量次数N不小于10，N＝T*/Δt。

步骤3.3，计算系统性能基线。由于系统性能参数不能实时获取且数值具有波动性，实际操作中，A_i,j,0可用数值积分中的梯形公式计算近似得出。针对望大型性能参数(性能参数值越大越好，larger-the-better，LTB)、望小型性能参数(性能参数值越小越好，smaller-the-better，STB)和望目型性能参数(性能参数值越靠近目标值越好，nominal-the-best，NTB)，A_i,j,0的计算式如下：

式中，P_i,j,0(t)为在场景Ben_i下性能参数P_j在正常运行情况下在t时刻对应的性能值，G_i,j(t)为在测试场景Ben_i下望目型性能参数P_j在t时刻对应的目标值，G_i,j,k为在测试场景Ben_i下望目型性能参数P_j在第k次测量对应的目标值，t₀为测试开始时刻，T*为用户所要求的系统恢复时间，P_i,j,0,0为t₀时刻的系统性能参数值。

步骤四：确定扰动注入方法。

根据给定扰动，选择适用的扰动注入技术。扰动注入技术一般可分为三类：物理硬件实现的扰动注入，仿真实现的扰动注入，软件模拟实现的扰动注入。硬件扰动注入是通过物理手段直接将扰动注入到目标系统的硬件中。模拟扰动注入是通过利用某种标准硬件描述语言如VHDL，为测试系统建立硬件仿真模型，然后在模型内部插入扰动注入单元来实现扰动的注入。软件扰动注入根据一定的扰动模型，通过修改目标系统内存单元或处理器内部的寄存器值来模拟硬件扰动的发生。

步骤五：扰动注入与性能监控。

按照步骤四给出的扰动注入方法，在各测试场景Ben₁-Ben_n下，将扰动注入到正在正常运行的被测系统中，并对系统性能参数进行监控，记录在T*时间内各性能参数的变化情况。在测试过程中，测试人员通过提前部署的性能监控工具对各项性能参数进行监控，每Δt时间记录扰动注入后性能参数的测量值，记扰动注入后在Ben_i场景下性能参数P_j在第k次测量的性能参数值为P_i,j,k，其中Δt为步骤三中的评价的时间粒度。

步骤六：弹性计算，具体包括如下步骤。

步骤6.1，计算被测系统在扰动注入后的性能参数积分值。被测系统在扰动注入后，其系统性能将会出现降级。扰动注入后，记场景Ben_i下性能参数P_j对应的系统性能在T*时间内的积分为A_i,j。针对望大型性能参数、望小型性能参数和望目型参数，A_i,j的计算可分为三种情况。A_i,j的计算式如下：

其中，t₀为测试开始时刻，P_i,j(t)为在场景Ben_i下性能参数P_j在扰动注入情况下在t时刻对应的性能参数值。

步骤6.2，计算各关键性能指标的弹性。在得到系统性能基线值A_i,j,0和扰动注入后系统性能值A_i,j后，进而可实现各关键性能指标的弹性计算。记场景Ben_i下性能参数P_j对应的系统弹性值为的计算式如下：

实施例：

本发明实施例通过基于现有的通用网络仿真平台OPNET来实现，以图2所示的用OPNET搭建的某企业内部网模型为例，具体阐述本发明方法。具体地说，该企业内部网模型是由路由器连接的两个星型拓扑的网络组成，其中一个星型拓扑网络的节点个数为30，另一个星型拓扑网络的节点个数为15，并用10BaseT链路模型连接各节点。

步骤一：定义测试场景。

本实施例设定的测试场景如下：业务类型为Database Access(heavy)、业务运行模式为Serial(Ordered)、业务的时间起点服从均匀分布U～(100,110)、业务的时间起点偏置服从均匀分布U～(5,10)、业务持续时间为End of Simulation和业务重复次为Once at start time等。

步骤二：确定系统关键性能参数。

网络时延是一个全局统计量，反映了整个网络的延时性能，是用户能直接感受到和最关心的指标之一，可以作为一个系统关键性能参数。

步骤三：定义系统性能基线。

步骤3.1，测试环境准备。设置网络节点参数和服务器提供的业务，并完成步骤一所述的测试场景设置。选择步骤二所述的网络时延为仿真统计量，即选定了进行仿真时要保存的系统关键性能指标。

步骤3.2，执行测试内容并记录测试结果。设定仿真参数，设置运行过程中每隔18秒记录一次网络时延的数值，模拟网络运行30分钟的情况，运行结束后可得到相应性能参数测量值P_1,1,k。

步骤3.3，计算系统性能基线。网络时延是望小型参数，应用公式(1)计算该系统关键性能指标(即网络时延)对应的性能基线。利用步骤3.2所获取到的数据，网络时延对应的系统性能基线的值计算如下：

式中，A_1,1,0为性能参数——网络时延所对应的系统性能基线值，Δt为评价的时间粒度，取18秒，用户所要求的系统恢复时间T*取28分钟。因为仿真时网络初始化过程大约需要2分钟，所以应舍弃网络初始化过程中所产生的部分数据，本实施例计算中使用的是网络模型运行稳定后的93个数据。

步骤四：确定扰动注入方法。

本实施例设定的扰动事件为由于某种原因导致全网流量突增。网络仿真平台OPNET提供了对网络链路背景流量的建模，网络链路背景流量可以对网络中一些未知的但是会发生的链路流量进行模拟。全网流量突增即可以通过对网络链路背景流量建模的方法实现，该扰动注入方法属于软件模拟实现的扰动注入方法。

步骤五：扰动注入与性能监控。

通过对网络中全部链路的链路属性中设置背景负载即可实现全网流量突增。其中，两个方向的背景流量中平均包的大小Average Packet Size均设置为默认为576字节，Traffic Intensity的设置均如图3所示，待网络初始化完成后即在仿真开始2分钟时刻，该扰动被注入系统。扰动发生后，系统迅速监测到异常状况，及时采取了有效恢复措施，并使网络流量得以恢复正常。通过在网络仿真平台OPNET设置相应的仿真统计量(全局统计量网络时延)，并设置在扰动注入后28分钟内每隔18秒记录一次网络时延的测量值P_1,1,k，使用步骤3.2的方法将P_1,1,k的值保存到本地文件。

步骤六：弹性计算。

步骤6.1，计算系统在扰动注入后的性能参数积分值。应用公式(2)计算该系统性能值，利用步骤五所保存在本地文件的数据，在步骤一所设置的测试场景下性能参数网络时延在扰动注入后的性能在T*时间内的积分A_1,1计算如下：

步骤6.2，计算关键性能指标网络时延的弹性。在得到系统性能基线A_i,j,0和扰动注入后系统性能积分A_i,j的值后，进而可计算关键性能指标网络时延对应的弹性。记步骤一所设置的测试场景下性能参数网络时延对应的系统弹性值为应用公式(3)计算如下：

如图4所示，为注入扰动前后网络性能的仿真结果，通过用本发明方法计算，得到网络时延对应的系统弹性值为0.781022。