网管数据统计分析指标的处理方法和装置、数据管理系统

摘要

本发明公开了一种网管数据统计分析指标的处理方法，包括从存储网管数据统计分析指标及统计分析指标对应的计算规则的存储地址的映射存储结构中，查找要计算的统计分析指标对应的计算规则的存储地址；在存储有计算规则和计算规则所涉及参数的存储地址的映射存储结构中，获取到对应的计算规则及该计算规则所涉及参数的存储地址；在存储有各计算规则所涉及参数的存储结构中获取该计算规则所涉及参数的值；并根据获取到的计算规则和参数的值，计算出对应的统计分析指标值。本发明还公开了一种网管数据统计分析指标的处理方法和装置，以及一种网管统计分析数据的管理系统。本发明解决了统计分析指标及其对应的计算规则的变化产生的维护量较大的问题。

说明书

技术领域

本发明涉及通信网络管理技术领域，尤其涉及一种网管数据统计分析指标的处理方法和装置，以及一种网管统计分析数据的管理系统。

背景技术

网络管理系统(以下简称网管系统)是通信支撑网络的重要组成部分之一，包含资源管理、告警管理、性能管理、帐务管理、业务管理五部分，其中，资源管理、告警管理和性能管理是目前网管系统中的主要建设内容。对于电信运营商而言，其网管系统的重要职责之一是向网络的维护、分析、规划、优化以及决策人员提供及时、准确、能够反映网络实际状况的数据(即网管数据)，而这些数据中，大约80％左右的数据都是来自于网络设备的性能数据和资源数据。由于来自于网络设备的数据在网管系统提供的数据中占据了绝大部分比例，因此，网管系统必须提供强大的对网络设备提供的数据进行管理的功能。

随着电信运营商网络规模的不断扩大，网络设备的类型也越来越多样化。虽然网络设备提供商根据国际规范提供了很多不同网络设备都能通用的指标，但由于各种网络设备都有着与自身设备结构相关的特殊统计指标，网络设备向网管系统提供的数据还是各不相同的。目前，如何使对网管数据的管理不仅能够满足快速增长的网络规模，还能满足变化多样的统计分析需求，同时更使得网管数据具有充分的开放性成为网管系统建设中的一个难点问题。

网管数据的一个重要特性是它具有层次性，如图1所示，为网管数据层次的关系图。从图中可以看到，网管数据主要可以分成三层：

最底层是原始数据层，该层数据完全忠实于网络设备厂商提供的原始数据，对数据本身不做屏蔽厂家特性的归一化处理；中间层为基础数据层，该层数据中继续保留着网络设备类型信息及网络设备厂商的特性信息，因此依然能区分网络设备类型和网络设备厂商；上层为汇总数据层，该层面向网络提供统计指标，不再保留网络设备厂商的特性信息。

对应于网管数据的层次性，网管系统中对于数据的存储也是采用分层的结构，其结构可以用三个层次的数据表进行表示，一组同类型的数据构成一个数据表，而一组同类型的数据表又构成一个数据表层，分别为原始数据表层、基础数据表层和汇总数据表层，其中，原始数据表层、基础数据表层和汇总数据表层共同构成一个数据表层存储单元。

如图2所示，为现有技术中网管数据的数据流在数据采集层、数据管理层以及应用层中的流向示意图。首先，网管系统中的采集/分析模块对各个数据源(即通信网网元)进行采集，得到原始数据，并将得到的原始数据存储到原始数据表层中的特定的原始数据表中。

然后，算法及计算模块根据配置文件中存储的需要计算的基础层统计分析指标，以及存储在算法及计算模块中的与该基础层统计分析指标对应的计算规则，调用原始数据表中存储的原始数据进行计算，或调用基础数据表层中的基础数据进行计算，也可调用原始数据层中的原始数据和基础数据层中的基础数据进行联合计算，得到基础层统计分析指标，并将其作为基础数据存储到基础数据表层中的特定的基础数据表中。

最后，算法及计算模块根据配置文件中存储的需要计算的汇总层统计分析指标，以及存储在算法及计算模块中的与该汇总层统计分析指标对应的计算规则，调用基础数据表中存储的基础数据进行计算，或调用原始数据表层中的原始数据进行计算，也可调用原始数据层中的原始数据和基础数据层中的基础数据进行联合进行计算，得到汇总层统计分析指标，并将其作为汇总数据存储到汇总数据表层中的特定的汇总数据表中。

在应用层中，应用系统可以根据需要调用原始数据表层、基础数据表层和汇总数据表层中存储的数据。

在上述的基础数据和汇总数据的计算生成过程中，需要依据各项统计分析指标的基本信息，以及各项统计分析指标对应的计算规则进行计算，而在现有技术中，如图2所示，是采用将各项统计分析指标放置在配置文件中，而将各项统计分析指标对应的计算规则写在算法及计算模块中的算法程序中的方式，这就使得现有技术存在着以下的缺陷：

由于各项统计分析指标与其对应的计算规则之间的映射关系是非常复杂的，因此当某项统计分析指标或者其对应的算法发生改变时(比如新增了网络设备类型，或网络设备的版本发生升级等)，需要根据复杂的映射关系对包含该项统计分析指标对应的计算规则在内的程序进行大量修改，维护工作量和难度均较大；

对于运营商而言，如果各项统计分析指标对应的计算规则写在程序中，会导致网管数据的管理平台不够开放和透明，使得网管数据的管理受限于软件开发商；

此外，现有技术中是采用周期定时触发的方式，按照一定的时间周期触发指标计算模块完成对基础层统计分析指标和汇总层统计分析指标的计算，由于在对某项统计分析指标进行计算时，存在着计算该统计分析指标所需要的所有数据中只有一部分准备好了，还需要等待另一部分数据也准备好的情况，这就使得基于周期触发机制的基础层和汇总层统计分析指标的计算容易产生延迟，从而采用周期定时触发的方式计算统计分析指标，会对实际的网络监控和分析造成不利影响，也无法达到对网管数据进行处理的实时性要求。

发明内容

本发明提供一种网管数据统计分析指标的处理方法和装置，以及一种网管统计分析数据的管理系统，用以解决现有技术中由于统计分析指标及其对应的计算规则的变化产生的维护量较大的问题。

为此，本发明采用如下方案：

一种网管数据统计分析指标的处理方法，对统计分析指标的处理包括：从存储网管数据统计分析指标及所述统计分析指标对应的计算规则的存储地址的映射存储结构中，查找要计算的统计分析指标对应的计算规则的存储地址；根据查找到的计算规则的存储地址，在存储有计算规则和所述计算规则所涉及参数的存储地址的映射存储结构中，获取到对应的计算规则及该计算规则所涉及参数的存储地址；根据获取到的参数的存储地址，在存储有各计算规则所涉及参数的存储结构中获取该计算规则所涉及参数的值；根据获取到的所述计算规则和该计算规则所涉及参数的值，计算出对应的统计分析指标值。

该方法还包括：按照统计分析指标及所述统计分析指标的值的存储地址的映射存储结构，将计算得到的统计分析指标值存储到用于存储各统计分析指标的值的存储结构中。

在上述方法中对对应的统计分析指标的值的计算可以按照预先设置的周期规则，在每到达一个时间周期时，执行一次所述统计分析指标的计算；也可以在每次接收到已经完成规定数量的原始数据的采集和存储的通知消息后，对计算规则涉及所述采集到的原始数据的统计分析指标执行一次所述计算；还可以当一个统计分析指标计算完成时，对计算规则涉及该计算完成的统计分析指标的值的统计分析指标执行一次所述计算。

一种网管数据统计分析指标的处理装置，包括：第一查找单元，从存储有网管数据统计分析指标及所述指标对应的计算规则的存储地址的映射存储结构中，查找到要计算的统计分析指标对应的计算规则的存储地址；第一获取单元，根据第一查找单元查找到的计算规则的存储地址，在存储有统计分析指标对应的计算规则和所述计算规则所涉及参数的存储地址的映射存储结构中，获取到对应的计算规则及该计算规则所涉及参数的存储地址；第二获取单元，根据第一获取单元获取到的参数的存储地址，在存储有各计算规则所涉及参数的存储结构中获取该计算规则所涉及参数的值；计算单元，根据第一获取单元获取到的所述计算规则和第二获取单元获取到的该计算规则所涉及参数的值，计算出对应的统计分析指标值；

该处理装置还包括存储单元，用于按照统计分析指标及所述统计分析指标的值的存储地址的第三映射存储结构，将计算单元计算得到的统计分析指标值存储到用于存储各统计分析指标的值的存储结构中。

一种网管统计分析数据的管理系统，包括存储有统计分析指标及所述指标对应的计算规则的存储地址的第一映射存储单元；存储有统计分析指标对应的计算规则和所述计算规则所涉及参数的存储地址的第二映射存储单元，其中在第二映射存储单元中各计算规则分别具有不同的存储地址；存储有统计分析指标及所述统计分析指标的值的存储地址的第三映射存储单元；存储有各计算规则所涉及参数和统计分析指标的值的存储单元，其中各统计分析指标的值在该存储单元中分别具有不同的存储地址；采集/分析模块，采集数据源中的原始数据，并将采集到的原始数据作为统计分析指标对应的计算规则所涉及的参数存储到所述存储单元；指标计算模块，在第一映射存储单元中查找到要计算的统计分析指标对应的计算规则的存储地址；根据查找到的计算规则的存储地址，在第二映射存储单元中获取到对应的计算规则及该计算规则所涉及的参数的存储地址；根据获取到的参数的存储地址，在所述存储单元中获取该计算规则所涉及参数的值；根据获取到的所述计算规则和该计算规则所涉及参数的值，计算出对应的统计分析指标值；并按照第三映射存储单元，将计算得到的统计分析指标值存储到所述存储单元中；应用系统，在接收到指标计算模块发来的用于通知对应统计分析指标值已经计算完成的通知消息时，到所述存储单元中获取对应的统计分析指标值。

一种网管数据统计分析指标的处理方法，包括：保存网管数据统计分析指标、该指标对应的计算规则以及所述计算规则所涉及参数的存储地址；按照所述存储地址获取所述计算规则所涉及参数的值，根据所述计算规则计算对应的统计分析指标。

其中，所述网管数据统计分析指标包括网管数据的基础层统计分析指标和/或汇总层统计分析指标；所述计算规则所涉及的参数包括网管数据的原始层数据和/或基础层数据。

附图说明

图1为现有技术的网管数据层次关系图；

图2为现有技术中网管数据流的流向示意图；

图3为本发明实施例中网管数据流的流向以及消息流向示意图；

图4为本发明实施例提供的网管统计分析数据的管理方案中对网管数据进行处理的流程示意图；

图5为本发明实施例提供的网管数据统计分析指标的计算装置的结构示意图。

具体实施方式

本发明实施例提出了一种网管统计分析数据的管理方案，通过将统计分析指标及其对应的计算规则从配置文件以及程序中独立出来，并以元数据表的形式进行描述和存储，实现了对网管数据的透明和开放管理，使得在统计分析指标及其对应的计算规则发生变化时，只需找到元数据表中统计分析指标及其对应的计算规则，然后再对该找到的统计分析指标及其对应的计算规则进行修改即可，从而使修改算法产生的维护量大为减小。

该方案中的数据流向和消息流向示意图如3所示，从数据源采集得到的数据经过处理后在三个层次间流动，该三个层次自下而上分别为数据采集层、数据管理层和应用层。在数据采集层中包含采集/分析模块，该模块实现对数据源数据的采集和分析。在数据管理层中，包含原始数据表层、基础数据表层、汇总数据表层，以及指标计算模块和元数据表。在应用层中，包含应用系统。

采用该方案对网管数据进行处理的具体实现流程如图4所示：

步骤41，在数据管理层中，采用元数据表对统计分析指标及其对应的计算规则，以及各数据表层中的信息进行分层管理；

与网管系统的三个数据表层次相对应，将元数据表也划分为三层进行管理，从下至上分别为原始层，基础层和汇总层，而在每一层中，采用多张表的形式对网管数据进行描述和管理，具体方法如下：

在原始层中，预先建立如下的映射关系表：

原始层-元数据表1：

  原始数据表名称  原始数据表特征描述信息  原始数据表层中存储对应原始  数据表的地址  原始数据表1  原始数据表1特征描述  1001  原始数据表2  原始数据表2特征描述  1002  ...  ...  ...

原始层-元数据表2：

  原始数据名称  原始数据特征描述信息  原始数据表中存储对应原  始数据的值的地址  原始数据1  原始数据1特征描述  10001  原始数据2  原始数据2特征描述  10002  ...  ...  ...

在基础层中，预先建立如下的映射关系表：

基础层-元数据表1：

  基础数据表名称  基础数据表特征描述信息  基础数据表层中存储对应基础数  据表的地址  基础数据表1  基础数据表1特征描述  2001  基础数据表2  基础数据表2特征描述  2002  ...  ...  ...

基础层-元数据表2：

  基础层统计分析指标名称  基础层统计分析指标特征描述信息  基础数据表中存储基础层  统计分析指标的值的地址  基础层统计分析指标1  基础层统计分析指标1特征描述  20001  基础层统计分析指标2  基础层统计分析指标2特征描述  20002  ...  ...  ...

基础层-元数据表3：

  基础层统计分析指标名称  元数据表中存储基础层统计分析指标对  应的计算规则的地址  基础层统计分析指标1  3001  基础层统计分析指标2  3002  ...  ...

基础层-元数据表4：

  元数据表中的存储地址 计算规则   3001 运算公式3 公式类型、计算规则、需要用到的原始数据表(或 基础数据表)的名称等信息   3002 运算公式2 公式类型、计算规则、需要用到的原始数据表(或 基础数据表)的名称等信息  ... ...

在汇总层中，预先建立如下的映射关系表：

汇总层-元数据表1：

  汇总数据表名称  汇总数据表特征描述信息  汇总数据表层中存储对应汇总数  据表的地址  汇总数据表1  汇总数据表1特征描述  6001  汇总数据表2  汇总数据表2特征描述  6002

......

汇总层-元数据表2：

 汇总层统计分析指标 名称  汇总层统计分析指标特征描述信息  汇总数据表中存储汇总层统  计分析指标的值的地址 汇总层统计分析指标1  汇总层统计分析指标1特征描述  60001 汇总层统计分析指标2  汇总层统计分析指标2特征描述  60002 ...  ...  ...

汇总层-元数据表3：

  汇总层统计分析指标名称  元数据表中存储汇总层统计分析  指标对应的计算规则的地址  汇总层统计分析指标1  7001  汇总层统计分析指标2  7002  ...  ...

汇总层-元数据表4：

  元数据表中的存储地址 计算规则   7001 运算公式3 公式类型、计算规则、需要用到的基础数据表(或 原始数据表)的名称等信息   7002 运算公式4 公式类型、计算规则、需要用到的基础数据表(或 原始数据表)的名称等信息  ... ...

特别的，上述原始层-元数据表1、基础层-元数据表1和汇总层-元数据表1可以合并为一张表，并在该合并的表中增加用于标识其三个子表的字段；原始层-元数据表2、基础层-元数据表2和汇总层-元数据表2可以合并为一张表，并在该合并的表中增加用于标识其两个子表的字段；基础层-元数据表3和汇总层-元数据表3也可以合并为一张表，并在该合并的表中增加用于标识其两个子表的字段，同理，基础层-元数据表4和汇总层-元数据表4也可以合并为一张表，并在该合并的表中增加用于标识其两个子表的字段。

通过步骤41中采用元数据表的形式对统计分析指标进行管理，可以实现将统计分析指标及其对应的算法从程序中独立出来，从而实现统计分析指标的自描述。后续需要对统计分析指标及其对应的算法进行修改时，只需要从表中找到需要修改的统计分析指标及其对应的算法所在的存储空间，即可对该存储空间中的内容进行修改。可见，与现有技术相比，采用元数据表对统计分析指标进行管理的方式，可以使得对统计指标及其对应算法的维护量大为减小。同时，采用元数据表进行分层管理的形式还使得对网管数据的管理变得更加透明和开放，使得对网管数据的管理拥有更大的可扩展性，也实现了对网管数据的充分有效利用。

需要说明的是，上述的用于存储统计分析指标及其对应的计算规则的存储地址的表、用于存储统计分析指标对应的计算规则和该计算规则所涉及参数的存储地址的表、用于存储统计分析指标及该统计分析指标的值的存储地址的表，以及用于存储各计算规则所涉及参数和统计分析指标的值的表，不仅可以采用元数据表的形式，还可以采用其他存储结构进行存储的形式。对上述统计数据采用这些存储结构进行存储的装置，都在本发明的保护范围之内。

步骤42，采集/分析模块开始对数据源的原始数据进行采集，得到原始数据；

步骤43，数据采集/分析模块将采集到的原始数据存储到原始数据表层中对应的存储空间中；

步骤44，指标计算模块根据元数据表中存储的需要计算的基础层统计分析指标及其对应的计算规则，调用原始数据表层中存储的原始数据进行计算，或调用基础数据表层中的基础数据进行计算，也可调用原始数据层中的原始数据和基础数据层中的基础数据进行联合进行计算，生成对应的基础层统计分析指标；

具体计算过程为：

指标计算模块根据要计算的基础层统计分析指标的名称，在上述预先设置的基础层-元数据表3中，查找到存储该需要被计算的基础层统计分析指标所对应的计算规则的地址，并到该查找到的地址对应的存储空间中获取对应的计算规则，如上述基础层-元数据表4所示；

在上述预先设置的基础层-元数据表4中，进一步查找到获取的计算规则所用参数所在的原始数据表的名称(或基础数据表的名称)；

按照上述预先设置的原始层-元数据表1(或基础层-元数据表1)，查找到在原始数据表层(或基础数据表层)中存储该原始数据表名称(或基础数据表名称)的地址；

按照查找到的在原始数据表层(或基础数据表层)中的地址，进一步按照上述预先设置的原始层-元数据表2(或基础层-元数据表2)，查找到在原始数据表(或基础数据表)中存储该原始数据的值(或基础层统计分析指标的值，也就是基础数据的值)的地址；

按照查找到的原始数据表(或基础数据表)中存储该原始数据的值(或基础层统计分析指标的值，也就是基础数据的值)的地址，调用该地址对应存储空间中的原始数据的值(或基础层统计分析指标的值，也就是基础数据的值)，并按照基础层-元数据表4中的计算规则，对基础层-元数据表3中需要被计算的基础层统计分析指标进行计算，得到基础层统计分析指标的值；

步骤45，根据上述预先设置的基础层-元数据表2，查找到计算生成的基础层统计分析指标的值(即生成的基础数据)的存储地址，并根据查找到的存储地址，将上述步骤44计算得到的基础层统计分析指标值，作为生成的基础数据存储到基础数据表层中的对应存储空间中；

步骤46，指标计算模块根据基础数据表层中存储的基础数据，或调用原始数据表层中的原始数据进行计算，也可调用原始数据层中的原始数据和基础数据层中的基础数据联合进行计算，生成对应的汇总数据；

指标计算模块根据要计算的汇总层统计分析指标的名称，在上述预先设置的汇总层-元数据表3中，查找到存储该需要被计算的汇总层统计分析指标所对应的计算规则的地址，并到该查找到的地址对应的存储空间中获取对应的计算规则，如上述汇总层-元数据表4所示；

在上述预先设置的汇总层-元数据表4中，进一步查找到获取的计算规则所用参数所在的基础数据表的名称(或原始数据表的名称)；

按照上述预先设置的基础层-元数据表1(或原始层-元数据表1)，查找到在基础数据表层(或原始数据表层)中存储该基础数据表名称(或原始数据表名称)的地址；

按照查找到的在基础数据表层(或原始数据表层)中的地址，进一步按照上述预先设置的基础层-元数据表2(或原始层-元数据表2)，查找到在基础数据表(或原始数据表层)中存储该基础层统计分析指标的值，也就是基础数据的值(或原始数据的值)的地址；

按照查找到的基础数据表(或原始数据表)中存储该基础数据的值(或原始数据的值)的地址，调用该地址对应存储空间中的基础数据的值(或原始数据的值)，并按照汇总层-元数据表4中的计算规则，对汇总层-元数据表3中需要被计算的汇总层统计分析指标进行计算，得到汇总层统计分析指标的值；

步骤47，根据上述预先设置的汇总层-元数据表2，得到计算生成的汇总层统计分析指标值要对应存储在的汇总数据表层中的存储地址，然后按照得到的存储地址，将上述步骤46计算得到的汇总层统计分析指标值，作为生成的汇总数据存储到汇总数据表层中的对应存储空间中。

在指标计算调度上，一方面，可以设置指标计算模块以T1为周期，来在不同的时间触发执行基础层统计分析指标的计算，并以T2为周期，来在不同的时间触发执行汇总层统计分析指标的计算。

另一方面，采集/分析模块可以在每次采集完成原始数据，并将采集到的原始数据存储在原始数据表层中后，向指标计算模块发布数据采集完成消息，利用该消息触发指标计算模块执行基础层统计分析指标的计算，这样可以保证指标计算模块以最快的速度(相对周期触发机制而言，消息触发机制的延时可以忽略不计)对特定范围的基础层统计分析指标进行计算。

由于对所有的基础层统计分析指标的计算不是在同一时间完成，而是先对所需要的参与计算的原始数据表(或基础数据表)都准备好的某个(或某些)基础层统计分析指标进行计算，因此，当某个(或某些)基础层统计分析指标计算完成之后，指标计算模块会对外发布计算完成消息，通过自反馈机制该计算完成消息会被指标计算模块截获，则指标计算模块根据接收到的统计分析指标的计算完成消息，再根据进一步分解出的消息中包含的统计分析指标特征信息，自动查找元数据表中存储的基础层统计分析指标及其对应的计算规则，找到可以进行计算的基础层统计分析指标及其计算规则，调用原始数据表层(或基础数据表层)中存储的原始数据(或基础数据)进行计算，得到基础层统计分析指标值，并将其作为基础数据存储到基础数据表层的特定基础数据表中。如此，通过消息的多级自反馈，从而实现对基础层统计分析指标的多级迭代运算。同理，对于汇总层统计分析指标的计算也是如此，可以实现对汇总层统计分析指标的多级迭代运算。

此外，在实现对所有汇总层统计分析指标的计算，并将计算得到的所有汇总层统计分析指标存储到汇总数据表层中的对应存储空间中后，指标计算模块向应用层的应用系统发送计算完成消息，以通知应用系统所有需要计算的统计分析指标均已计算完成。

本发明实施例还提供一种网管数据统计分析指标的计算装置，如图5所示，包括：

第一查找单元51，根据基础层-元数据表3(或汇总层-元数据表3)，查找到需要计算的基础层(或汇总层)统计分析指标对应的计算规则在元数据表中的存储地址；

第一获取单元52，根据第一查找单元51查找到的计算规则在元数据表中的存储地址，进一步在该地址对应的存储空间中，即在基础层-元数据表4(或汇总层-元数据表4)中获取到需要计算的基础层(或汇总层)统计分析指标对应的计算规则以及该计算规则所需要用到的原始数据表(或基础数据表)的名称，并根据获取到的需要用到的原始数据表(或基础数据表)的名称，进一步在原始层-元数据表1(或基础层-元数据表1)中获取该原始数据表(或基础数据表)在原始数据表层(或基础数据表层)中的存储地址；

第二获取单元53，根据第一获取单元52获取到的原始数据表(或基础数据表)在原始数据表层(或基础数据表层)中的存储地址，在原始数据表层(或基础数据表层)中获取该计算规则所需要用到的原始数据(或基础数据)的值；

计算单元54，根据第一获取单元52获取到的需要计算的基础层(或汇总层)统计分析指标对应的计算规则，和第二获取单元53获取到的该计算规则所需要用到的原始数据(或基础数据)的值，计算出基础层(或汇总层)统计分析指标值；

存储单元55，按照基础层-元数据表2(或汇总层-元数据表2)的内容，将由计算单元54计算得到的基础层(或汇总层)统计分析指标值作为基础数据(或汇总数据)，存储到基础数据表(或汇总数据表)对应的存储空间中。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。