一种基于大数据的电力通信设备性能分析方法及装置

摘要

本发明公开了一种基于大数据的电力通信设备性能分析方法，包括：获取电力通信设备的设备性能数据并进行预处理；对预处理后的设备性能数据进行分组，得到设备性能分组数据；根据电力通信设备的设备性能数据时间分布特征建立分类特征库；比对设备性能分组数据和分类特征库中的设备性能数据，得到所述电力通信设备的设备性能状态。与现有技术相比，本发明的技术方案分析效率高，且有有效的数据支撑。

说明书

技术领域

本发明涉及电力通信技术领域，尤其涉及一种基于大数据的电力 通信设备性能分析方法及装置。

背景技术

现有技术中，电力通信网具有多制式、结构复杂、设备数量众 多、性能运行数据多元化的特点，由于电力系统间需要进行协作， 因此电力通信网也将承载越来越多的电网控制、自动化等业务。因 此需要对大数据环境下的电力通信网进行运行态势分析，以发现电 力通信网运行时的故障隐患。

电力通信网中的设备性能数据是评估网络运行状态的重要基 础。在传统的电力通信网络中，通过对特定设备性能数据设置一定 门限，比较性能值与门限值来判定网络设备或者链路的运行情况。 首先，上述方法不能判断是否为虚假性能告警；其次，上述方案也 不能动态预警，而且性能分析的对象也仅通过经验模式获取，缺乏 足够的数据支撑，所得到的结论不能应用于分析电力通信网的运行 安全可靠性。

现有技术中，首先是通过设备或者网管的采集来对电力通信网 的设备性能数据进行存储，之后采用基于SQL数据库技术等传统方 法对数据筛选分析。在上述过程中，由于电力通信网络设备性能数 据的规模较大，传统方法效率较低，不能充分挖掘电力通信网的性 能特征。并且整个分析过程没有参考有效的规则库，不能对网络运 行维护决策提供有效的数据支撑。

发明内容

针对现有技术中的缺陷，本发明提供一种基于大数据的电力通信 设备性能分析方法及装置，用于在大数据场景中充分挖掘电力通信设 备的性能特征，提高数据分析效率；并建立有效的特征库为电力通信 网络运行维护提供数据支撑。

第一方面，本发明提供了一种基于大数据的电力通信设备性能分 析方法，包括：

获取电力通信设备的设备性能数据并进行预处理；

对预处理后的设备性能数据进行分组，得到设备性能分组数据；

根据电力通信设备的设备性能数据时间分布建立分类特征库；

比对设备性能分组数据和分类特征库中的设备性能数据，得到所 述电力通信设备的设备性能状态。

可选地，对所述设备性能数据进行预处理的步骤，具体包括：

删除设备性能数据中的缺失值数据，填充异常值数据。

可选地，所述对所述预处理后的设备性能数据进行分组的过程， 具体包括：

利用预处理后的设备性能数据构造设备性能特征向量；

根据设备标识号对设备性能特征向量进行分组。

可选地，采用数据库或者哈希算法对设备性能特征向量进行分 组。

可选地，对数据库信息分配不同的权重，对设备性能数据进行迁 移，优先存储在权重较高的数据库中。

可选地，所述分类特征库中包括平稳分类信息函数、渐变分类信 息函数和突变分类信息函数。

可选地，所述平稳分类信息函数的方差计算式为：

${\sigma }_z^2=E\left[{(z_t-\mu )}^2\right]={\int }_{-\infty }^{\infty }{(z-\mu )}^{2}p\left(z\right)\mathrm{dz}$

其中，σ_Z为方差，E[]为期望，Zt为t时刻性的能观测值Z，μ 为均值，P(z)是任意时刻t能观测值的概率分布。

可选地，所述渐变分类信息函数的方差计算式为：

${\sigma }_z^2=k^2$

其中，σ_Z为方差，k是常数。

可选地，所述突变分类信息函数的序列偏差为：

${\tilde{z}}_t={\phi }_1{\tilde{z}}_{t-1}+{\phi }_2{\tilde{z}}_{t-2}+···+{\phi }_p{\tilde{z}}_{t-p}+a_t$

其中，为关于μ的序列偏差，μ为Z_t的平均值，φ_i为 多项式参数。

第二方面，本发明还提供了一种基于大数据的电力通信设备性能 分析装置，包括：

数据获取模块，用于获取每个时间窗口内电力通信设备的设备性 能数据并进行预处理；

数据分组模块，用于对预处理后的设备性能数据进行分组；

数据处理模块，用于处理分组后的设备性能数据得到设备性能特 征向量；

特征匹配模块，用于在分类特征库中匹配所述设备性能特征向量 得到设备的运行状态。

由上述技术方案可知，本发明通过对电力通信设备的性能数据进 行预处理，构造设备性能特征向量后进行分组，然后分布不同的工作 节点中。通过建立分类特征库，在分类特征库中分类匹配设备性能数 据的特征，得到所述电力通信设备的性能趋势分类，为电力通信网的 运行维护提供依据。与现有技术相比，本发明的技术方案分析效率高， 且有有效的数据支撑。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面 将对实施例或现有技术描述中所需要使用的附图作一简单的介绍，显 而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普 通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附 图获得其他的附图。

图1是本发明提供的一种基于大数据的电力通信性能分析方法流 程图；

图2是本发明一实施例中，电力通信设备性能分析方法示意图；

图3是本发明一实施例中，电力通信设备满足平稳规则的分类趋 势示意图；

图4是本发明一实施例中，电力通信设备满足渐变分类规则的分 类趋势示意图；

图5是本发明一实施例中，电力通信设备满足突变规则的分类趋 势示意图；

图6是本发明提供的一种基于大数据的电力通信性能分析装置框 图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结 合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有 作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护 的范围。

本发明提供了一种基于大数据的电力通信设备性能分析方法，如 图1所示，包括：

S100、获取电力通信设备的设备性能数据并进行预处理；

S200、对预处理后的设备性能数据进行分组，得到设备性能分组 数据；

S300、根据电力通信设备的设备性能数据时间分布建立分类特征 库；

S400、比对设备性能分组数据和分类特征库中的设备性能数据， 得到所述电力通信设备的设备性能状态。

本发明通过对电力通信设备的性能数据进行预处理，在构造设备 性能特征向量后进行分组得到设备性能分组数据；然后将上述设备性 能分组数据分布在不同工作节点中。通过建立分类特征库，在分类特 征库中分类匹配设备性能数据的特征，得到电力通信设备的性能趋势 分类，为电力通信网的运行维护提供依据。与现有技术相比，本发明 的技术方案分析效率高，且有有效的数据支撑。

首先，介绍S100、获取电力通信设备的设备性能数据并进行预 处理的步骤。

本发明中，将每个电力通信设备在一定历史时间内的性能数据作 为该电力通信设备性能分析的时间窗口W，W＝[B,E]，其中B表示每个 设备性能分析的开始时间，E表示每个设备性能分析的结束时间。该 时间窗口可为全部历史数据，这时可获得最大数据量。

由于设备性能数据存在缺失值和异常值，因此本发明对这些数据 进行处理。通过对每个时间窗口内大量性能数据的规整，删除缺失值 数据，填充异常值数据，方便后续建立分类特征库。抽象为选定时间 范围内的测量数据，进行特征提取、映射数据到新的空间和特征构造， 形成设备性能数据特征向量。该设备性能数据特征向量为每个通信设 备性能数据的集合。

其次，介绍步骤S200、对预处理后的设备性能数据进行分组，得 到设备性能分组数据的步骤。

为提高性能数据分析效率，本发明对设备性能特征向量进行分 组，形成设备性能分组数据。首选地，采用设备标识号来实现分组。 通常情况下，可以采用数据库(DB)或者哈希(Hash)算法来实现。 实际应用中，本发明利用多个数据库，优选地，采用关系型数据库 (RDB)来实现。其中，每个数据库都独立起作用，不会影响其他数 据库处理设备性能分组数据。

实际应用中，本发明将每个设备标识号对应的数据库标识号记录 下来。当应用程序启动时，将所有的设备与数据库的对应关系数据放 在内存缓存中。当用户进行数据访问时，从内存缓存中取得该设备标 识号与对应的数据库标识号之间的对应关系，然后再进行相应的访 问。

本发明中，给所有数据库分配不同的权重，可以对设备性能数据 进行迁移，优先存储在权重较高的数据库中。最后，将预处理后的设 备性能数据分布到不同的工作节点中。通过上述步骤，完成性能数据 的分布式分组过程。

再次，介绍S300、根据电力通信设备的设备性能数据时间分布 建立分类特征库的步骤。

目前，建立分类特征库，理论上没有明确的规则，往往需要根据 设计者的经验和多次实验来确定。本发明中基于设备性能数据时间分 布的特点，建立了三种分类函数。

本发明所建立的分类特征库在形式上为一个信息系统，是四元组 S＝(U,A,V,F)，其中U为论域，即设备的非空有限集合；A为属性的非 空有限集合，即设备的性能数据；V为属性A的值域，即经过预处理的 性能数据取值区间；F是一个分类信息函数。本发明中基于设备性能 数据时间分布的特点，建立了三种分类函数，但是在应用中可以根据 实际的需要，建立其他类型的分类规则，本发明不作限定。

根据随机现象的不确定性，模糊概念的不确定性以及信息系统中 知识和概念的不确定性，并结合电力通信网络中时间窗口内的性能数 据，构造如下分类信息函数：

1)平稳分类信息函数：

假设任意时刻点t₁,t₂,…,t_m的性能观测值的联合概率 与分布时间点t₁+k,t₂+k,…,t_m+k的观测值的联合概 率分布相同，并且如果把所有观测时刻都向前或者向后推移任意整 数k，相应设备性能观测值的联合分布是不会受到影响的，则认为该 段时间窗口内的性能趋势符合平稳规则。

设备性能的联合概率分布满足式(1)：

$f_{Z_t}(z_{t_1},z_{t2},....,z_{t_m})=f_{Z_{t_m}|Z_{t_1},Z_{t_2},...,Z_{t_{m-1}}}\left(z_{t_m}\right|z_{t_1},z_{t_2},....,z_{t_{m-1}})f_{Z_{t_1},Z_{t_2},...,Z_{t_{m-1}}}(z_{t_1},z_{t_2},....,z_{t_{m-1}})---\left(1\right)$

平稳分类信息函数意味着对于任何时刻t的概率分布p(z_t)都是 相同的，可以将其记为p(z)。所以，该分类信息函数具有常数均值， 见式(2)。

$\mu =E\left(z_t\right)={\int }_{-\infty }^{\infty }\mathrm{zp}\left(z\right)\mathrm{dz}---\left(2\right)$

式(2)定义了一个平均水平，设备性能趋势围绕该平均水平上 下波动，并且该分类函数具有常数方差，该值用来描述设备性能参数 在平均值附近的离散程度，如式(3)：

${\sigma }_z^2=E\left[{(z_t-\mu )}^2\right]={\int }_{-\infty }^{\infty }{(z-\mu )}^{2}p\left(z\right)\mathrm{dz}---\left(3\right)$

在实际应用过程中，只有当该值满足一定的误差范围内才有实际 意义。

2)渐变分类信息函数：

电力通信网中设备性能状态不能保证平稳波动，尤其是不围绕一 个固定的性能均值而变化，因此合理地分析出设备在某段时间内的渐 变特性可以为未来设备可能出现的缺陷提供警示。

本发明中，取任意两个时刻点t和t-τ，可以得到如下均值关系：

μ_t-μ_t-τ＝τ·k      (4)

同样该渐变分类信息函数具有常数方差用来描述设备性 能参数在平均值附近的离散程度。

3)突变分类信息函数：

电力通信网中的设备性能状态并不能保证渐变波动，可能在某几 个时刻出现很大幅度变化，这就要求构造的特征库中包含这种跳变情 况，为分析设备是否发生虚假性能告警或者性能稳定问题情况，提供 理论支撑，使分析性能参数的突变更具有现实意义，因此需要构造设 备性能参数的突变分类信息函数。

本发明中，该分类信息函数由有限的、过程先前值的线性组合和 一个冲击a_t构成。利用z_t,z_t-1,z_t-2,…来记等间隔时间t,t-1,t-2,…上的 该时间窗口t设备性能值。且记为关于μ的序列偏差(μ为z_t的平均值)，

${\tilde{z}}_t={\phi }_1{\tilde{z}}_{t-1}+{\phi }_2{\tilde{z}}_{t-2}+···+{\phi }_p{\tilde{z}}_{t-p}+a_t---\left(5\right)$

该模型包含p+2个未知参数在实际应用中这些 参数必须由性能数据来估计。当观测的时间窗口内的性能数据满足 上式(5)，则认为该时间窗口内性能趋势满足突变规则。

上述三类分类信息函数为本发明中的优选实施方式，实际应用 中可根据需求，对上述分类信息函数进行修改或者增加新的分类信 息函数。通过建立不同的分类信息函数，形成适用于电力通信设备 性能数据分析的分类特征库，本领域的技术人员应该了解，改进的 技术方案也落入了本发明技术方案的保护范围。

最后，介绍S400、在分类特征库中分类匹配设备性能分组数据 的特征，得到所述电力通信设备的性能趋势分类的步骤。

在分类特征库了对设备性能特征数据进行分类匹配，得到该设备 在选定时间窗口的性能趋势分类。

实施例

为验证本发明所提供的一种基于大数据的电力通信设备性能分 析方法的有效性，本发明分析处理国内某电力通信网下不同类型设备 光功率历史性能数据进行验证。

首先，删除设备的输出光功率和接收光功率为缺失值的数据条 目，然后修改异常值数据，如输入光功率和接收光功率条目中为零值、 负数的数据，之后计算每种类型设备的输出光功率与接收光功率的差 值作为新的性能参数，即光功率衰耗，如式(6)所示。

OpLoss＝OpPt-OpPr       (6)

进一步修改异常值，即光功率衰耗为负数的数据条目，得到该设 备在选定时间段内的光功率衰耗数据并进行规整，最后得到经过预处 理后的数据大小为3T。

实际应用中，如图2所示，本发明一实施中采用6台主机搭建实 验环境，其中一台主机作为控制节点(图2中控制节点0)，其他五 台主机作为工作节点(工作节点1-5)。其中三台主机进行Map操作， 用于将分组数据分布到不同的工作节点中；两台主机进行Reduce操 作，用于将处理过的分组数据重新组合。以64MB为分组单位，将3TB 的输入数据进行分组处理，分割成多个分组数据。

在对电力通信设备进行性能表征的过程中，采用上述三种分类信 息函数，以设备标识号为主键，在分类特征库中进行分类匹配，可以 得到不同设备在光功率趋势分类，为未来可能出现的缺陷提供性能数 据支撑。

在链路设备端口发送功率稳定的情况下，接收功率的性能特征直 接表示该条链路的光功率衰耗特征，参见图3，可以看出，该电力通 信设备的光功率在-20dbm上下波动，即该设备满足平稳分类信息函数 的分类趋势。因此，该设备的性能特征一切正常。

如图4所示，在第220天的时刻点，该设备的光功率衰耗逐渐增大， 光功率满足递减的特征，即满足渐变分类信息函数的特征，此设备的 光功率出现问题。如果继续保持该趋势，光功率降低至一定阀值时， 该设备会出现故障。因此当设备满足该分类趋势时，可以提示用户注 意。

如图5所示，在第50天时的某时刻，设备的光功率发生突变，光 功率衰减减少10db。经过分析，该突变时刻点突变的原因是由于工程 π接，站距缩短，导致光功率衰耗减少约10dB。在第350天时，该设 备的光功率衰耗增加2db，其突变原因是由于对侧板卡故障，更换板 卡后，尾纤未清洁导致衰耗增加。因此，该设备的光功率特征满足突 变分类信息函数。

通过上述实施例说明，本发明的电力通信设备性能分析方法是有 效的，可以对设备的性能趋势作出直观有效的分析。通过对大数据进 行分组，可以提高分析效率；通过增加分析特征库，可以弥补需要经 验的缺陷，并且分析结果有数据支撑。

基于上述的发明构思，本发明还提供了一种基于大数据的电力通 信设备性能分析装置，如图6所示，包括：

数据获取模块，用于获取每个时间窗口内电力通信设备的设备性 能数据并进行预处理；

数据分组模块，用于对预处理后的设备性能数据进行分组；

数据处理模块，用于处理分组后的设备性能数据得到设备性能特 征向量；

特征匹配模块，用于在分类特征库中匹配所述设备性能特征向量 得到设备的运行状态。

本发明所提供的装置可以解决同样的技术问题，并取得相同的技 术效果，在此不再详述。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管 参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员 应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不 使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。