基于多数据通道分析的云平台异常检测方法与系统

摘要

本发明公开了一种基于多数据通道分析的云平台异常检测方法与系统，所述方法包括以下步骤：获取监视数据流；根据监视数据流各个数据通道的数据分布，对监视数据流进行预分割，得到多个子序列；对每相邻两个子序列的数据分布差异进行统计；根据所述数据分布差异的统计结果，进行监视数据流的变化检测。本发明基于监视数据流在时间上的连续性特点，基于多个数据通道的数据分布进行数据的异常检测，检测精度更高。

说明书

技术领域

本发明属电力集中监控系统异常检测技术领域，尤其涉及一种基于多数据通道分析的云平台异常检测方法与系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

目前使用的大多数系统不可能会完全自动可靠运行，可能会出现难以预料的故障，这些故障往往会使系统出现故障并降低其性能水平。有意攻击，技术故障和干扰等异常检测在电力系统的各种应用中至关重要。为了使系统保持最佳状态并避免人员伤亡和经济损失，已经开发出了各种异常检测的方法，并有效的用于系统异常检测。异常检测已经成为许多在线和长期的CPU监控应用的必要考虑。系统运行状态下异常和不希望/意外的系统操作行为可以通过相关云监控数据来表征，如CPU占用率、磁盘读写率、网络接收/发送字节等。

据发明人了解，传统的检测方法主要是依靠人工巡视以及定期的维护、检验，而且设备是否异常需要依靠工作人员根据以往经验做出判断，这种异常检测既耗时又耗力；随着计算机技术的发展，目前已经有借助计算机对数据异常进行主动检测的相关技术，但是，至少存在以下问题：

数据是否异常通常以预设的经验值为依据，当数据超过这个值时认为异常，但是，设备在不同的环境中，例如冬天的室外和室内，或者同一设备投运时间不同的情况下，同一设备的运行参数如传输速率等参数也会发生变化，因此依赖预设的经验值可能会发生误检测。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于多数据通道分析的云平台异常检测方法及系统，基于监视数据流在时间上的连续性特点，基于多个数据通道的数据分布进行数据的异常检测，检测精度更高。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于多数据通道分析的云平台异常检测方法，包括以下步骤：

获取监视数据流；

根据监视数据流各个数据通道的数据分布，对监视数据流进行预分割，得到多个子序列；

对每相邻两个子序列的数据分布差异进行统计；

根据所述数据分布差异的统计结果，进行监视数据流的变化检测。

进一步地，对监视数据流进行预分割包括：

随机选取多个候选分割点，对候选分割点的前后两个序列进行相异性度量；

将相异性度量值大于设定阈值的相应候选分割点记为分割点，对监视数据流进行预分割。

进一步地，对其前后两个子序列的数据分布差异进行统计包括：

对每个数据通道，采用CUSUM统计方法计算分割点前后两个数据分布的差异。

进一步地，进行监视数据流的变化检测包括：

(1)将第一个分割点视为当前分割点，以当前分割点的前后两个子序列作为当前序列；

(2)对所述当前序列进行相异性度量；

(3)若相异性度量值大于设定阈值，则当前分割点为变化点，执行步骤(4)；反之，所述当前序列中没有变化点，执行步骤(5)；

(4)以下一个分割点作为当前分割点，以当前分割点的前后两个子序列作为新的当前序列，返回步骤(2)；

(5)以下一个分割点作为当前分割点，在当前序列后增加一个子序列，得到新的当前序列，即保持当前序列的起始时刻不变，增加序列长度，返回步骤(2)。

进一步地，所述相异性度量的计算方法为：

获取分割点前后两个子序列所有数据通道的数据分布差异统计值；

计算所有数据通道的数据分布差异统计值的平均值和最大值；

将所述平均值和最大值进行加权求和即得到相异性度量值。

进一步地，所述方法还包括：对监视数据流的变化检测得到的变化点进行验证。

进一步地，所述验证方法为：根据任何三个连续变化点之间间距是否平衡，来验证得到的变化点是否有效。

一个或多个实施例提供了一种基于多数据通道分析的云平台异常检测系统，包括：

数据流获取模块，被配置为获取监视数据流；

数据流预分割模块，被配置为根据监视数据流各个数据通道的数据分布，对监视数据流进行预分割，得到多个子序列；

数据分布统计模块，被配置为对每相邻两个子序列的数据分布差异进行统计；

变化检测模块，被配置为根据所述数据分布差异的统计结果，进行监视数据流的变化检测。

一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于多数据通道分析的云平台异常检测方法。

一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的基于多数据通道分析的云平台异常检测方法

以上一个或多个技术方案存在以下有益效果：

(1)基于监视数据流在时间上的连续性的特点，基于监视数据流多个通道的数据分布来寻找数据开始发生变化的时刻，从而实现数据的异常检测，相较于传统的通过阈值比对确定是否发生异常，更具合理性。

(2)提出改进的数据融合方法，基于该数据融合方法进行相异度度量可以同时捕获所有通道的平均值和特定通道的奇异值，从而提高整体变化检测性能；并且，该方法灵活性强，能够针对监视数据噪音大、变化趋势慢等特点，对相异度度量中的参数进行修改，因此对数据变化的敏感性更强。

(3)基于增量滑动窗口的思想进行变化检测，根据当前滑动窗口对变化点的检测结果，自适应地增大滑动窗口大小，这种变化检测方法能够对较明显的异常点进行识别，对于变化趋势较小的异常点，能够进行数据异常信息的累积，从而将小偏移累积起来达到放大的效果，从而提高检测过程中对小偏移的灵敏度。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例中基于多数据通道分析的云平台异常检测方法；

图2为本发明实施例中监视数据流变化检测方法流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例公开了一种基于多数据通道分析的云平台异常检测方法，包括以下步骤：

步骤1：获取监视数据流；

具体地，假设给定的监视数据流从时间1开始，包含N个数据点，即：

F＝{f

其中，f

步骤2：对于监视数据流，根据各个数据通道的数据分布获取候选分割点集，对监视数据流进行预分割，得到多个子序列；

定义：从F检测一组分割点，即：

Ε:＝{f

其中，

其中，对每个数据通道进行切割基于以下基本思想：数据流F被视为一组连续剪辑的组合，每个剪辑包括特定的数据分布，即：

将F分割为连续的非重合片段：ε

(1)首先随机选取多个候选分割点，根据每个候选分割点前后监视数据流各个数据通道的数据分布，计算每个候选分割点η'∈{ε

(2)使用结果分数作为一个可能切割的可能性，即，将相异性度量值超过设定阈值的候选分割点作为分割点进行预分割。具体而言，较高的相异得分意味着存在切割的概率较大，反之亦然。对切割的决定等同于检验以下零假设:

H

H

其中，λ是阈值的正值，用于控制切割检测中的精度和召回率。因此，如果H

步骤3：对于每个分割点，对其前后两个子序列的数据分布差异进行统计；

所述步骤3具体包括：

(1)对监测数据流F进行归一化；

(2)将由一个候选分割点划分的每相邻两段子序列(即包含一个变化点η')视为一个待分析序列y

以上步骤3是针对F的每个数据通道d的每相邻两段子序列执行CUSUM统计，即：

步骤4：根据所述数据分布差异统计结果，进行监视数据流的变化检测。

在多变量数据分析的背景下，通常对最终结果的输出采用三层融合策略。数据融合的最低层次是将来自各个数据通道的原始观测作为测量矩阵，不对设备的状态空间进行任何处理。同时，一些数据融合方法主要是利用主成分分析(PCA)、独立成分相关算法(ICA)或小波分解等降维技术对多变量数据进行降维。

数据融合策略在实现上非常简单，但仅适用于同质(相同类型)多元数据，因为它没有考虑到异构(不同类型)多元数据在强度和维数方面的可能变化。最后，提出一种更高层次的特征融合策略，从多变量数据的各个通道中提取特征，然后融合在一起，许多人工智能的基础技术,如贝叶斯估计,人工神经网络(ANN)，支持向量机(SVM)和隐马尔可夫模型(HMM)，可用于数据建模区分正常状态和异常状态监测过程。特征融合策略的主要局限性在于它严重依赖于数据配置，即当数据配置更改，例如，向当前系统添加新的监控数据或某些数据通道无效时，它将无法工作。最后，最高层次是决策融合策略，在决策融合策略中，首先对每个独立的数据通道进行量化检测，然后对所有的数据通道进行聚合最终决策的渠道。相比之下，决策融合策略具有以下优点：(1)当存在可能的无效数据信道时，系统具有较高的灵活性，(2)有必要将其应用于异构多变量数据，具有良好的兼容性。

从多个CUSUM统计量中聚合信息的多种方法。两种典型的方法分别是点平均q

理论上，q

其中，L{y

自然直观地，上述相异度度量可以同时捕获所有通道的平均值和特定通道的奇异值，从而提高整体变化检测性能。该融合策略具有以下优点：当存在可能的无效数据信道时，系统具有较高的灵活性；具有良好的兼容性，可将其应用于异构多变量数据。

在实验中，我们根据经验将α设为0.5。在这里，值得一提的是，在实际应用中，我们可以调整其值如下：对于含有大量噪声的数据，我们可以设置α∈[0，0.5]来赋予统计中的平均值更大的权重；而对于趋势变化缓慢的数据，我们可以设置α∈(0.5，1)来更多地捕捉特定通道中的奇异性。作为极端情况，在我们的度量中，当α＝0时，L{·}退化为q

进行监视数据流的变化检测包括：

(1)将第一个分割点视为当前分割点，以当前分割点的前后两个子序列作为当前序列；

(2)基于公式(8)对所述当前序列进行相异性度量；

(3)若相异性度量值大于设定阈值，则当前分割点为变化点，执行步骤(4)；反之，所述当前序列中没有变化点，执行步骤(5)；

(4)以下一个分割点作为当前分割点，以当前分割点的前后两个子序列作为新的当前序列，返回步骤(2)；

(5)以下一个分割点作为当前分割点，在当前序列后增加一个子序列，得到新的当前序列，即保持当前序列的起始时刻不变，增加序列长度，返回步骤(2)。

上述变化检测方法中应用了增量滑动窗口的思想，若当前滑动窗口检测到变化点，滑动窗口起始位置更新为变化点处，结束位置延长一个子序列，若没有检测到变化点，滑动窗口起始位置不变，结束位置延长一个子序列，即自适应地增大滑动窗口大小。这种变化点检测方法能够对较明显的异常点进行识别，对于变化趋势较小的异常点，能够进行数据异常信息的累积，从而将小偏移累积起来达到放大的效果，从而提高检测过程中对小偏移的灵敏度。

在实际应用中，监测系统的一个关键特性是在相似条件下具有很高的时间变化，即一个事件可以在几分钟内或在很长的一段时间内持续，因此，使用固定大小的滑动窗口来检测切口是不合适的，本实施例借助自适应地增量滑动窗口，检测窗口大小可以根据是否检测到变化点而自动更新，符合实际应用中时间的变化趋势。

上述步骤4得到的变化点记为云平台监视数据流中疑似出现异常的时刻。

步骤5：根据任何三个连续变化点之间间距是否平衡，对步骤4得到的变化点进行验证，判断步骤4得到的变化点是否有效。

具体地，采用公式(5)进行假设检验，以判定是否存在变化点，即，是否存在数据异常，通过零假设检验得到最终的检测结果。

对于监测数据流F，我们假设它包含M个变化点0<η

假设1：对Θ∈(3/4,1)而言，任意两个相邻变化点之间的距离从下而上由σ

假设2：任何三个连续变化点之间的间距在满足要求的意义上并不太“不平衡”

其中，c

如果检测到有变化，系统会向用户输出异常警报，以等待进一步处理；否则，视为已检出的数据正常，可随时检查新的监测数据。

本实施例基于监视数据流在时间上的连续性的特点，基于监视数据流多个通道的数据分布来寻找数据开始发生变化的时刻，从而实现数据的异常检测，相较于传统的通过阈值比对确定是否发生异常，更具合理性。

本实施例采用CUSUM统计方法对每个数据通道各个子序列的数据分布情况进行统计，采用改进的数据融合方法将多数据通道的统计信息进行融合，提高了检测精度。

实施例二

本实施例的目的是提供基于多数据通道分析的云平台异常检测系统。

一种基于多数据通道分析的云平台异常检测系统，包括：

数据流获取模块，被配置为获取监视数据流；

数据流预分割模块，被配置为根据监视数据流各个数据通道的数据分布，对监视数据流进行预分割，得到多个子序列；

数据分布统计模块，被配置为对每相邻两个子序列的数据分布差异进行统计；

变化检测模块，被配置为根据所述数据分布差异的统计结果，进行监视数据流的变化检测。

实施例三

本实施例的目的是提供一种电子设备。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实现如实施例一所述的基于多数据通道分析的云平台异常检测方法。

实施例四

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的基于多数据通道分析的云平台异常检测方法。

以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。