一种基于多元时序数据分析的轻量级无监督异常检测方法

摘要

本发明公开了一种基于多元时序数据分析的轻量级无监督异常检测方法。本发明包括两种模型：检测模型和推断模型；检测模型先通过随机卷积神经网络对捕捉到的多元时序数据的提取时间依赖性特征，进而利用深度贝叶斯网络对提取特征后的多元时序数据进行编解码，检测模型能够确定检测精准度范围；推断模型由得分注意力单元、阈值自动选择单元和点调整单元组成，得分注意力单元采用注意力机制扩大异常数据与正常数据之间的特征差异并为异常解释提供了理论基础，阈值自动选择单元能够自动计算阈值，点调整单元能够模拟真实异常的产生过程，推断模型能够提高异常检测的精准度、稳定性和可解释性。本发明能够应对飞速增长的数据规模和复杂多变的异常种类。

说明书

技术领域

本发明属于机器学习异常检测领域，具体是一种基于多元时序数据分析的轻量级无监督异常检测方法。

背景技术

异常是与观测值本体有较大差异的观测值个体或其子集，这些个体或子集脱离了原先的生成模式。异常检测就是找出这些个体或子集的过程。多元时序数据是一个具有先后关系的数值序列集合，特别的，数值序列中的每一个元素都是一个多维向量；多元时序数据能够描绘观测值本体的状态并隐含指示现象的变化规律，因此分析多元时序数据在异常检测领域内显得非常重要。

传统的有监督学习方法需要标记数据进行模型训练，并且只能识别已知异常类型的异常，其用途十分有限。无监督多元时序数据异常检测大体可分为三类：

降维。当多个传感器监视单个系统时，每个传感器生成的值之间通常存在关系，降维旨在识别和抽象这些属性之间的关键关系。处理多变量情况的常用方法是主成分分析(PCA)，减小了要研究系统的总体规模。投影寻踪提供了降低多元系统维数的另一种方法，但是同PCA类似，将会花费大量的计算成本。自动编码器(Auto Encoder)减少了隐藏层的长度，可以同PCA类似方法产生同样效果，但是计算成本要低的多。卷积变分自动编码器(CNN-VAE)大大减小了自动编码器的规模，复杂度和训练成本，使得其更适用于工业物联网，但是其在时序依赖性捕捉上有所欠缺。利用LSTM代替VAE中的前馈网络，将LSTM于VAE结合在一起，能够在一定程度上解决时序依赖性捕捉欠缺的问题。

聚类。之前研究中已经提出了一种利用隔离树(称为隔离森林)执行异常检测的整体方法，并与一类SVM，随机森林等做了比较，效果良好。多核异常检测(MKAD)使用内核函数来学习数据流中变量之间的相似性度量，并使用One-class SVM来执行分类任务。

其他方法。当前已经提出了使用RNN捕捉多元时间序列中时间依赖性的一系列方法。基于LSTM和GRU的神经网络在各类异常检测中要明显优于聚类方法。CNN与可训练的小波变换层结合在一起，能够识别概念上的随时间别换的渐进式飘逸和输入数据分布。

OmniAnomaly提出的多元时间序列异常检测随机递归神经网络可以学习具有随机变量链接和平坦归一化流的多元时间序列，但是该模型太大并且训练成本太高。一种基于GAN的自动编码器体系结构可以学习如何放大包含异常的输入信息的重构误差。与OmniAnomaly相比，该方法在训练时间上有很大的改进，但是其固有的模式崩溃、难以收敛、难以训练等问题使得其实用性和稳定性大大降低，因此在实际中不易使用。与上述方法相比，一种基于多元时序数据分析的轻量级无监督异常检测方法，可以清晰地建模时间序列的时间依赖性和随机性，并且推理模型可以更好地提高模型的准确性并实现异常解释。另外，它的规模大大减小，其稳定性和实用性得到了更好的改善。

发明内容

本发明要解决的技术问题是在保证异常检测高准确度的前提下，尽可能低的减小模型训练的规模和提升异常检测方法的稳定性、可用性，使其在资源、算力受限的设备上也可部署使用。

在基于有监督学习方法的异常检测中，带有标签的数据收集难度大、可行性低，且无法判断出现的新型异常，实用性和稳定性大打折扣。传统的基于RNN的异常检测方法，其模型规模庞大，训练难度大，耗时长，不易应用于资源、算力受限设备中。

本发明解决其技术问题采用的技术方案是：通过利用随机卷积神经网络代替传统基于RNN的神经网络，然后根据变分编码器技术对处理数据进行重构，以实现无监督学习；此外本方案中设计了一种通用的多元时序数据异常检测推断模型，能够依据生成的异常得分自适应的选择对应阈值进行异常判断。该方法采用以下步骤实现：

步骤1：数据预处理与分割，根据设定窗口参数，将数据处理为对应窗口大小的尺寸，以适应检测模型对输入数据的要求；将处理后的数据分为训练数据和测试数据。

步骤2：模型训练。根据步骤1获得的训练数据对整个模型进行训练，获得所需参数W

步骤3：本步开始进行异常检测过程，借助于步骤1获得的一组窗口测试数据，利用检测模型中的随机卷积神经网络，经过N次：扩张卷积，权重归一，整流单元，残差连接处理，捕捉时间依赖性。

步骤4：借助于步骤2中训练获得的深度贝叶斯网络参数，将步骤3处理后的数据进行重构，得到多元异常得分。

步骤5：依据步骤4得到的多元异常得分，采用推断模型中的得分注意力单元，计算每个观测实例的异常程度，得到每个观测实例的异常得分。

步骤6：自动选择阈值单元可以利用步骤5中得到的一组异常得分，使用带参数的广义Pareto分布构建阈值。

步骤7：点调整单元利用了现实中异常的特性，根据步骤5得到的异常得分和步骤6得到的阈值，进行异常判断。

步骤8：重复步骤3至步骤7，直至所有测试数据都被检测完毕。

本发明通过使用随机卷积神经网络减少了模型规模和训练成本，利用变分编码器技术实现了无监督的异常检测，采用得分注意力单元、自动阈值选择单元和点调整单元提升了模型的可用性和稳定性。

本发明的有益效果：在进行多元时序数据异常检测时，基于有监督学习的方法一直受到标签数据难以获取和异常类型多变的影响，导致其在实际应用中异常检测准确度低下，难以识别异常；传统的基于RNN的异常检测方法规模庞大，受用范围不大。本发明对多元时序数据异常检测方法进行重构，在保证异常监督准确度的前提下即解决了有监督学习的弊病，还使得模型规模大幅度缩减，从而有效缓解了当前异常检测方法难以应用于资源受限设备的问题，大大提升了异常检测的实用性。

附图说明

图1是本发明的整体系统结构。

图2是检测模型的结构图。

图3是随机卷积神经网络的实现过程。

图4是推断模型的结构图。

图5是在三种公开数据集下，与OmniAnomaly方法的训练时间和模型规模对比图。

图6是在三种公开数据集，四种无监督异常检测技术下，作出的F1指标对比图。

具体实施方式

下面结合附图和具体实施步骤对本发明做了进一步的说明：

一种基于多元时序数据分析的轻量级无监督异常检测方法，包括以下步骤：

步骤1：数据预处理与分割，根据设定窗口参数，将数据处理为对应窗口大小的尺寸，以适应检测模型对输入数据的要求；将处理后的数据分为训练数据和测试数据。

如图1所示，展示了本发明的整体结构。数据处理与分割部分在本发明结构的入口处，负责对原始数据做初步处理，形成检测模型所需的数据结构。值得注意的是，我们将窗口大小计为T+1，t时刻的测试数据x

步骤2：模型训练。根据步骤1获得的训练数据对整个模型进行训练，获得所需参数W

模型训练是影响异常检测结果的重要部分，在检测模型训练中，采用优化ELBO的方式对参数进行调整，单个观测实例的损失函数可以描述为：

检测模型包括编码器q

其中T+1代表窗口大小，

步骤3：利用检测模型中的随机卷积神经网络对每组测试数据进行检测，共N组测试数据；检测包括扩张卷积、权重归一、整流单元、残差连接和捕捉时间依赖性。

捕捉时间依赖性的模型结构如图2所示，代表我们检测模型中的随机卷积神经网络执行过程。扩张卷积操作定义为：

其中输入序列x∈R

此外，采用残差连接的方法可以有效的防止梯度消失现象发生，使每一层更精准的学习其变化过程，而不是学习整个转换映射。定义为：

因此整个测试数据时间序列捕捉过程，可以总结为：

其中h为生成的隐藏层变量。

步骤4：借助检测模型参数W

每组测试数据包含多个测试实例，每个异常得分的维度对应于每个测试实例的维度，每个异常得分纬度的值代表相应测试实例该维度的异常程度。

多元异常得分的维度对应于测试数据的维度，每一个维度的值代表相应观测实例每个维度的异常程度。

本步骤是检测模型核心，利用VAE和随机卷积神经网络的思想，设计了检测模型的实践框架，如图3所示。

图3的左侧部位展示了编码器模块的细节，包括随机卷积神经网络层、VAE层和PlanarNF层。本模块中，借助于步骤3产生的隐藏层序列h

公式(6)中第一式代表步骤3中随机卷积神经网络捕捉时间依赖性的过程，第二式和第三式代表VAE中的推断概率生成过程，f

图3的右半部分代表解码器模块的细节，包括随机卷积神经网络层和VAE层。过程同编码器模块，但其中带有微小变化，该过程公示化为：

其中，公示(7)中一式展示了随机卷积神经网络模块生成隐藏层序列

检测模型使用重构概率做为测试实例每一个维度的异常得分，定义为：

其中s

步骤5：依据步骤4得到的多元异常得分，采用推断模型中的得分注意力单元，计算每个观测实例的异常程度，得到每个观测实例的异常得分。

得分注意力单元可以有效的处理接近于正常实例的异常，对整个模型精度的提升发挥了很大的作用。对于一个M维的异常得分，该单元可以描述为：

AS

步骤6：自动选择阈值单元可以利用步骤5中得到的一组异常得分，使用带参数的广义Pareto分布构建阈值。

步骤7：点调整单元利用了现实中异常的特性，根据步骤5得到的异常得分和步骤6得到的阈值，进行异常判断。

异常判断是异常检测方法的最后一步，其判别过程为：将每一个观测实例的异常得分与阈值进行比较，若异常得分高于阈值，则该观测实例判定为异常，否则为正常。

步骤8：重复步骤3至步骤7，直至所有测试数据都被检测完毕。

图5显示了在同样的实验环境和三种公开数据集的条件下下，不同异常检测技术的训练时间和模型规模的对比。由于在LUAD中使用了一种轻量的随机卷积神经网络，可以发现LUAD在训练时间上要比当前先进的方法OmniAnomaly减少了1.5倍，在模型规模上要减少了24倍。

图6显示了，在F1指标的衡量标准，三种公开数据集的条件下，五种无监督异常检测技术的性能对比。可以发现的是，比较单一的方法如：AE和LSTM-VAE，其性能表达上要远低于其他三种方法。OmniAnomaly使用了传统的基于RNN的异常检测方法，其模型规模庞大在小批量的数据集上表现的性能较好，但是在大规模数据集下性能表达较差。USAD是基于GAN实现的无监督异常检测模型，该模型在检测“轻量”异常方面具有更好的性能，此外USAD需要大量数据训练，实用性较差。LUAD能够克服传统的基于RNN方法带来的训练时间和模型规模的缺陷，也能够在多种大小规模的数据集上表达出优异的性能，此外，其模型规模的大小和训练时间决定了其适合部署于一些资源受限的边缘设备上。