基于时间间隔感知自注意力机制的日志序列异常检测方法

摘要

本发明提供一种基于时间间隔感知自注意力机制的日志序列异常检测方法，本发明在使用Transformer编码器提取日志序列特征的过程中引入了时间间隔感知自注意力机制，在计算注意力分数的过程中利用了日志模板的语义信息与时间间隔信息，提高获取日志之间关联信息的能力，使得模型能够学习到序列中日志之间的时间间隔对于异常检测的影响，提高了异常检测的准确率。同时，在利用BERT语言模型提取词向量的基础上，采用CNN聚合词向量生成日志模板的向量表示，学习单词本身及其上下文不同尺度的语义信息，使得模型能够适应软件更新过程中日志语句中的单词变化，提高了异常检测的鲁棒性。

说明书

技术领域

本发明涉及信息技术领域，具体而言，尤其涉及一种基于时间间隔感知自注意力机制的日志序列异常检测方法。

背景技术

日志数据是在线服务系统中重要而有价值的数据源，它记录了系统运行状态和用户行为的详细信息。通过分析系统产生的日志序列是否偏离正常的工作模式可以有效的发现系统运行时发生的错误，提高软件的可靠性。

目前，主流的日志序列异常检测方法可分为基于机器学习的方法和基于深度学习的方法。

大多数基于机器学习的日志序列异常检测方法利用日志数据的统计特征与机器学习算法相结合对日志序列进行异常检测。

例如，使用无监督的PCA算法，通过分析源代码将日志表达的事件状态与发生次数进行统计，用状态比例向量与事件计数向量作为模型的输入进行异常检测，虽然该方法从不同方面提取日志特征，但是没有提取日志语句的语义信息，导致缺乏鲁棒性。

再如，使用SVM算法，通过滑动窗口中各种日志级别的数量及分布来向量化日志序列，将其输入到模型中，通过有监督的训练进行异常检测，虽然有一定效果，但是没有考虑日志的顺序关系，无法检测出日志的顺序异常，使得检测准确率较低。

大多数基于深度学习的日志序列异常检测方法侧重于利用日志之间的顺序关系，利用循环神经网络、注意力机制等方法来进行日志序列异常检测，部分学者将自然语言处理领域的技术方法应用到日志序列异常检测中。

例如，基于LSTM的日志异常检测模型DeepLog。虽然学习了日志之间的顺序关系，但是采用日志模板索引的编码方式不能充分提取日志模板的语义信息，缺乏鲁棒性。

再如，LogRobust，通过自然语言处理的方法将日志模板中的单词转换成词向量，基于TF-IDF(term frequency-inverse document frequency)聚合词向量生成日志模板向量，利用基于注意力机制的Bi-LSTM模型检测异常，虽然考虑了日志语句中包含的语义信息，但是采用统计方法来聚合词向量的方式无法应对日志语句中单词的变化并且无法学习单词上下文特征导致鲁棒性不高。同时，基于LSTM的模型没有考虑日志事件的位置信息，受长期依赖问题困扰，存在丢失过去信息的风险，导致准确率不高。

又如NeuralLog，通过BERT来提取词向量，日志模板向量被计算为其相应词向量的平均值，将日志模板向量序列输入到基于Transformer的模型中进行异常检测，提高了检测的准确率。虽然这些方法都在异常检测的准确率上取得了一定的效果，但是使用统计方法来聚合词向量生成日志模板向量，无法区分不同单词的语义信息，学习不到日志模板的局部特征，当日志模板中的单词发生变化时会降低异常检测的准确率。当系统正常运行时，不同任务的响应时间都会稳定在正常范围内，而当发生硬件问题、网络通信拥塞和组件性能存在缺陷等异常时，任务的响应时间发生较大的波动，任务产生的日志语句之间的时间间隔就会过长。

上述方法只关注日志的顺序信息，没能充分利用日志中对异常检测任务有用的时间信息，导致异常检测的性能受限。综上，目前日志序列的异常检测方法主要存在以下缺点：

(1)大多数方法采用自然语言处理领域中的技术来获得词向量，使用统计方法来聚合词向量生成日志模板向量。虽然能够获取日志中单词的语义信息，但是无法很好地区分不同单词的语义对异常检测任务影响，同时无法获得单词的上下文特征，捕捉单词之间的依赖关系，无法适应在系统或服务的升级的过程中日志语句的不定期更新所产生的单词变化，影响异常检测的准确性。

(2)大多数方法主要关注日志的顺序信息对异常检测的影响。虽然大部分的系统故障会导致日志偏离正常的日志序列，通过日志的顺序信息可以有效的检测系统异常，然而日志产生的时间间隔也是判断系统异常的重要信息源，只考虑日志的顺序信息而忽略了日志之间的时间间隔，导致异常检测的性能受限。

发明内容

本发明提供一种基于时间间隔感知自注意力机制的日志序列异常检测方法，本发明引入了时间间隔感知自注意力机制，将日志之间的时间间隔与语义信息输入到多头自注意力机制中来获得日志之间的关联信息，优化了所提取特征的表达能力，提高了异常检测的准确率。

本发明采用的技术手段如下：

一种基于时间间隔感知自注意力机制的日志序列异常检测方法，包括：

获取训练用的日志集合，对所述训练用的日志集合进行数据解析，从而生成日志模板序列和时间戳序列；根据所述时间戳序列计算序列中每个日志事件之间的相对时间间隔，从而获取时间间隔矩阵；

将所述的日志模板序列与时间间隔矩阵输入到基于时间间隔感知自注意力机制的异常检测模型中对整个模型进行有监督的训练。

获取待检测的日志集合，对待检测的日志集合输入到训练后的基于时间间隔感知自注意力机制的日志序列异常检测模型中进行异常检测。

进一步地，所述基于时间间隔感知自注意力机制的日志序列异常检测模型的训练步骤包括：

将所述日志模板序列输入到BERT模型进行词向量处理，从而获取日志模板序列的词向量；

通过一维卷积神经网络对所述日志模板序列的词向量进行模板向量提取，从而获取日志模板向量；判断所述日志模板序列中是否还有未被处理的日志模板，若有则对下一个日志模板进行词向量提取和模板向量提取，直至日志模板均被处理；

将所述日志模板向量和时间间隔矩阵输入到Transformer编码器中获取日志序列向量；

将所述日志序列向量输入到基于全连接神经网络的分类器中输出检测结果，基于所述检测结果计算损失并更新模型参数。

进一步地，根据所述时间戳序列计算序列中每个日志事件之间的相对时间间隔，从而获取时间间隔矩阵，包括：

对于一条时间戳序列T＝{t

进一步地，将所述日志模板序列输入到BERT模型进行提取词向量，从而获取日志模板序列的词向量，包括：

将日志模板视为自然语言中的一个句子，对一条日志模板序列X＝{x

通过BERT语言模型对所述单词序列进行编码，将每个单词映射为一个d维的向量，则该日志模板被表示为词向量序列z

进一步地，通过一维卷积神经网络对所述日志模板序列的词向量进行模板向量提取，从而获取日志模板向量，包括：

对于日志模板词向量序列z

c

其中

每个卷积核通过对日志模板中所有词向量进行运算可得到新的特征映射C＝{c

将所有卷积核产生的特征值连接起来得到日志模板向量

进一步地，将所述日志模板向量和时间间隔矩阵输入到基于时间间隔感知自注意力机制的Transformer编码器中获取日志序列向量，包括：

对日志模板向量进行位置编码，使用正弦和余弦函数为日志序列中的每个位置的日志事件生成向量

其中t＝1,2,…y，代表向量的不同维度，PE

将加入了位置信息的日志模板向量序列输入到时间间隔感知自注意力层中，在注意力计算中加入了日志事件的时间间隔信息，将时间间隔矩阵扩展一个维度变为

其中

z

将经过注意力计算的日志模板向量输入到前馈全连接层中，进行两次线性变换，如公式(5)所示，求得最终的日志序列向量：

r

其中

进一步地，将所述日志序列向量输入到基于全连接神经网络的分类器中得到日志序列的分类结果并对整个模型进行有监督的训练，基于所述检测结果计算损失并更新模型参数，包括：

将日志序列向量输入到基于全连接神经网络的分类器中输出检测结果计算损失并且更新模型参数，如公式(6)所示：

pre＝Softmax(R·W

其中W

使用交叉熵损失函数来计算模型检测结果与数据集中提供的标签之间的损失，如公式(7)所示：

通过Adam优化器反向传播更新参数，需要更新的参数包括CNN、Transformer编码器以及全连接神经网络中的参数。

进一步地，所述对待检测的日志集合，输入到训练后的基于时间间隔感知自注意力机制的日志序列异常检测模型中进行异常检测的步骤包括：

获取待检测的日志集合，对所述日志集合进行数据解析，从而生成日志模板序列和时间戳序列；根据所述时间戳序列计算序列中每个日志事件之间的相对时间间隔，从而获取时间间隔矩阵；

将所述日志模板序列输入到BERT模型进行词向量提取，从而获取日志模板序列的词向量；

通过一维卷积神经网络对所述日志模板序列的词向量进行模板向量提取，从而获取日志模板向量；判断所述日志模板序列中是否还有未被处理的日志模板，若有则对下一个日志模板进行词向量提取和模板向量提取，直至日志模板均被处理；

将所述日志模板向量和时间间隔矩阵输入到基于时间间隔感知自注意力机制的Transformer编码器中获取日志序列向量；

将所述日志序列向量输入到基于全连接神经网络的分类器中输出检测结果。

较现有技术相比，本发明具有以下优点：

本发明涉及一种基于时间间隔感知自注意力机制的日志序列异常检测方法。为了提高异常检测的准确率，本发明在使用Transformer编码器提取日志序列特征的过程中引入了时间间隔感知自注意力机制，利用日志之间的时间间隔信息，提高获取日志之间关联信息的能力，使得模型能够学习到序列中每个日志之间的时间间隔对于异常检测的影响。此外，本发明在利用预训练的BERT语言模型来提取日志中单词语义表示的基础上，采用CNN来聚合词向量生成日志模板的向量表示，学习单词本身及其上下文不同尺度的语义信息，使得模型能够适应软件更新过程中日志语句中的单词变化，提高了异常检测的鲁棒性。在两个日志数据集上的实验结果表明，本方法优于现有的大多数基于日志序列的异常检测方法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于时间间隔感知自注意力机制的日志序列异常检测方法流程图。

图2为实施例中LogT框架示意图。

图3为实施例中LogT训练过程示意图。

图4为实施例中LogT的检测过程示意图。

图5为实施例中HDFS数据集中不同数量的注意力头对检测性能的影响。

图6为实施例中BGL数据集中不同数量的注意力头对检测性能的影响。

图7为实施例中不同方法在HDFS数据集上的性能。

图8为实施例中不同方法在BGL数据集上的性能。

图9为实施例中日志更新示意图。

图10为实施例中不同方法的鲁棒性对比图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

如图1-4所示，本发明提供了一种基于时间间隔感知自注意力机制的日志序列异常检测方法(LogT)，主要包括：

S1、获取训练用的日志集合，对所述待检测日志集合进行数据解析，从而生成日志模板序列和时间戳序列；根据所述时间戳序列计算序列中每个日志事件之间的相对时间间隔，从而获取时间间隔矩阵。

日志解析的目标是将非结构化的日志文本转化为结构化的数据[11]。本方法选择性能比较好的Drain算法来进行日志解析，其核心思想是基于日志数据构建一个固定深度的解析树，根据树中蕴含的模板提取规则进行日志解析，从非结构化的日志文本中提取日志模板和时间戳。

根据日志数据集的特点，本发明优选按照其会话id或滑动窗口划分日志序列，获取其中的日志模板序列和时间戳序列。

进一步地，根据时间戳序列计算序列中每个日志事件之间的相对时间间隔，从而获取时间间隔矩阵，包括：

对于一条时间戳序列T＝{t

S2、将所述的日志模板序列与时间间隔矩阵输入到基于时间间隔感知自注意力机制的异常检测模型中进行有监督的训练。

具体实施时，作为本发明优选的实施方式，所述步骤S2中，对基于时间间隔感知自注意力机制的异常检测模型进行训练的过程包括：

S201、将所述日志模板序列输入到BERT模型提取词向量，从而获取日志模板序列的词向量。

本发明中，为了捕获日志事件的语义信息，将日志模板视为自然语言中的一个句子，对一条日志模板序列X＝{x

S202、通过一维卷积神经网络对所述日志模板序列的词向量进行模板向量提取，从而获取日志模板向量；判断所述日志模板序列中是否还有未被处理的日志模板，若有则对下一个日志模板进行词向量提取和模板向量提取，直至日志模板均被处理。

具体来说，对于日志模板词向量序列z

c

其中

每个卷积核通过对日志模板中所有词向量进行运算可得到新的特征映射C＝{c

将所有卷积核产生的特征值连接起来得到日志模板向量

进一步地，判断该日志模板序列中是否还有未被处理的日志模板，若有则执行S201，否则执行S204。

S203、将所述日志模板向量和时间间隔矩阵输入到基于时间间隔感知自注意力机制的Transformer编码器中获取日志序列向量。

首先，对日志模板向量进行位置编码，使用正弦和余弦函数为日志序列中的每个位置的日志事件生成向量

其中t＝1,2,…y，代表向量的不同维度，PE

其次，将加入了位置信息的日志模板向量序列输入到时间间隔感知自注意力层中，在注意力计算中加入了日志事件的时间间隔信息，将时间间隔矩阵扩展一个维度变为

其中

z

最后，将经过注意力计算的日志模板向量输入到前馈全连接层中，进行两次线性变换，如公式(5)所示，求得最终的日志序列向量：

r

其中

S204、将所述日志序列向量输入到基于全连接神经网络的分类器中输出分类结果并对整个模型进行有监督的训练。

具体来说，将日志序列向量输入到带有Softmax函数的全连接神经网络中输出检测结果计算损失并且更新模型参数，如公式(6)所示：

pre＝Softmax(R·W

其中W

使用交叉熵损失函数来计算模型检测结果与数据集中提供的标签之间的损失，如公式(7)所示：

通过Adam优化器反向传播更新参数，需要更新的参数包括CNN、Transformer编码器以及全连接神经网络中的参数。

S205、判断日志测试集中是否还有未被训练的序列，若有，转S2，否则，结束训练。

S3、获取待检测的日志结合，对待检测的日志集合输入到训练后基于时间间隔感知自注意力机制的异常检测模型中进行异常检测。

作为本发明较佳的实施方式，上述检测步骤包括：

S301、获取训练用日志集合，对所述训练用日志集合进行数据解析，从而生成日志模板序列和时间戳序列；根据所述时间戳序列计算序列中每个日志事件之间的相对时间间隔，从而获取时间间隔矩阵。该步骤与S1执行方法相同，此处不再赘述。

S302、将所述日志模板序列输入到BERT模型提取词向量，从而获取日志模板序列的词向量。该步骤与S201执行方法相同，此处不再赘述。

S303、通过一维卷积神经网络对所述日志模板序列的词向量进行模板向量提取，从而获取日志模板向量；判断所述日志模板序列中是否还有未被处理的日志模板，若有则对下一个日志模板进行词向量提取和模板向量提取，直至日志模板均被处理。该步骤与S202执行方法相同，此处不再赘述。

S304、将所述日志模板向量和时间间隔矩阵输入到Transformer编码器中获取日志序列向量。该步骤与S203执行方法相同，此处不再赘述。

S305、将所述日志序列向量输入到基于全连接神经网络的分类器中输出检测结果。

S306、判断日志测试集中是否还有未被训练的序列，若有，转S302，否则，结束训练。

下面通过具体的应用实例，对本发明的方案和效果做进一步说明。

本部分从日志序列异常检测的准确率和鲁棒性两个方面，分别将本专利的算法与目前最新的各种算法进行比较，描述本算法的有益效果。

(1)实验环境

本发明的实验均在NVIDIA TESLA V100 32G GPU的服务器上进行，使用Python3.6的环境基于Pytorch来构建模型，使用Adam优化器训练LogT模型，并使用交叉熵函数作为训练时的损失函数，在10次迭代后终止训练过程。

(2)数据集

2019年Shilin He等人在Loghub上发布了大量来自16个不同系统的日志本发明选择两个具有代表性的日志数据集HDFS和BGL，数据集的细节如表1所示。HDFS数据集是在超过200个Amazon EC2(ec2)节点上运行Hadoop生成的，它是基于日志进行异常检测的常用基准数据，其总共包含11,175,629条原始日志消息，并且对575061个会话都赋予了对应的标签来说明其正常与异常的状态。BGL数据集是从加利福尼亚州利弗莫尔的劳伦斯·利弗莫尔国家实验室(LLNL)的BlueGene/L超级计算机系统收集的，总共包含4,747,963条原始日志消息，并将每条日志都标记为正常或异常。在实验中，根据日志的时间戳信息自上而下取前80％作为训练数据，剩下的20％作为测试数据。其中，HDFS数据集的序列是因为Block_id划分的，BGL数据集的序列是以大小为20的滑动窗口框定的。由于HDFS与BGL数据集标签都是手动标记的，因此将这些标记作为评估的事实依据。

表1数据集的细节

(3)基线方法

本发明选择PCA、SVM、DeepLog、LogRobust、NeuralLog作为对比实验的基线方法。

PCA通过分析源代码将日志表达的事件状态与发生次数进行统计，用状态比例向量与事件计数向量作为模型的输入进行无监督的异常检测；SVM通过滑动窗口中各种日志级别的数量及分布来向量化日志序列，通过有监督的训练进行异常检测；DeepLog采用日志模板索引的编码方式，利用LSTM学习正常日志之间的顺序关系来检测异常；LogRobust通过FastText来提取词向量，通过TF-IDF聚合词向量生成日志模板向量，输入到基于基于注意力的Bi-LSTM模型检测异常；NeuralLog通过Bert来提取词向量，通过计算词向量的平均值的方式获得模板向量，输入到基于Transformer的模型中进行异常检测。

(4)评估指标

异常检测是一个二分类问题，本发明利用广泛使用的指标，即准确率、召回率和F1-score来评估LogT与各基准方法在异常检测方面的准确性。

准确率

召回率

F1分数

其中，TP是模型正确检测到的异常日志序列的数量。FP是模型错误地标识为异常正常日志序列的数量。FN是模型未检测到的异常日志序列的数量。

(5)实验参数设置

对于一维卷积层，根据卷积神经网络在自然语言处理领域应用的经验[14-15]，本发明采用1、2、3这三种不同尺寸的卷积核，每种尺寸的卷积核数量均设置为100，确保卷积神经网络能够获取单词本身以及其上下文不同尺度的信息；对于自注意力机制中不同数量的注意力头，根据多次实验的结果(如图5、6所示)，同时考虑模型复杂度与准确率，将HDFS数据集与BGL数据集的注意力头数均设置为4。

(6)实验结果集对比分析

本发明将LogT与六种基线方法进行实验对比，来验证本发明在日志序列异常检测的准确率和鲁棒性方面的优势。

1)准确率

图7和图8分别展示了本方法与六种基线方法在HDFS与BGL数据集上在准确率方面的比较结果。

由图7和图8可知，在HDFS与BGL两个数据集上的实验结果表明，LogT在六种方法中的准确率最高，在HDGS数据集与BGL数据集上的F1-score均为0.98。PCA方法通过分析源代码的方法来获取日志数据的统计特征进行异常检测，不能作为一种通用的异常检测方法，导致其在两个数据集上表现效果都较差；虽然SVM在BGL数据集上的准确率较高达到了0.98，但是其低召回率影响了检测性能，且在HDFS数据集上不理想，这是因为其只考虑了日志数据的统计特征，没有考虑到日志的顺序信息；DeepLog在HDFS数据集上表现了较高的准确率0.96，但是其召回率偏低，并且在BGL数据集上表现较差，这是因为它采用日志模板索引的方法，无法获取日志的语义信息；LogRobust在两个数据集上到了较高的召回率，但是其高召回率以低准确率为代价，较低的准确率代表无法检测到更多的异常，NeuralLog使用BERT与Transformer的模型进行异常检测，与以上方法相比在两个数据集上准确率和召回率均有提高；LogT通过时间间隔感知自注意力机制，利用了系统运行过程中日志之间的时间间隔信息，在HDFS数据集上获得更高准确率和召回率，在BGL数据集上获得了更高的召回率，使得LogT能够检测出更多的异常并且避免错误的报警，提高了异常检测的准确率。

2)鲁棒性

随着系统或服务的升级，开发人员在更新系统源代码的过程中会经常在日志语句中插入或删除一些单词。日志语句的更新会影响异常检测的准确性。因此，提高模型的鲁棒性使得模型能够应对日志模板更新变得尤为重要。为了比较LogT与其他基线方法的鲁棒性，本发明根据Zhang等人[6]提出的日志更新规则对原始HDFS数据集进行了一定。经过修改的日志语句不会显著改变原始日志语句的语义，因此相应的异常标签状态不受影响，日志更新的具体例子如图9所示。在按照不同比例更新后的HDFS数据集上再次进行异常检测，不同方法F1分数的比较结果如图10所示。

从图9中可以看出，当日志的更新比例达到5％时，DeepLog的F1分数开始显著下降，当日志的更新比率达到15％时，SVM、PCA以及NeuralLog的F1分数也出现了显著下降，当日志的更新比率达到25％时，LogRobust也出现了较为明显的下降。而logT的F1分数受到的影响很小，即使日志的更新比例达到30％时，也能保持较高的F1分数。由此可以得出，本发明提出的LogT方法，利用Bert与CNN来获取日志模板向量，使得模型能够更好地学习不用单词的语义信息以及上下文特征，能够适应日志中单词发生更新的情况，与其他基线方法相比具有更好的鲁棒性。

(7)结论

软件日志广泛应用于各种可靠性保证任务，大多数方法通过分析日志序列中所包含的日志之间的关联信息进行异常检测，本发明提出了一种基于时间间隔感知自注意力机制的日志序列异常检测方法(logT)，构建由CNN和Transformer组成的层次网络结构获得不同层次的日志特征，利用CNN来获得单词的多尺度特征，更细致的考虑了日志语句中单词之间的关联信息，使得模型能够适应日志语句更新的情况，提高了异常检测的鲁棒性。同时，在提取日志序列的特征的过程中，不仅考虑了日志的顺序信息还加入了日志中包含的时间信息。利用时间间隔感知自注意力机制，将日志之间的时间间隔与语义信息一起输入到自注意力机制来获得日志之间的关联信息，优化了所提取特征的表达能力，提高了异常检测的效果。在大型系统日志数据集上的实验评估表明，与当前主流的方法相比，LogT获得了更好的异常检测效果。在未来的工作中，本发明将进一步探索日志序列异常检测的特征提取方法，考虑将日志中更多有价值的信息融合到异常检测模型中，能够更有效的区分正常日志序列与异常日志序列之间的差异，增强异常检测的性能。并在更多的日志数据集上测试本方法的效率，验证本方法的普适性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。