基于二次滑动窗口机制的日志异常检测方法

摘要

针对日志异常检测的传统特征提取方法往往选取一定数量的日志进行特征提取,在程序并发和网络时延波动较大等导致日志顺序混乱的场景下,传统方法效果不够理想。本文提出一种基于二次滑动窗口机制的日志异常检测方法,首先基于正则表达式和日志解析方法提取出日志时间戳和模板信息,再先后两次采用滑动窗口方法获取特征提取的序列对象。其中初次滑动窗口基于日志数量进行定长滑动,二次滑动窗口基于时间间隔进行变长滑动,以此优化特征提取粒度,有效筛选出时空关联性较强的日志集合。最后基于长短期记忆网络LSTM搭建判别模型解决异常日志的多分类问题。本文在开源数据集AIT-Log上开展对比实验,研究了两种滑动窗口机制、滑动窗口尺寸以及判别模型等因素对检测效果的影响。实验表明,相对于传统滑动窗口机制,所提方法有效提升了各模型检测效果,其中LSTM的查准率和查全率均提升3%左右。研究窗口尺寸对比实验结果可以发现,检测效果与滑动窗口尺寸成正相关,但当窗口大小到达一定临界点时检测效果将不再提升。在模型对比实验中,LSTM各项指标均优于传统机器学习算法,并且在输入数据维度增加时模型性能基本没有损失,可以看出LSTM的时空特征提取能力和非线性拟合能力都优于传统机器学习模型。