线上多节点日志流量异常检测系统的研究

摘要

随着国家高性能计算环境各个节点产生日志数量不断增加,采用传统的人工方式进行异常日志分析已不能满足日常的分析需求.为了高效自动化地分析日志,提出了一个两阶段的检测方法.第一阶段首先在预处理时将日志模式进行分类,然后使用主成分分析方法进行异常检测,并将日志类型的有序排列定义为一种日志流量模式,通过该定义将异常检测中得到的异常流量模式提取出来,最后使用层次聚类算法简化流量模式的结果并保存.第二阶段通过第一阶段得到的检测模型和流量模式,可以实时监测分析日志流量信息并匹配对应流量模式.最终基于高性能计算环境中的真实日志进行实验分析,并实现了结果的可视化展示,从而大大减轻了运维人员的工作负担.