基于Venn-Abers预测器的系统日志异常检测方法

摘要

为了更好地解决系统日志异常检测问题,引入一种对预测结果进行可靠性评估的统计学习算法Venn-Abers预测器。与传统的基于静态阈值的系统日志异常检测模型仅输出正常或异常的预测结果不同,Venn-Abers预测器会对预测结果进行概率评估。根据逻辑回归(LR)、支持向量机(SVM)、随机森林(RF)这三种基础算法,分别开发三种Venn-Abers预测器,其中基于SVM的Venn-Abers预测器将召回率从81%提高到94%,同时对Venn-Abers预测器的概率值计算过程进行了改进,使其运行效率显著提高。实验结果表明,三种Venn-Abers预测器与其基础算法相比,可以通过动态调整阈值,取得更加准确的异常检测结果。