基于逻辑回归监督学习的大样本日志异常检测优化方法

摘要

传统基于日志的异常检测方法依赖于人工分析,适用于数据量小的系统,而对于复杂且庞大的日志系统,其检测效率往往很低,无法满足要求。随着机器学习的发展,检测手段发生了根本的转变,检测效率及性能也大幅提高。对于同一个日志系统,针对不同的日志预处理方法及机器学习算法,尤其对日志模板及特征的提取目前还没有统一的成熟模型,导致最后得到较大差异的检测准确率、性能等指标。本文基于监督学习方法提出大样本日志异常检测优化方法,将数据集进行日志解析得到精确的日志模板,再进行日志序列的向量化处理,使用逻辑回归监督学习算法进行分类训练与测试,结合不同的测试指标来选取最佳的参数,最终得到最优模型。实验结果证明,经此方法获取的模型能够达到较优的检测结果。