云计算系统中基于子序列特征向量的海量日志异常检测方法

摘要

云计算系统由于规模巨大、行为复杂、运行时组成部件失效频繁,其系统可靠性、可用性面临重大挑战.异常行为检测是提高云计算系统可靠性、可用性的重要辅助机制.日志数据由于其普适性被广泛应用于云计算系统异常行为检测中.本文基于日志数据对云计算系统进行异常行为检测,针对日志数据量巨大导致异常检测效率低下的问题,从线程级日志序列出发,将异常检测问题建模为线程序列模板匹配问题,并基于Hadoop平台进行故障注入实验.实验结果表明,本文提出方法在保证一定精确度的前提下能实现线程日志序列的快速匹配,进而辅助提高异常检测效率.