基于知识库和HSMM模型的云日志分析方法

摘要

为了分析云基础环境下各个组件产生的日志数据,本文提出了一个基于知识库和HSMM(隐半马尔科夫模型)的云日志分析方法.首先,日志分析系统整合了Flume,Kafka,Spark Streaming;然后,消费模块实时获取云日志,云日志经过一系列处理后形成时间事件序列用于故障预测,正确的预测结果将通过接口写入知识库.此外,获取的云日志会写入elastic-search中用于日志检索;最后,通过实验对系统的实用性指标进行了评估.该云日志分析系统可以聚集多源日志,方便日志检索,提高预测的准确度.