Hadoop集群异常节点实时检测与诊断算法

摘要

针对Hadoop集群节点增加导致任务运行效率降低,以及异常节点会拖慢整体作业进度的问题,提出了一种Hadoop集群异常节点实时检测与诊断算法。首先基于正常状态下节点性能相似性原理,使用Logstash工具收集Hadoop集群节点运行日志中的任务状态信息;其次,发现异常节点后,通过Perf性能分析工具收集体系结构性能信息,再利用异常节点诊断算法诊断导致该节点异常的原因。通过实时流计算框架Spark Streaming构建了异常节点实时检测与诊断模型,并设计了一系列的实验验证了本算法的有效性。