基于Poisson过程的Hadoop集群平均寿命计算方法

摘要

Hadoop集群在连续长时间执行任务的过程中,集群故障会对集群造成不同程度的冲击与损害,是集群性能下降、系统故障频发的主要原因,更会导致集群平均寿命的大大缩短.为解决此问题,提出了一种基于Poisson过程的Hadoop集群平均寿命预测方法.通过预测计算,及时对集群进行调整优化,使系统性能保持在正常状态.同时在三种不同特征类型的Hadoop集群的实验中观察集群在任务执行过程中平均寿命的变化.实验结果表明,该方法能有效地判断Hadoop集群故障发生的频率,预测出集群的平均寿命。