一种基于节点性能的Hadoop动态调度策略

摘要

针对Hadoop默认的任务调度分配算法不能根据集群中节点的性能进行动态的调整任务的问题,提出一种基于节点性能的动态任务调度策略。该策略根据节点的CPU使用率和内存使用率作为评价节点运行时性能的依据,根据节点的运行时性能好坏动态调整节点的任务分配数,从而达到集群中各节点运行在较好状态的效果。实验显示,该策略使集群的总任务完成时间缩减,有效提高集群的性能。