异构环境下MapRuduce任务调度算法优化

摘要

Hadoop作为世界领先的大数据平台,其性能更多地依赖于MapReduce任务调度机制.通过对MapReduce任务调度机制中推测算法的研究,提出一种高效、准确和基于优先级的改进Hadoop调度算法.通过测试发现,改进后的Hadoop调度算法在异构环境下能够对落后任务判定准确,更好地维持系统的负载平衡,减少系统对任务的响应时间,增加对高优先级任务的响应速度,提高MapReduce任务调度算法的性能.