基于性能预测的Map Reduce负载均衡优化

摘要

Hadoop作为一个开源云计算框架,因为其优秀的分布式存储能力及其上运行的Map Reduce计算框架,越来越多的公司用Hadoop处理庞大的数据。负载均衡对分布式计算的性能有重要影响,Hadoop基于最简单的hash算法对任务进行分派,并没有对异构环境及多任务运行环境的因素做过多考虑。为了解决上述存在的不足,我们提出一种负载均衡框架,对计算节点的性能情况进行监控,预测节点的计算能力,依据预测结果来对Map Reduce的计算任务进行分配,从而最大化分布式集群的计算能力。