MapReduce异构环境下调度优化综述

摘要

Map Reduce作为一个分布式并行计算框架,在大数据处理方面得到了广泛的应用。该计算框架在同构集群环境中能够高效地运行,但是在异构集群环境中原容错算法不能正确地检测慢速任务,导致了性能的大幅下降。该文针对这一现象,分析了问题的主要原因,并且介绍了现存的几个优化算法,即Longest Approximate Time to End（LATE）算法,SelfAdaptive Map Reduce（SAMR）算法,Enhanced Self-Adaptive Map Reduce（ESAMR）算法,比较了各个算法的优缺点,最后指出了未来的研究方向。