Hadoop集群公平调度算法的改进与实现

摘要

Hadoop作为MapReduce的开源实现被越来越多的企业使用。但是当Hadoop集群中出现较多的小作业时,使用其内置的调度算法就会降低整个系统的吞吐率[1]。该文针对这个不足,提出了基于公平调度的延时调度算法。通过设定一定的延时来保证数据的本地性,实验结果表明改进的调度算法可以提高整个系统的吞吐率。