Hadoop平台下公平调度器算法的研究

摘要

Hadoop平台下的作业调度器主要有三种:先进先出调度器(FIFO)、计算能力调度器(Capacity Scheduler)和公平调度器(Fair Scheduler),其中公平调度器是为应对多用户共享集群下多类型作业的并行执行而设计.本文首先介绍了Hadoop平台下作业调度机制,然后分析了公平调度器的算法,针对存在的不足之处提出了相应的改进方法.最后对作业调度技术的发展趋势进行了展望.