一种Hadoop平台下的调度算法及混合调度策略

摘要

云资源的合理分配以及对作业的有效调度,能够大幅提升云系统性能.在归纳Hadoop的现有作业调度算法的基础上,提出一个适用于异构集群的Max-D调度算法.对比分析了FIFO、公平调度以及Max-D算法在不同负载情况下的性能,针对单一调度算法在不同负载下性能衰减的缺陷,设计出基于负载检测的混合调度策略,为系统选择最为适合当前负载状况的调度算法.实验数据表明,FIFO、公平调度以及Max-D算法的混合调度方式对减少作业的平均调度时间以及保证公平性是有效的.