Hadoop下资源匹配最大集作业调度算法

摘要

针对目前层级队列作业调度算法中资源占比高的作业执行效率低的问题,提出一种资源匹配最大集算法.该算法分析作业特征,引入完成度、等待时间、优先级、重调度次数为紧迫值因子,优先考虑资源占比高或等待时间长的作业,以改善作业公平性;采用双队列结构在可用资源总量内优先选择高紧迫值作业,在不同资源占比作业集比较中选择作业数最大集,以实现调度平衡.在与最大最小公平(Max-min fairness)算法的实例对比中发现,该算法可降低作业集平均等待时间、提高资源利用率.实验对比结果表明,该算法可将不同资源占比的单一类型作业集执行时间缩短18.73％,其中资源占比高的作业执行时间缩短27.26％;在混合型作业集中对应的执行时间可分别缩短22.36％与30.28％.所提算法能有效减少资源占比高作业的等待,提高作业整体执行效率.