基于AHP的Reduce Task预设配比在Hadoop调度中的应用

摘要

针对Hadoop在进行具体MapReduce任务调度时,所存在的Reduce Task无法在一个合适的MapTask完成比例启动的问题,提出了一种基于AHP的Reduce Task预设配比启动方案.该方案基于层次分析法(AHP),选取在资源调度时影响性能息息相关的三个参考指标:文件上传时间、Reduce完成度(Map完成100％)以及系统的响应时间,经过实验得到三个参考值,最后经归一化后进行多属性决策分析得到最佳的Reduce Task启动方案.在本文实验环境下的最佳Reduce Task最佳启动配比为40％,即当Map Task完成比例为总数的40％时开始启动Reduce Task任务.