基于预测的Hadoop任务调度算法优化

摘要

在出现落后任务时，现有的Hadoop推测式执行任务调度器会在空闲节点上为该任务进行备份执行，但并未周全地考虑该空闲节点的当前性能，可能造成这次备份任务仍然失败或执行速度非常慢，导致执行备份任务的失败率较高，不仅占用较多系统资源并且延迟了系统响应时间。因此，研究现有的Hadoop任务调度算法，针对备份任务的调度执行提出改进方案，对提高系统性能有非常重要的意义。
　　提出了基于预测的Hadoop任务调度优化算法——CPL（Computation Prediction of Late）调度算法，主要包含两个优化点：首先，在系统中维护两个预测队列，分别为CPU空闲型节点队列和I/O空闲型节点队列。队列内部按执行任务失败率升序排序，在匹配任务和节点类型的基础上，预测即将空闲且失败率低的节点执行备份任务，降低了执行备份任务的失败率；其次，利用Map任务占用CPU时间片段的总和对现有的任务分类算法进行了修正，提出了更加准确的任务类型划分方法。
　　通过CloudSim云计算仿真平台进行仿真实验，对CPL调度算法的性能进行了验证。结果表明：CPL调度算法的作业响应时间相比于FIFO调度算法和LATE调度算法分别降低了20％和14%；CPL调度算法比LATE调度算法执行备份任务的失败率平均降低了16%。