Hadoop平台下的任务调度方法及装置

摘要

本发明公开了一种Hadoop平台下的任务调度方法及装置，该方法包括：对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估；根据所述映射阶段的处理耗时以及归约阶段中混洗时期以及排序时期的处理耗时对任务队列中的多个待处理任务进行重排序处理；根据重排序结果将待处理任务调度给执行节点以供进行任务处理。通过上述方式，本发明可以通过预估映射阶段以及归约阶段的混洗时期和排序时期的处理耗时，来对任务队列中的任务进行重排序，避免处理过程中的拥堵，以使任务的调度更为合理。