一种基于MapReduce的负载自适应任务调度方法

摘要

本发明公开了一种基于MapReduce的负载自适应的任务调度方法，包括：(1)动态监测Hadoop集群负载状态，(2)动态监测集群各执行节点在执行任务过程中产生的软件信息，(3)动态监测集群各执行节点在执行任务过程中的硬件信息，(4)汇总步骤(1)、步骤(2)及步骤(3)中采集的集群各执行节点的负载监控信息、软件监控信息以及硬件监控信息三方监控信息，建模计算集群各执行节点的计算能力，(5)执行集群负载预警功能，并根据集群各执行节点计算能力进行智能任务调度。本发明解决了Hadoop现有调度器对集群资源感知度低、任务分配不合理的问题，提供了一种能够负载自适应的、更科学有效的任务调度方案。