一种基于Hadoop平台的电力数据作业调度方法

摘要

本发明涉及电力数据作业调度的技术领域，更具体地，涉及一种基于Hadoop平台的电力数据作业调度方法。包括如下步骤：S1、提交任务并初始化等待队列；S2、确定当前任务，判断当前任务的类型，将当前任务分配到步骤S1中相应类型的队列中；S3、判断节点类型，并从任务队列中取出与节点相应类型的任务；S4、判断有没有慢任务，如果有慢任务就在另一个节点上备份任务并执行，如果没有慢任务就让其继续执行下去。利用剩余时间算法、资源分类策略，使得Hadoop在调度任务时，节点的平均负载得到有效降低，完成任务的平均速度提高，部分节点的负载压力得到缓解，有效的解决了节点资源负载均衡问题。