一种Hadoop集群中的作业调度方法和作业调度器

摘要

本发明公开了一种Hadoop集群中的作业调度方法和作业调度器，该方法包括以下步骤：S1、获取Hadoop集群中的各个资源池的资源使用量，根据各个资源池的资源使用量，选择当前资源池；S2、选择所述当前资源池中任务权重比最小的作业作为当前作业；S3、判断所述当前作业是否是小作业，如果是，则执行步骤S4；否则，执行步骤S5；S4、从所述当前作业中选择一个本地任务，向选择的本地任务分配空闲资源；S5、根据所述当前资源池中的空闲资源的位置以及所述当前作业的等待时间，向所述当前作业分配空闲资源。本发明能够避免将非本地节点的空闲资源资源分配给小作业带来的数据传输延迟和带宽消耗，提高了小作业的运行效率和系统的整体性能。