基于完成效率的数据中心作业调度方法及系统

摘要

本发明属于大数据分析作业调度领域，公开了一种基于作业完成效率的作业调度方法及系统，包括以下步骤：1、输入一批作业及作业的资源需求和作业完成时间；2、将所有作业按照作业完成时间进行对齐生成多个作业组；3、对多个所述作业组中的作业进行打包生成多个作业集；4、对打包后的作业集根据最密作业集优先调度方法进行调度；5、输出作业调度顺序。通过作业完成时间对齐、作业打包、调度优化这三个步骤来增加作业完成效率、提高系统吞吐量。本发明使用谷歌集群数据做了仿真实验，实验结果验证了该方案的有效性。该方案和最短作业优先调度策略相比，减小23.19％的平均作业完成时间，提升了42.19％的系统吞吐量。