一种适于大规模并行数据处理任务的两级自适应调度方法

摘要

本发明公开了一种适于大规模并行数据处理任务的两级自适应调度方法，将任务从任务层级和子任务层级进行两级调度。本发明有效解决了任务间复杂依赖关系所带来的并行调度困难问题，提高了并行度，实现了大规模数据处理任务有序、高效的并行处理，减少了任务等待或执行时间，降低了整体执行时间。此外本发明还能将执行器运行统计信息反馈给调度器，实现自适应调整执行器池大小和任务所属类型，不断优化调度，从而提高了系统资源使用效率。