一种流任务和批任务一体化的分布式任务调度方法及系统

摘要

本发明公开了一种流任务和批任务一体化的分布式任务调度方法，包括：Master节点和Worker节点注册；主和备Master孵化任务，分发任务，Master节点孵化出具体实例和任务实例，然后根据任务依赖关系，依次将任务实例分发给Worker节点；Worker节点收到消息后，将任务进行分类，通过本地任务线程池和远端任务线程池进行管理；当远端任务提交后，将远端任务转移到任务状态监测队列，从而释放任务提交线程，提升任务提交的并行度；在状态检查流程中，采用任务定时汇报机制，另外使用少量线程扫描防任务突发故障而来不及汇报状态情况。本发明不断优化任务状态检查机制，降低了资源的消耗，实现对流任务与批任务的统一化有效管理。