一种面向分布式流计算系统的动态任务调度优化方法

摘要

本发明提供一种面向分布式流计算环境下的任务调度优化方法，在运行时周期性地采集任务之间传输的数据量，通过分组机制，将通信量大的任务划分到一个组，一个组的任务在后续的调度过程中，会被当成一个整体进行调度。本发明的方法有很好的扩展性，当任务拓扑结构非常大的时候，本发明可以采用多层次组合方法，将上一层得到的组进行再次合并，得到更大的组，从而启用更少的调度单元，进一步减少调度规模。当规模足够小的时候，再将这些组调度到进程，降低网络通信开销。进一步地，本发明在调度时还依据负载大小调用进程，从而在确保降低网络通信开销的同时达到负载平衡。