引入内部消息调度机制的集群间并行数据重分布

摘要

为完成数据重分配进行消息调度是分布式集群计算的一个重要研究内容。本文针对具有高速内部互连网络的集群之间的并行数据重分布问题,提出了一种可以更准确刻画集群内与集群间通信特点的MKPBS (Multiple k-Preemptive Bipartite Scheduling)模型,并基于这一模型设计了一种高效的启发式的消息调度算法TSMP (Triple Scheduling Message Pipeline),它通过在集群内部实施消息的拆分与合并,重新规划消息在集群内部和集群之间的传输路径,形成三个消息流水线,可以显著提高集群间数据重分布的性能。实验结果表明,本文算法要优于基于KPBS模型的GGP算法的性能,在初始的消息通信矩阵会导致不同集群间消息通信负载明显不均衡的情况下性能提高会更显著。