Storm下基于最佳并行度的贪心调度算法

摘要

开源分布式实时计算框架Storm在互联网、金融、电子商务等领域得到了广泛应用.Storm默认采用轮询的调度策略,且依赖用户对topology任务的并行度配置,当配置不合理时依然会造成topology处理时延增大、吞吐量降低等问题.针对该问题,提出了一种Storm下基于最佳并行度的贪心调度算法.调度时先求解topology任务中各组件的最佳并行度,再采用贪心策略进行调度,以最小化节点间的网络通信开销.通过与默认调度算法、线上调度算法和热边调度算法进行实验比较,结果表明该算法能够有效降低Storm处理时延,提高系统吞吐量和资源利用率.