基于布谷鸟算法的Storm集群动态负载均衡策略

摘要

Storm作为开源的分布式实时计算框架在处理流式数据方面具有明显的优势,但其默认调度算法没有将节点资源与任务实际相结合,仍存在节点资源利用率不高等问题,在负载均衡方面存在较大提升空间。为此,提出了一种基于布谷鸟搜索算法的Storm集群动态负载均衡策略(dynamic load balancing strategy for storm cluster based on cuckoo search algorithm,DLBSCSA)。该策略为达到集群节点负载的动态均衡,将任务调度模拟为布谷鸟寻窝产卵的过程,综合分析集群的CPU、网络带宽、内存等资源的实时利用情况,通过布谷鸟搜索算法的寻优过程自适应地确定节点性能权重,并根据权重动态分配任务。实验结果表明,该算法可以实现资源的合理分配,达到集群动态的负载均衡,从而减小集群响应时间,与默认算法相比具有更高的集群吞吐量和更小的系统延迟。