离散粒子群优化算法实现MapReduce负载平衡

摘要

MapReduce是Hadoop的核心模型之一,广泛应用于大数据处理.MapReduce模型将计算分为Map和Reduce两个处理阶段.但由于其自身的分区机制,导致在Reduce阶段处理数据时,会出现负载不平衡的数据倾斜问题.为了解决数据倾斜问题,提出利用离散粒子群算法解决Reduce阶段数据负载平衡问题.将数据分区策略与粒子群算法相结合,提高系统的稳定性.通过设置使数据分区均衡的目标函数,利用离散粒子群算法求解目标函数.试验结果证明,当设置不同数量的Reduce时,离散粒子群分区方式的运行时间均为最短,可有效解决数据分区的不平衡问题,并大大提升系统的计算效率.