一种基于混合元启发式算法的Hadoop负载均衡任务调度方法

摘要

本发明涉及一种基于混合元启发式算法的Hadoop负载均衡任务调度方法，建立资源槽压力模型，该模型以使集群中所有的Slave节点处理任务的计算压力处于同一水平线为目标，采用基于模拟退火和粒子群优化的混合元启发式算法进行最优任务调度方案的求解，实现Hadoop集群环境下的负载均衡任务调度。进一步通过高性能和广泛可移植性的消息传递接口MPICH(MPI over CHameleon)实现算法的并行编程，将启发式优化算法的计算过程转移至额外的计算节点，并通过多种群同时求解，减轻Master节点的计算压力，提升单位时间内最优任务调度方案的求解能力。本发明能够对Hadoop集群的计算资源进行整体分配，使集群的节点负载均衡，避免节点计算资源浪费，最大化数据中心的设备投入的利润。