基于人工蜂群算法的Hadoop调度算法研究与改进

摘要

群智能优化算法在解决NP类问题具有较高的效率和收敛速度，已经得到国内外越来越多的研究者和工程技术人员的关注，群智能优化算法已经成为解决云计算资源调度问题主要研究方向之一。目前对群智能优化算法的研究主要有两个方向，一是对某一群智能算法进行深入研究，通过改善自身缺点，吸收引进其他智能优化算法的特性进行改进和优化，二是将多种群智能算法通过不同的方式进行结合，取长补短，产生新的智能算法。本文也分别从这两个方向上入手进行研究，目的是优化云计算平台资源调度，具体选择Hadoop云计算平台，改进Hadoop集群的资源调度效率。
　　本文的目的是通过改进智能优化算法或结合多个优化算法的生成新的算法对Hadoop的资源调度给多个任务，找出任务总完成时间的极小值。首先对几种较成熟的优化算法进行对比，通过对各智能优化算法各优缺点的分析发现，人工蜂群算法与其他算法相比对问题维数不太敏感，适合于求解高维问题，并且具有控制参数少、鲁棒性强、收敛速度快等优点，对于解决云资源调度问题具有十分明显的优势。因此本文针对人工蜂群算法提出了以下2种算法改进思路:
　　(1)基于改进的人工蜂群算法的hadoop作业调度研究
　　针对人工蜂群算法易于陷入局部极值的问题，首先引进高斯变异思想，提升人工蜂群的局部搜索能力，然后引进自适应因子，动态调整蜂群的寻优策略，加快搜索速度，提高搜索能力，优化了云计算资源的调度策略，提高了资源利用率，减少了任务的完成时间。
　　(2)基于差分-蜂群混合调度算法的hadoop作业调度研究
　　将群智能优化算法中的两个或多个算法进行按照一定策略进行融合，会发挥各自的特点，实际效果超过任何一个单独的优化算法。因此本文提出了一种差分-蜂群混合作业调度算法，用于大规模并行计算时进行资源调度，发挥两个算法各自的优势，可以减少算法的收敛时间和迭代次数，取得稳定有效的最优解，最大限度地提云计算资源调度的效率。
　　最后通过搭建Hadoop集群，在集群上实现并验证了改进的人工蜂群调度算法和差分-蜂群混合调度算法，通过多次实验分析，选择最适合的参数值，以保证算法达到最佳性能。通过实验，对优化后的算法的性能进行了测试，并与Hadoop的原调度算法进行了比较。对实验结果分析比较得出的结论是:改进后的人工算法和混合算法缩短了作业的总的完成时间，在一定程度上提升了集群的效率。

目录

声明

摘要

1 绪论

1．1 研究背景

1．2 研究的目的和意义

1．3 国内外研究现状

1．4 本文的结构

2 Hadoop作业调度算法与群智能算法分析

2．1 Hadoop平台简介

2．1．1 Hndoop平台概述

2．1．2 HDFS的熏统架构

2．1．3 MapReduce的工作原理

2．1．4 资源管理系统YARN

2．2 Hadoop平台现有的调度算法分析

2．2．1 先进先出调度算法

2．2．2 计算能力调度算法

2．2．3 公平调度算法

2．2．4 上述算法的优缺点

2．3 群智能优化算法分析

2．3．1 群智能优化算法介绍

2．3．2 几种智能优化算法介绍

2．3．3 上述智能算法的优缺点

3 基于改进人工蜂群算法的Hadoop作业调度研究

3．1 人工蜂群算法描述

3．2 人工蜂群算法的特点以及存在的问题

3．3 改进的人工蜂群算法

3．3．1 基于高斯变异思想的人工蜂群算法

3．3．2 引进自适应参数，动态调整种群的寻优策略

3．4 改进人工蜂群算法在Hadoop中的应用

3．5 本章小结

4 基于差分-蜂群混合算法的Hadoop作业调度研究

4．1 差分进化算法描述

4．2 差分进化算法改进研究

4．2．1 差分进化算法的特点以及存在的问题

4．2．2 引入自适应交叉概率

4．3 差分-蜂群混合作业算法混合策略设计

4．4 本章小结

5 实验与分析

5．1 实验平台搭建

5．2 实验结果与分析

5．3 本章小结

6 总结与展望

参考文献

致谢

攻读学位期间取得的科研成果清单