虚拟Hadoop集群动态资源调度策略研究

摘要

随着信息和数据爆炸式增长的大数据时代的到来，由分布式计算和网格计算发展起来的云计算，无疑是当今IT领域研究的热点。Hadoop是一个重量级的分布式处理开源框架，它在对大数据存储和处理方面有着明显的优势。这使得它成为越来越多的企业和学者研究的云计算平台。然而海量的数据使得Hadoop集群越来越大，作业类型也越来越繁多，如何使得Hadoop集群处理作业的性能提高，同时又能提高计算资源的利用率，让集群资源得到充分的负载均衡。这已经是当前最受关注的资源调度问题之一。
　　本论文主要使用当前最主流的开源IaaS云平台OpenStack来虚拟化Hadoop集群，来研究虚拟Hadoop平台动态资源调度策略，进行了如下研究工作:
　　(1)分析传统企业直接将Hadoop集群部署在物理机上存在的一些资源浪费的问题，和Hadoop集群虚拟化后对资源优化的好处。提出一种将Hadoop节点中的计算节点和存储节点分离，并将其搭建在OpenStack云平台上，使Hadoop集群虚拟化的部署模式。
　　(2)分析Hadoop的各种应用对计算资源的要求不同，将Hadoop集群处理的作业分为CPU、内存、存储、IO密集型作业。分析Hadoop集群常用的三种作业调度算法，提出从作业类型出发来研究Hadoop集群的虚拟机资源调度算法。
　　(3)详细研究了OpenStack开源云平台的组织架构，并对OpenStack资源调度机制做出了详细分析研究。分析原有的OpenStack云平台算资源的调度算法，即只根据内存权重来调度虚拟机资源，综合考虑包含CPU、内存、存储、网络带宽等权重参数在内的多种因素，提出一种新的虚拟机资源调度思想。
　　(4)提出基于改进的蚁群算法和遗传算法的虚拟机调度算法。通过对Hadoop与OpenStack平台的融合，改进OpenStack虚拟机调度算法，从而改善Hadoop集群虚拟机节点的资源调度问题。仿真实验证明，相比于原OpenStack调度算法，改进的蚁群调度算法在任务分配时间、任务执行时间、虚拟机负载率等方面具有明显优势;改进的遗传调度算法迭代次数更加少、负载均衡率更低。从而表明本文提出的这两种算法使Hadoop集群负载更均衡，性能和资源利用率更高。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 研究现状

1．3 本文的主要工作

1．4 本文的结构安排

第二章 相关知识

2．1 云计算的概念

2．1．1 云计算的定义

2．1．2 云计算的分类

2．2 IaaS云平台

2．2．1 OpenStack云平台

2．2．2 CloudStack云平台

2．2．3 OpenNebula云平台

2．3 PaaS云平台技术——Hadoop

2．4 云计算中虚拟机资源调度算法

2．5 本章小结

第三章 hadoop平台与OpenStack平台融合及其资源调度问题分析

3．1 Hadoop集群资源调度方法分析与研究

3．1．1 Hadoop集群资源调度负载不均衡问题分析

3．1．2 虚拟化Hadoop集群资源调度分析

3．2 基于OpenStack的资源调度方法分析与研究

3．2．1 OpenStack的组成架构

3．2．2 OpenStack的资源调度机制分析

3．3 hadoop和OpenStack平台融合

3．4 本章小结

第四章 基于改进蚁群算法的虚拟机资源调度算法

4．1 Hadoop集群中虚拟机放置问题概述

4．2 蚁群算法原理及模型

4．2．1 蚁群算法原理

4．2．2 蚂蚁系统模型

4．3 基于蚁群算法的虚拟机资源调度算法

4．3．1 蚂蚁相遇机制

4．3．2 信息素的定义及修改

4．3．3 任务预计执行时间的定义

4．3．4 前向蚂蚁选择下一跳节点的规则

4．3．5 算法描述

4．4 实验仿真与结果分析

4．4．1 实验环境

4．4．2 CloudSim仿真流程

4．4．3 实验参数设置

4．4．4 实验结果分析

4．5 本章小结

第五章 基于改进遗传算法的虚拟机资源调度算法

5．1 遗传算法的特点和应用

5．1．1 遗传算法的特点

5．1．2 遗传算法的应用

5．2 问题提出和算法目标

5．3 改进的分组遗传算法

5．3．1 染色体编码

5．3．2 交叉

5．3．3 变异

5．3．4 适应度函数

5．3．5 改进后的分组遗传算法流程

5．4 仿真实验与结果分析

5．4．1 收敛速度比较

5．4．2 负载均衡率E值比较

5．5 本章小结

第六章 总结与展望

参考文献

致谢

在学期间发表的学术论文