云计算环境中高能效资源分配方法的研究

摘要

目前，云计算技术已经拥有了很高的成熟度。随着云基础设施的大量增加及云计算规模不断扩大，IT资源耗电量剧增，这极大阻碍了IT行业的发展。能耗已经成为制约云计算发展的重要因素。在这样的背景下，如何降低云计算能耗，提高云计算能效成为了研究的新难题。
　　能效为单位能量完成的有效任务，对于同一任务，执行过程中消耗的能耗越少，能效越高。资源分配问题是高能效云计算领域的关键技术所在。但是目前大多数云计算作业调度算法的重心都放在作业调度上，而没有考虑资源分配与能耗。因此，在调度作业时，需要一个能效可感知的资源分配方法为作业分配合理的资源，进而提升集群的资源利用率与能效。
　　本文提出了资源等待能耗和资源比的概念，并认为基于资源比的资源分配是平台软件层面提高能效的有效手段，该方法具有一定创新性。本文定义资源空闲时间消耗的能源为等待能耗，称等待能耗为0时，任务需要的资源量的比值为任务的最佳资源比，称为Map/Reduce任务分配运算和存储资源的过程为资源分配。首先，本文提出了任务的阶段模型，给出了通用的任务资源比模型。然后，基于MapReduce编程模型，本文研究了Map/Reduce任务对资源的占有特征，对Map/Reduce任务进行阶段划分和聚合，给出了Map/Reduce任务资源比模型。基于该模型，本文提出了一种高能效资源分配算法R2，主要包括任务调度和资源分配两个方面。
　　最后，基于Hadoop集群环境，本文进行了一系列实验。首先，本文验证了最佳资源比的存在以及资源比和等待能耗的关系;接着，通过实验验证了Map/Reduce任务划分的合理性;然后通过实验数据对比验证R2算法能够明显减少资源等待能耗，提高节点资源利用率，进而优化Map/Reduce任务的能效。
　　本文提出的资源比模型和资源分配方法可以应用于现有的MapReduce系统中，对高能效云计算中能效模型和优化有一定的理论意义和实际应用价值。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．1．1 云计算

1．1．2 能耗问题

1．1．3 云计算能效

1．2 研究基础

1．2．1 等待能耗

1．2．2 MapReduce

1．3 国内外研究现状

1．3．1 能耗优化与能效优化方法

1．3．2 资源分配与能效

1．4 论文主要研究内容

1．5 论文组织结构

第2章 资源比模型

2．1 资源模型

2．2 等待能耗

2．3 资源比模型

2．4 任务的最佳资源比

2．4．1 任务的吞吐量

2．4．2 任务的阶段模型

2．4．3 阶段的最佳资源比

2．4．4 任务的最佳资源比

2．5 本章小结

第3章 Map／Reduce任务的资源比模型

3．1 MapReduce工作机制

3．2 阶段和子任务划分

3．2．1 阶段划分

3．2．2 子任务划分

3．2．3 并行子任务的最佳资源比

3．3 最佳资源比分析

3．3．1 参数定义

3．3．2 Map任务分析

3．3．3 Reduce任务分析

3．4 本章小结

第4章 基于资源比模型的资源分配算法

4．1 Hadoop任务调度

4．1．1 工作原理

4．1．2 任务调度与资源分配

4．2 R2算法

4．2．1 问题定义

4．2．2 资源表

4．2．3 资源分配

4．2．4 任务调度

4．5 本章小结

第5章 能效评价与实验分析

5．1 能效评估模型

5．2 实验环境

5．2．1 软硬件环境

5．2．2 实验方法

5．3 实验一：最佳资源比

5．4 实验二：资源比与等待能耗

5．5 实验三：验证MapReduce任务的子任务划分

5．6 实验四：对比验证资源分配算法的高能效

5．6．1 参数确定

5．6．2 总体能耗对比

5．6．3 不同k值下的能耗对比

5．6．4 资源使用率对比

5．7 本章小结

第6章 总结和展望

6．1 总结

6．2 展望

参考文献

致谢

攻读硕士期间科研及发表论文情况