基于能量感知的多数据中心工作流调度方法

摘要

近年来云服务提供商数据中心的电能消耗在全球总电力消耗占比日益增长。一方面，电能的消耗会带来大量的环境污染；另一方面，数据中心电能消耗带来的电费成本占到了云服务提供商总运营成本的30%以上。如何减少数据中心的能耗成为不容忽视的问题。本文采用基于能量感知的多数据中心工作流调度方法最小化电费成本，同时兼顾工作流应用执行时的能耗优化，具有重要的实际意义和应用前景。 本文研究基于能量感知的地理分布式数据中心下的工作流调度问题。考虑前驱数据传输时间、本地数据传输时间和不同地区数据中心的电费价格差异，以最小化服务提供商电费成本为优化目标。首先，本文在应用层面和资源层面分析多数据中心下工作流调度问题的特点和性质，针对优化目标和约束条件建立数学模型。其次，根据建立的数学模型，本文提出基于能量感知的地理分布式数据的云工作流调度算法（ECWSD）。ECWSD算法包括五个部分：考虑工作流截止时间、工作流应用总大小和工作流应用紧急程度三种规则的工作流应用排序，基于任务最大深度的子截止时间划分，基于Upward Rank、Downward Rank和Hybrid Rank三种排序方法的任务调度序列创建，考虑DVFS技术的虚拟机资源分配和基于变邻域下降（Variable Neighborhood Descent，VND）的任务调度序列调整。对提交的一批工作流应用，本文首先进行工作流应用排序，然后按排序后的工作流应用调度序列依次为应用中每个任务划分子截止时间并进行任务排序。其次，根据任务调度序列为每个任务分配虚拟机资源。在虚拟机资源搜索算法设计时，本文针对任务松弛时间的利用分别提出两种资源搜索策略：1）通过更新后继任务的实际开始时间利用任务松弛时间；2）基于DVFS技术降低所分配虚拟机资源的执行频率来减少任务松弛时间，同时可以进一步降低虚拟机的能耗，从而降低任务执行时的电费成本。最后，由于工作流应用的电费成本跟任务调度序列紧密相关，本文提出基于VND的任务序列更新方法，采用动态变化的邻域结构生成新的任务序列解，并搜索电费成本更低的虚拟机资源。 为了验证所提算法的性能，本文设计参数校正和算法对比两个实验模块。首先使用多因素方差分析技术对算法参数和排序组合进行分析，选取合适的参数组合和排序规则；然后通过大量标准科学工作流实例对本文提出算法与两种相关算法进行对比。实验结果表明，本文所提出算法在不同截止期程度下，算法性能均明显优于两个基准算法。

目录

第一个书签之前

摘要

Abstract

1 绪论

1.1 研究背景

1.2 应用场景

1.3 研究现状

1.3.1 传输时间

1.3.2 能量优化和电费价格

1.3.3 任务调度策略

1.4 研究目的与挑战

1.5 论文组织结构

2 问题描述与建模

2.1 系统架构

2.2 问题假设

2.3 问题描述

2.4 本章小结

3 基于能量感知的地理分布式数据的工作流调度算法

3.1 ECWSD算法总体框架

3.2 工作流应用排序

3.3 任务排序和子截止时间划分

3.3.1 子截止时间划分

3.3.2 初始任务调度序列创建

3.4 资源分配

3.4.1 数据中心搜索

3.4.2 基于能量感知的虚拟机搜索

3.4.3 考虑DVFS技术的虚拟机搜索

3.5 任务序列调整

3.6 本章小结

4 实验结果及分析比较

4.1 实验环境

4.1.1 仿真平台

4.1.2 工作流实例配置

4.1.3 数据中心和虚拟机配置

4.2 实验结果与比较

4.2.1 参数校正

4.2.2 对比实验设计与分析

4.3 本章小结

5 结论与展望

5.1 论文主要工作

5.2 展望

致谢

参考文献

攻读硕士学位期间发表的学术论文