云数据中心的温度建模与节能调度方法研究

摘要

近年来，随着互联网的发展，尤其是云计算的兴起，很多企业开始投入建设数据中心。作为企业业务的基础设施，数据中心在为用户提供服务的同时，巨量的能耗和高额的电费抬高了运营成本，成为企业发展的重要瓶颈。因此节能技术成为云数据中心亟待解决的关键问题之一。数据中心的能耗主要包含两部分。第一部分称为计算能耗，即计算设备和网络设备的能耗。第二部分称为制冷能耗，包括空调、机箱风扇等制冷设备的能耗。两者的能耗值相当，各占总能耗的一半左右。
　　传统的数据中心节能调度方法通常仅从单一方面考虑计算能耗或制冷能耗，都存在一定局限性:1、单独考虑计算能耗的调度方法通常通过整合将负载集中到少数服务器上，表面上解决了计算能耗过高的问题，但是带来了热点问题，使得空调设备的负载和能耗增加。2、如果将负载尽量分散减少服务器的热点，从而降低空调能耗，会导致服务器使用数量的增加，从而带来更高的计算能耗。3、传统节约制冷能耗的负载调度方法没有考虑虚拟化的场景，不适用于大部分云计算的环境。4、随着服务器数量的增加，宕机变成一种常态。宕机使得任务中断，重新执行任务会使能耗增加，同时降低了系统稳定性和用户体验。针对数据中心的高能耗问题和传统节能调度方法的局限性，本文从调研、建模、仿真、评测方法、调度方法等多个方面进行了研究，主要贡献如下:
　　1、建立完善的数据中心和服务器的温度模型。我们将数据中心的温度模型分为两部分。第一部分是数据中心温度建模，研究从空调到机架入口的温度关系;第二部分是服务器温度建模，研究从机架入口到服务器CPU的温度关系。对于第一部分，常用的计算流体力学方法由于极其耗时，因此难以用于在线调度。文章首次借用热力学方法，成功地精简了计算流体力学的模型，实现了数据中心温度分布的快速和准确预测。对于第二部分，本文提出了适用于虚拟化场景下的CPU温度预测方法，该方法首先在线下收集虚拟机运行时的温度数据，然后通过机器学习的方法对数据进行分析建模。最终得出的模型在预测最终稳定温度时，平均标准差在1.10以内，预测动态温度的平均标准差在1.60以内。
　　2、搭建具有完善温度和能耗模型的可视化云计算实验平台DartCSim。DartCSim是基于CloudSim进行扩展开发后的云数据中心仿真实验平台。CloudSim是由澳大利亚墨尔本大学网格实验室开发的基于离散事件的云计算模拟工具，是使用最广泛的云计算模拟软件之一。但是CloudSim存在诸多局限性。例如不支持温度建模和制冷能耗建模、不支持可视化操作、能耗模型与网络模型之间彼此不兼容等等。针对这些局限性，我们将本文提出的温度模型整合到了CloudSim中。同时结合对能耗模块和网络模块的优化，极大地丰富了仿真平台的模型完备性。其次，我们对仿真平台的底层事件驱动引擎进行了调整，对其更新策略做了修改，以更好地满足上层模型和组件的仿真需求。最后，我们为其增加了可视化的界面，允许用户通过简单的可视化操作对复杂的云计算数据中心开展模拟实验。
　　3、提出了面向总能耗最优化的负载调度方法。本文首先从宏观角度分析了计算能耗和制冷能耗之间的权衡关系，提出了基于遗传算法的负载调度方法。该方法在问题规模较小时节能效果明显，但在问题规模较大时效果不佳。为此，我们开展了进一步的研究，提出了基于贪心算法的负载调度方法。该方法遵循总功耗增长最低的虚拟机初始分配策略，同时结合虚拟机的动态迁移降低数据中心的总能耗。我们将本文的方法与现今常见的调度方法进行对比，可以节约4.3-23.2％的总能耗，同时将CPU温度超过阈值的概率降低了92.3％。其次，本文还考虑了服务器宕机对于总能耗的影响，提出了宕机感知的负载调度方法。该方法可以进一步降低数据中心的总能耗，同时提高系统的稳定性，改善用户体验。实验结果显示该方法相较于现今的调度方法，可以降低31％的能耗，同时提高了3.6％的任务完成率。

目录

声明

致谢

摘要

1．1 研究背景及意义

1．2 研究内容和创新点

1．3 论文组织结构

第二章 相关研究工作综述

2．1．1 数据中心监控

2．1．2 能耗效率评价

2．2 云计算数据中心的建模和仿真

2．2．1 负载模型

2．2．2 服务器可靠性模型

2．2．3 能耗模型

2．2．4 温度模型

2．2．5 云计算仿真平台及试验床

2．3 云计算数据中心负载调度方法

2．3．1 计算能耗感知调度

2．3．2 制冷能耗感知调度

2．3．3 服务器可靠性感知调度

2．4 本章小结

第三章 数据中心温度建模研究

3．1 引言

3．2 数据中心温度建模方法

3．3 实验数据及分析

3．4 本章小结

4．1 引言

4．2 建模方法概述

4．3 数据收集和清洗

4．4 温度规律分析

4．4．1 虚拟机配置和运行的任务类型

4．4．2 虚拟机迁移

4．4．3 服务器风扇状态

4．4．4 环境温度

4．5 温度建模及预测

4．6 实验数据和分析

4．7 本章小结

5．1 引言

5．2 温度模型整合

5．3 能耗模型整合

5．4 网络模型整合

5．5 仿真更新策略调整

5．6 实验平台可视化

5．7 实验平台使用示例

5．7．1 温度感知调度

5．7．2 网络设备能耗

5．7．3 虚拟机迁移

5．7．4 网络数据包重传

5．8 本章小结

6．1 引言

6．2 问题定义

6．3 基于粗粒度模型和遗传算法的调度方法

6．3．1 调度方法

6．3．2 实验数据及分析

6．4 基于精细模型和贪心算法的调度方法

6．4．1 初始化服务器分配

6．4．2 虚拟机动态迁移

6．4．3 实验数据及分柝

6．5 本章小结

第七章 考虑服务器可靠性的节能调度方法

7．1 引言

7．2 问题定义

7．3 调度方法

7．3．1 能耗指数计算

7．3．2 可靠性指数计算

7．3．3 调度方法

7．4 实验数据及分析

7．4．1 服务器可靠性模型

7．4．2 对比算法

7．4．3 实验数据及分析

7．5 本章小结

8．1 本文工作总结

8．2 未来工作展望

参考文献

攻读博士学位期间的主要研究成果

附录