基于Ceph的分布式存储节能技术研究与实现

摘要

分布式存储是数据中心广泛使用的存储系统，在带来了性能与可靠性的同时也消耗了大量的能源，在数据中心能耗中分布式存储消耗的电能占了非常大的比例。因此，为了减少数据中心成本以及实现绿色计算，分布式存储的节能技术已经成为了学术界和工业界研究的热点之一。
　　Ceph是近年来出现的热门的分布式存储，并因具备了高扩展性、高性能、高可靠性以及高达 PB级的数据容量受到了越来越多的关注。然而，Ceph同样面临着如何减少能耗的问题。一方面，Ceph的数据放置算法使得数据副本随机分布于各数据节点，限制了系统能够达到的节能比例，在系统规模较大时，能够节省的能耗非常有限。另一方面，Ceph存储系统中没有有效的功耗管理机制，所有节点均为全时间运行，在系统的低负载时期产生了大量不必要的能耗。因此，针对这两个问题，本文做了以下工作：
　　第一，针对Ceph基于CRUSH算法的数据布局，本文提出以节能为目的PEPGO数据布局优化算法。通过对系统节点的层级关系描述图Crushmap以及副本放置规则的分析，确定数据分布的故障域，进而将故障域划分为不同的功耗组。数据副本在被划分到不同故障域的同时被划分进不同的功耗组，从而在保证数据全集可用的情况下，增加了系统中可以关闭的节点的数目，提高了系统能够节能的比例，随着系统节点数目的增加，节省的能耗将非常可观。
　　第二，基于档位切换（Gear Shifting）模型，提出Ceph的多级功耗管理策略，使得系统在不同的负载状态下运行于不同的功耗级别，节省能耗。Ceph存储系统设计的初衷是高性能和高扩展性，然而实际应用中，系统经常会处于低负载状态，此时，可以适当的关闭部分节点以节省能耗。本文提出的多级功耗管理策略能够根据负载状态调整功耗状态，从而在满足负载需求的情况下，有效地减少系统的能耗。
　　最后，在上述两点的基础上设计并实现了Ceph分布式存储的功耗管理系统。该系统利用了Ceph的配置和管理接口实现数据布局的优化，利用监控接口实现负载跟踪，并结合服务器硬件的电源管理机制以及网络唤醒等技术进行具体的级别切换，从而实现对Ceph系统的动态电源管理。本文对系统进行实验与测试，结果表明，该系统够有效的减少Ceph存储系统的能耗，并保证Ceph分布式存储的服务质量。

目录

声明

第一章 绪论

1.1 课题背景

1.2 研究意义

1.3 论文的主要工作

1.4 论文组织结构

1.5 本章小节

第二章 相关研究

2.1 Ceph系统架构及技术特点

2.2 Ceph的数据布局

2.3 分布式存储节能技术分类

2.4 功耗管理模型

2.3 本章小结

第三章 面向节能的数据布局优化

3.1 问题分析

3.2 PGPEO数据布局优化算法

3.3 分析及实验评测

3.4 本章小结

第四章 多级功耗管理策略

4.1 功耗管理模型选择

4.2 Ceph的多级功耗管理

4.3 分析及实验评测

4.4 本章小结

第五章 原型系统与评测

5.1 原型系统的设计

5.2 功耗管理系统的实现

5.3 实验评测

5.4 本章小结

第六章 结束语

致谢

参考文献

作者在学期间取得的学术成果