分布式存储系统中基于覆盖方法的节能策略研究

摘要

当今流行的分布式存储系统（Distributed Storage System，即DSS）由廉价PC构成，其作为云存储的核心部分具有可扩展性强、高可靠性和构建成本低廉等优点。但是DSS中大量闲置节点和海量冗余数据导致了能耗的巨大浪费。因此，对此类DSS进行节能具有巨大的潜力和显著的现实意义。
　　基于覆盖方法的节能策略作为一种通用的节能策略，被此类DSS广泛应用，而这些节能策略的研究大都基于采用副本机制容错的DSS(Replicated Distributed Storage System，即RDSS)，而对采用纠删码容错的DSS(Erasure-Coded Distributed Storage System，即ECDSS)考虑较少。然而，大数据的兴起使得系统为获得更低的存储开销和更高的容错能力而采用纠删码的容错机制。
　　因此，本文首先基于RDSS中利用覆盖方法的节能策略，通过相关定理证明在ECDSS上进行节能的可行性，然后利用定理中概率公式分析在相同冗余度的不同容错机制情况下对节点休眠后的数据可用性，最后通过公式分析不同容错策略下系统的通信和存储开销。结果表明，随着休眠率升高，系统需要采取一定的策略来保证休眠后的数据可用性，并且低休眠率时系统采用码率高和分片数多的纠删码具有更低的通信和存储开销，而低码率纠删码能获取更大的通信和存储开销节约比。
　　同时，本文指出纠删码在计算开销方面存在的不足，并针对以上不足提出一种针对RS码的基于覆盖方法的节能策略，并分别从休眠节点标记和可用性补偿两个阶段提出冗余优先休眠（Redundancy First Sleep，即RFS）和数据优先补偿（Data First Compensation，即DFC）两个算法，对计算开销不足的问题进行改进。接着，对DFC算法应用于不同编码方案后计算开销的变化进行理论性分析，分析结果证明了算法的可行性。
　　最后，本文实现了一个基于离散事件的DSS模拟程序，针对本文提出的节能策略和改进算法，验证其理论分析和算法效果。结果表明，在ECDSS中采用节能算法能有效降低通信开销和存储开销。另外，改进后的节能算法能有效降低ECDSS的计算开销，进一步改善节能效果和用户QoS，同时，不影响纠删码在通信和存储开销方面的优势。并且，随着休眠节点数的增加和纠删码码率的降低，计算开销可以获得更大的改善。

目录

声明

摘要

插图索引

附表索引

第1章 绪论

1．1 课题研究背景和意义

1．2 DSS节能策略

1．2．1 能耗模型

1．2．2 硬件层面

1．2．3 软件层面

1．3 主要研究内容

1．4 论文组织结构

第2章 基于覆盖方法的DSS节能算法研究

2．1 相关研究基础

2．1．1 DSS

2．1．2 HDFS

2．1．3 纠删码基本原理

2．2 基于覆盖方法的DSS节能算法

2．2．1 覆盖问题

2．2．2 基于副本的覆盖方法

2．2．3 基于纠删码的覆盖方法

2．3 分析和讨论

2．4 小结

第3章 ECDSS中覆盖问题的定量分析

3．1 数据可用性分析

3．1．1 定理和证明

3．1．2 覆盖方法可用性分析

3．2 开销分析

3．2．1 通信开销

3．2．2 存储开销

3．3 分析与讨论

3．4 小结

第4章 基于ECDSS的覆盖节能算法

4．1 算法基本思想

4．2 算法可行性分析

4．2．1 活动数据分片比例

4．2．2 文件解码概率

4．3 基础数据结构和定义

4．4 节能策略具体流程

4．4．1 算法流程

4．4．2 初始化算法

4．4．3 冗余片优先休眠算法

4．4．4 数据片优先补偿算法

4．5 小结

第5章 实验结果与分析

5．1 实验环境

5．1．1 硬件环境

5．1．2 软件环境

5．2 算法模拟结果与分析

5．2．1 数据可用性

5．2．2 通信开销

5．2．3 存储开销

5．2．4 计算开销

5．3 小结

结论

参考文献

致谢

附录A 攻读学位期间所发表的学术论文

附录B 攻读学位期间所参与的研究项目