跨数据中心容错的云存储系统

摘要

现有主流的云存储系统大多只支持单数据中心内的容错，其假设数据中心整体是永不故障的。但事实上，数据中心也会出现整体故障。为了容忍数据中心整体故障，需要考虑跨数据中心容错场景的特点，包括数据中心间的延迟高、带宽贵以及数据块大量不可用等。根据这些特点设计容错算法和实现云存储系统时，又存在容错性、延迟、吞吐量和成本之间权衡的困难。
　　本文提出了适合跨数据中心容错场景的算法，并实现了相应的云存储系统，最后通过实验验证了所提出算法的可行性。
　　本文的主要工作有:
　　1.本文首先基于主流单数据中心内容错的编码算法，针对跨数据中心容错的场景特点，设计了对应的跨数据中心容错算法，包括MC-CDFA算法、RSC-CDFA算法和LRC-CDFA算法。但经过分析后发现，这些容错算法有一些容错性不足、成本高等问题。
　　2.本文在主流Erasure Codes算法低存储成本的基础上，引入了Domain的概念，提出了Domain Fault Codes(DFC)和拓扑感知的思路，在获取低存储成本、低修复带宽成本的同时，提供能容忍数据中心级别故障的容错性。以DFC和拓扑感知为基础，本文提出了适用于冷数据归档等场景的DFC-TCDFA算法。为了优化延迟，推广到通用场景，本文又进一步提出了适用于通用场景的MCLDFC-TCDFA算法。
　　3.本文以DFC-TCDFA算法为核心实现了一个跨数据中心容错的云存储系统，最后通过模拟数据中心故障等实验验证了该系统的高容错性、高可用性、低成本等特性，进而验证了所提出的DFC编码和DFC-TCDFA算法的可行性。

目录

声明

摘要

图目录

表目录

第1章 绪论

1．1 跨数据中心容错的必要性

1．2 跨数据中心容错的场景特点

1．2．1 数据中心间网络的特点

1．2．2 数据中心整体故障的特点

1．3 跨数据中心容错的困难

1．3．1 容错性与写延迟

1．3．2 容错性与成本

1．3．3 读延迟、写延迟与成本

1．3．4 写延迟与吞吐量

1．4 相关研究

1．5 本文贡献点

1．6 本文结构

1．7 本章小结

第2章 容错算法设计

2．1 CDFA算法的目标

2．2 MC-CDFA算法

2．2．1 多份拷贝筒介

2．2．2 MC-CDFA算法设计

2．2．3 优缺点分析

2．3 RSC-CDFA算法

2．3．1 Reed Solomon Codes简介

2．3．2 RSC-CDFA算法设计

2．3．3 优缺点分析

2．4 LRC-CDFA算法

2．4．1 Locally Repairable Codes简介

2．4．2 LRC-CDFA算法设计

2．4．3 优缺点分析

2．5 TCDFA算法

2．5．1 Domain Fault Codes算法

2．5．2 DFC-TCDFA算法设计

2．5．3 MCLDFC-TCDFA算法设计

2．6 本章小结

第3章 系统设计与实现

3．1 算法选择和系统设计目标

3．2 接口语义

3．3 系统角色

3．3．1 Client角色

3．3．2 Master角色

3．3．3 BlockNode角色

3．4 Block和BlockGroup的状态机

3．5 操作的工作流

3．5．1 create工作流

3．5．2 write工作流

3．5．3 read工作流

3．5．4 erase工作流

3．5．5 fetch工作流

3．6 拓扑感知的实现

3．7 Block恢复

3．7．1 离线恢复

3．7．2 在线恢复

3．8 垃圾回收

3．9 透明加密

3．10 本章小结

第4章 实验验证

4．1 实验一：数据中心宕机模拟实验

4．1．1 实验目标

4．1．2 实验配置和模拟方案

4．1．3 实验步骤

4．1．4 实验结果与分析

4．2 实验二：离线恢复实验

4．2．1 实验目标

4．2．2 实验配置和模拟方案

4．2．3 实验步骤

4．2．4 实验结果与分析

4．3 实验三：入侵扫描模拟实验

4．3．1 实验目标

4．3．2 实验配置和模拟方案

4．3．3 实验步骤

4．3．4 实验结果与分析

4．4 本章小结

第5章 总结与展望

参考文献

攻读硕士学位期间主要的研究成果

致谢