基于对象存储的Ceph分布式文件系统的研究

摘要

由于传统的存储接口无法满足现在社会的存储需求，基于对象存储的分布式文件系统具备传统的基于块和文件接口存储的优点，并能够对数据进行智能化存储和管理，使得系统的性能更加优秀，目前成为存储这一行业的热点研究方向。Ceph分布式文件系统就是基于对象进行存储的。现代的分布式存储系统往往由成百上千个存储节点组成，多个节点出现故障的可能性大大增加，因节点故障导致数据丢失会造成灾难性的后果。因此，如何设计高效、可靠的容错机制，已经是分布式存储系统中迫切需要解决的问题。
　　本文对Ceph文件系统在可靠性和安全性方面进行了重点研究。系统的可靠性和安全性一般通过数据容错技术实现。广泛应用的数据容错技术有完全副本和纠删码机制。完全副本将数据复制成多份进行分散存储，这种方式会降低存储效率和浪费存储空间；而纠删码虽然可以有效利用存储空间，但是由于需要对数据进行编码存储，访问数据时需要对其进行解码操作，使得数据的访问效率较低。本文对Ceph分布式文件系统的架构和完全副本的工作原理及源码实现做了理论分析，在完全副本机制的基础上研究了纠删码冗余机制在Ceph系统中的实现。根据完全副本和纠删码两种容错机制搭建系统测试环境，研究并比较这两种容错机制的存储性能及安全性能。
　　本文针对Ceph文件系统默认使用的纠删码算法修复率低的缺点，提出了LRC纠删码算法。经过实际测试，LRC纠删码能够提高数据的修复率，提高了平均译码速率。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 课题背景

1.2 研究现状

1.3 研究内容和意义

1.4 本文结构

第二章 基于对象存储的Ceph分布式文件系统

2.1 Ceph概述

2.2 Ceph基本架构

2.3 Ceph系统测试环境搭建

2.4 本章小结

第三章 基于完全副本的Ceph容错机制的研究

3.1 完全副本冗余存储的相关技术

3.2 Ceph完全副本存储流程

3.3 读流程源码剖析

3.4 写流程源码剖析

3.5 Ceph对象存储数据的一致性

3.6 基于副本容错机制的Ceph系统的优缺点

3.7 本章小结

第四章 基于缓存纠删码的Ceph容错机制的研究

4.1 基于纠删码的可靠性算法

4.2 Ceph与缓存纠删码

4.3 读流程源码剖析

4.4 写流程源码剖析

4.5 完全副本与缓存纠删码的性能对比

4.6 本章小结

第五章 Ceph系统容错算法的性能优化研究

5.1 RS纠删码

5.2 LRC纠删码

5.3 RS与LRC纠删码性能对比

5.4 本章小结

第六章 总结与未来的工作

6.1 总结

6.2 未来的工作

致谢

参考文献

附录