高扩展性的海量存储文件系统设计与实现

摘要

随着大数据时代的到来，数据规模增长迅速，数据的应用模式也越来越多样，这自然给存储系统的发展带来了新的机遇和挑战。采用纵向扩展模式来对存储系统进行扩容的传统方法，已经越来越无法满足具体应用在存储规模、并发性能与成本等方面的要求；而通过良好的分布式调度策略来集成大量商品机器的横向扩展模式却能取得奇效。
　　碧海文件系统正是采用横向扩展模式的大规模分布式文件系统，它能良好的作为Hadoop之类的批处理框架的底层存储堆栈，然而当它应用于通用存储环境时，却存在着扩展性、可用性和并发性的不足，而其中扩展性不足的问题更是阻碍了碧海文件系统的发展。这些不足大都来源于元数据节点的单点架构，因而本课题尝试着使用分布式元数据节点的方式来解决上述不足。
　　具体的工作内容为：对目录树进行子树分割，从而将元数据布局在不同的节点之上；设计了监控节点，监控节点能够仲裁元数据节点的状态，收集并分发子树信息，以及增减元数据节点集群的规模；优化了数据节点与元数据节点的通信模型，避免了重命名操作造成文件数据的移动；规范了分布式元数据节点的事务处理方式，使元数据信息可以高可靠地在不同节点之间移动。
　　测试表明，通过以上的改进，碧海文件系统的扩展性有了较为显著的提升，并且较好的支持监控协议和分布式事务。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景

1.2 研究领域的现状

1.3 研究内容及意义

1.4 论文结构

第二章 典型分布式文件系统的介绍

2.1 NFS

2.2 Google File System

2.3 GlusterFS

2.4 Ceph

2.5 本章小结

第三章 碧海文件系统的介绍

3.1 元数据节点的元数据存储机制介绍

3.2 元数据节点的集群监控和负载均衡机制介绍

3.3 元数据节点的元数据信息持久化机制介绍

3.4 元数据节点的租约机制介绍

3.5 数据节点的总体架构介绍

3.6 客户端与数据节点的交互介绍

3.7 异步框架介绍

3.8 本章小结

第四章 分布式元数据节点的改进方案

4.1 改进方案的总体分析

4.2 监控协议的设计分析

4.3 监控协议的实现方案

4.4 分布式事务的设计分析

4.5 分布式事务的实现方案

4.6 本章小结

第五章 系统的评估与验证

5.1 评估和验证的目的与环境

5.2 分布式事务的执行效果验证

5.3 监控协议的执行效果验证

5.4 系统扩展性的评估

5.5 本章小结

第六章 总结与展望

6.1 本文总结

6.2 不足与展望

致谢

参 考 文 献

攻读硕士学位期间已发表或录用的论文