海量小文件系统的大空间聚合存储技术研究与实现

摘要

传统主从分布式文件系统在处理海量小文件数据时遇到元数据空间受限、数据节点效率低下、网络资源利用率低等问题。为此，有学者提出小文件聚合存储模型，提高系统对海量小文件数据的支持能力。但现有小文件聚合存储模型的聚合效果受目录结构影响，不能有效支持任意目录结构的海量小文件数据。
　　论文在现有研究成果的基础上，基于大空间聚合、细粒度管理的思想，提出大空间聚合存储模型。将聚合单位扩展到原始目录结构中的一棵子树，并将该子树上的所有文件和目录一起聚合。同时，以空间元数据簇为单位分布和管理小文件元数据信息，对于过大的空间元数据簇进行动态分裂，从而提高小文件元数据管理效率。此外，基于跳表结构设计了一套松散的元数据组织方式，简化空间元数据簇分裂过程并通过优先标记目录节点的方式优化分裂算法。同时，论文还讨论了分布式元数据管理的一致性问题。
　　在 HDFS之上，基于大空间聚合存储模型实现了一套海量小文件系统SMDFS2.0，并通过多级缓存机制、迭代访问模式等机制优化小文件数据读写访问操作。测试表明，大空间聚合存储模型能有效支持不同目录结构的海量小文件数据，相比较于HDFS以及基于聚合空间存储模型的SMDFS1.0，小文件数据读写访问操作性能均有大幅度提升。

目录

声明

第一章 绪论

1.1 研究背景

1.2 国内外研究现状

1.3 论文的研究内容、研究意义与组织结构

1.4 本章小结

第二章 分布式文件系统与海量小文件支持技术简介

2.1 HDFS简介

2.2 Facebook Haystack简介

2.3 TFS简介

2.4 FastDFS简介

2.5 海量小文件支持技术总结

2.6 本章小结

第三章 大空间聚合存储模型

3.1 聚合空间

3.2 大空间聚合存储模型

3.3 大空间元数据组织方式

3.4 本章小结

第四章 分布式元数据管理与一致性

4.1 分布式元数据管理

4.2 大空间元数据簇动态分裂算法

4.3空间元数据簇分布式管理与一致性

4.4 本章小结

第五章 基于大空间聚合存储模型的海量小文件系统

5.1 SMDFS2.0设计思想

5.2 模块分解

5.3 提高系统可用性的主要方案

5.4 本章小结

第六章 系统验证与结果分析

6.1 实验环境

6.2 实验用例

6.3 实验结果与数据分析

6.4 实验总结

6.5 本章小结

结 束 语

致谢

参考文献

作者在学期间取得的学术成果