可扩展的元数据管理及对象标识符研究

摘要

随着存储体系规模的增大以及数据访问密集度的增加,集中式元数据管理已经渐渐不能胜任。现今的高性能计算不仅对存储系统的I/O带宽和元数据处理性能提出了很高的需求,而且对存储系统的规模和扩展性也有很高的需求。单一的元数据服务器已经不能满足应用对规模和性能日益增长的需求。采用元数据服务器(MDS)集群是海量存储系统发展的必然趋势。
　　在PB级分布式存储系统中,元数据虽然很小,但元数据操作占存储系统操作的50％到80%。因此,MDS集群如何高效管理元数据对整个系统的性能和扩展性起到关键作用。提出了一种基于动态区间可扩展的元数据管理策略(Directory Object ID Hashing, DOIDH),它结合了子树分割和哈希方法的优点,可以将同一目录下不同子目录中的文件分布到多个MDS中,并部分保留了同一目录下的存储局部性。它采用文件父目录对象标识符进行哈希,并通过元数据查找表中映射关系分布元数据,当增减元数据服务器节点时通过相应的元数据迁移算法迁移最少的元数据,使得MDS集群中元数据负载分布重新达到均衡。通过测试表明其具有元数据分布均衡,降低系统响应时间,减少了元数据服务器之间元数据迁移及易扩展等特性。
　　在分布式对象存储系统中,利用对象标识符的全局唯一性、不变性等特点可以使维护对象之间的关系变得更加容易,便于对目录对象和文件对象的查询和定位。研究了对象标识符分配的若干种方法和回收策略,并对各种分配方法优缺点进行分析,进行优化改进。可根据实际应用需要选择合适的对象标识生成策略,灵活方便对象存储系统设计。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 研究背景

1.2 典型的存储体系结构比较

1.3 基于对象存储系统介绍

1.4 分布式系统中元数据分布策略的相关研究

1.5 本文研究的主要内容

2 元数据服务器端的设计

2.1 对象存储系统体系结构

2.2 元数据服务器端的设计

2.3 本章小结

3 基于动态区间可扩展的元数据管理策略

3.1 基于动态区间可扩展的元数据管理策略

3.2 元数据迁移策略

3.3 热点问题及一致性维护

3.4 综合比较

3.5 本章小结

4 对象标识符分配和回收

4.1 对象标识符性质

4.2 常见对象标识符分配策略

4.3 对象标识符回收再利用研究

4.4 本章小结

5 系统实现及测试

5.1 系统实现

5.2 系统测试

5.3 本章小结

6 全文总结

致谢

参考文献