对象存储系统中元数据管理研究

摘要

对象存储系统采用了一种新的接口——对象接口，有效综合了块接口的快速直接访问、存储设备可扩展的交换结构与文件接口的安全性、跨平台数据共享等优点，同时对象接口能够提供比其他任何一种接口更为丰富的语义，其基本单位是对象，对象除了包含用户数据外，还包含能描述对象特征的访问属性。
　　 在大规模对象存储系统中，元数据访问非常频繁，是系统性能潜在的瓶颈，需要研究高性能、可扩展的元数据管理方法。在对象存储系统中，数据放置策略负责将文件映射为对象、为对象选择合适的对象存储设备存放，在需要访问对象时要快速定位到对象所在的对象存储设备，它对系统访问性能有关键性的影响，需要根据系统的规模选择合适的数据放置策略。另一方面，元数据服务器中的元数据记录了文件和目录信息与对象之间的关系，元数据的丢失将导致数据无法访问，因此元数据的可靠性维护至关重要。
　　 提出一种分布式元数据管理方案，以提供高性能和可扩展的元数据访问。它采用仿层次目录结构，针对元数据的不同访问特性将元数据灵活分布在元数据服务器集群中。在深入分析传统文件系统中与用户组件部分相关的元数据组成结构的基础上，结合数据库能提供高事务吞吐量的特点，提出一种改进的元数据存储和管理方法，提高访问速度；在系统中不再用持久存储(如磁盘)来存储记录文件名到索引节点号映射关系的目录数据，而是采用一种间接的方案来模拟层次目录结构，避免层次目录结构自身成为热点，从而提供高性能、可扩展的元数据访问；引入目录转换元数据以避免子树分割方案中的目录遍历和哈希方案中的重命名目录导致的大量元数据迁移，提高元数据总体访问性能；针对每种元数据自身的访问特性，采用不同的分割方法将其分布在元数据服务器集群中，方便系统规模扩展。实验结果表明该方案在提高元数据访问性能和系统可扩展性方面有明显优势。
　　 由于元数据访问负载随时间动态变化，元数据在元数据服务器集群中的静态分配可能会导致某一时刻某个元数据服务器成为访问瓶颈，为了在元数据服务器集群中提供高性能、可扩展的元数据服务，需要在元数据服务器之间均衡负载。提出一种以文件元数据请求的响应时间为衡量标准、应用于元数据服务器集群的负载均衡算法，使集群中所有元数据服务器的响应时间差别较小，达到元数据服务器集群的负载均衡，从而提高元数据服务器整体性能。
　　 提出一种利用遗传算法根据文件的不同特性求解数据放置的策略，它用于在系统规模较小、对象存储设备总数固定的应用环境中寻求系统性能的近似最优解。提出基于组的区分定位策略，它用于在系统规模较大且对象存储设备总数可能发生变化的应用环境中解决对象放置问题。它首先根据对象存储设备加入系统的不同时期将每个对象存储设备划分到不同的存储子集群，先采用分布式算法将对象映射到系统的某个子集群中，再在子集群内部根据不同类型的对象采用不同的映射方法，对新创建的大对象采用启发式方法来选择负载较轻的对象存储设备存放，对小对象采用改进哈希算法来决定其所在的对象存储设备，兼顾了对象分布的灵活性和系统可扩展性。实验结果表明该策略具有很好的性能和可扩展性。其中改进哈希算法是基于子集群内对象存储设备规模的变化规律提出的一种新的分布式算法，它既能继承简单哈希算法的计算开销小和均匀分配对象的优点，又能以近似最优的对象迁移开销有效支持子集群内的对象存储设备规模的变化。
　　 提出一种采用扩展属性页来提高元数据可靠性的方法，它利用对象存储系统富有表达力的对象接口来提高系统元数据可靠性，并采用Markov 模型对其可靠性进行分析。该方法不需要额外的硬件配置，且不排斥其他的提高存储系统元数据可靠性的方法，为提供更高的元数据可靠性提供了一种补充方案。

目录

文摘

英文文摘

声明

1 绪论

2 对象存储系统中元数据管理框架

3 分布式元数据管理

4 数据放置策略研究

5 元数据可靠性研究

6 全文总结

致 谢

参考文献

附录