基于MDC数据网格信息服务系统元数据管理的研究

摘要

在现代高性能计算中，为了满足大容量、分布式、高性能和高可靠的存储要求，需要使用网格技术。数据网格是网格技术在存储资源上的实现，是广域范围的分布式海量存储系统。它将地理上分布的各种高性能存储系统集成为一体，形成庞大的分布存储空间，充分实现资源共享，提高资源利用率。 在许多系统，比如SRB(StorageResourceBroker)中都采用层次目录结构管理元数据，由于元数据固有的层次性和结构单一性，这种管理方式有其方便简明的一面。随着数据的激增，元数据变得越来越庞大，以前的组织结构和管理方式在扩展性、可用性和效率方面都无法有效管理广域环境中多达几十个terabytes甚至petabytes的数据，数据网格的虚拟化存储管理方式能够有效解决存储数据的爆炸性增长和存储管理能力的相对不足之间的矛盾。它通过构建虚拟存储池形成分布式系统的单一存储映像，从而统一管理异构存储环境，大大降低了基于数据网格的高性能存储系统的管理复杂性，减小了系统管理开销，增强了系统服务的可操作性和透明度。 本文重点研究数据网格中的元数据管理问题。在分析和研究了国内外先进网格系统及其元数据管理技术基础上，对数据网格虚拟化存储系统中的元数据层次管理模型MDC(MetaDataController)进行了改进，提出一种基于副本的元数据管理模型RMDS(replicationbasedMetaDataSystem)，研究采用将副本一致作为一个模块放入RMDS中，并采用了动态管理元数据副本的有效算法。在RMDS中为每个域中的元数据创建副本一致性模块，在RMDS中每个域有多个元数据服务器，它们之间以层次或对等方式交互，元数据目录被复制从而获得了高可用性。PQ算法通过在域内创建副本，从而减轻域内单个或若干个同一数据副本的访问压力，同时对剧烈增长的用户访问请求作出及时响应，并且允许文件及副本主机服务器性能暂时波动而不创建副本，极大提高了元数据读写效率。通过测试证明，RMDS达到了很好的可用性和可扩展性，并更加易于管理。

目录

文摘

英文文摘

独创性声明及关于论文使用授权的说明

第1章绪论

第2章数据网格体系结构

第3章数据网格虚拟化存储系统体系结构

第4章RMDS的系统设计

第5章系统测试与结果分析

第6章工作总结和展望

参考文献

攻读学位期间发表的论文和参加项目

致谢