MDDS:一种Lustre元数据性能优化方法

摘要

Lustre是个分布式的并行文件系统,被广泛的应用在高性能计算领域,它使用元数据服务器MDS管理文件元数据和维护系统全局一致性视图,使用多个对象数据服务器OSS提供可扩展的并行IO能力.随着高性能计算机规模的扩充,单MDS成为了Lustre文件系统的性能瓶颈.我们在Lustre中实现了元数据代理MDDS,并在此基础上针对高性能计算机存储的IO转发架构,提出了一种可扩展的、分布式元数据管理方案.该方案使用MDS维护文件系统全局一致性的视图,利用多个MDDS提供并行的元数据服务能力,利用元数据迁移实现元数据的灵活放置.初步实验表明,元数据代理MDDS较明显地提升了Lustre元数据性能,元数据迁移减少了MDS和MDDS间元数据移动的时间.