基于Luster文件系统的文件分片技术研究

摘要

随着信息技术的高速发展，业界较多采用了以集群为代表的分布式并行文件系统来实现海量数据的分布存储及并行处理。对象存储文件系统Lustre通过改进的存储体系结构，支持大并发的存储访问，保证了文件系统的高性能、高可用性。但随着文件大小的数量级扩展，在高速集群网络环境下，文件的存储方式势必会影响到文件读写效率，因而研究实现更加高效、合理的分布式数据存储策略、进一步提高Lustre文件系统性能、使其更加适应于高性能计算及商业领域的应用尤为必要。
　　 论文以开源的Lustre文件系统为主要研究对象，具体完成了以下研究工作：首先，通过源码阅读，研究学习了基于对象存储文件系统Lustre的体系结构及其存储机制，着重对其文件分片的放置算法进行了深入分析，根据其并未考虑对象存储设备动态I/O负载的不足，给出了改进的一维文件分片策略及其地址映射流程，从而提高文件读写效率。其次，在改进的一维文件分片策略基础之上，针对有多个客户端同时发起对分布存储的多个不同文件的访问时，会造成多个对象存储节点平均I/O性能降低的问题，给出了一种二维文件分片策略，该策略将综合负载下得到的对象存储节点集合进行分组，使得文件分片存储在一定的组节点中，以带来更好的文件访问性能。最后，论文实现了一个文件分片策略的统一管理接口，可以将多种不同放置策略在系统中以模块的形式加入，且不同的放置策略采用不同的数据存取方式，以方便文件分片策略的应用。
　　 研究工作的实验结果表明，考虑了对象存储I/O负载的一维文件分片策略可以提高文件的并行读写速率；但是在读写请求过多时，二维文件分片策略能获得比一维文件分片策略更好的文件读写速率。