一种分级存储系统中的海量小文件迁移方法

摘要

本发明公开了一种分级存储系统中海量小文件迁移的方案，属于存储技术领域，解决现有迁移方案中所存在的海量小文件传输效率低问题。本发明的方法，用于具有前端Lustre文件系统和后端HDFS文件系统的分级存储架构中，包括处理文件请求步骤、文件相关性计算步骤、阈值计算步骤、合并小文件步骤、数据重删步骤和数据传输步骤。本发明的装置，包括请求处理模块、文件相关性模块、阈值计算模块、小文件合并模块、数据重删模块和数据传输模块。本发明充分发挥Lustre和HDFS文件系统自身优点，透彻分析小文件归档和读取过程中的性能瓶颈，通过定量的阈值计算选择保证任一时刻采用最优方案进行小文件传输，从而提高海量小文件在两级文件系统之间的迁移效率。