一种基于HDFS的海量小文件存储优化方法

摘要

一种基于HDFS的海量小文件存储优化方法，属于存储性能优化领域，包括：初始化、文件访问状况分析、小文件分类暂存、小文件合并存储及回溯。方法针对文件的历史访问日志信息，对文件访问状况进行分析，计算文件之间的相关度，形成文件关联性映射集。根据所形成的文件关联性映射集，对小文件进行分类暂存，将相关度高的小文件暂存在一起，同时考虑了小文件的大小分布。最终对暂存的小文件进行合并存储，将小文件的原件及副本进行删除，将合并形成的大文件存储到HDFS当中。方法将原本存储于HDFS中的海量小文件通过合并的方式进行重存储，充分考虑了小文件的相关性和小文件的大小分布，有效地降低了名称结点的内存开销，提高了HDFS对小文件的存取效率。