基于堆结构的SequenceFile存储优化方法、装置、设备及存储介质

摘要

本发明公开了基于堆结构的SequenceFile存储优化方法、装置、设备及存储介质，其方法包括：基于小文件分配算法将待合并的小文件分配到待合并队列全集中的待合并队列中；创建相应的堆以及堆全集并为每个堆初始化文件列表和索引列表；为每个待合并的小文件创建单个文件索引；将待合并队列中的小文件存储在相应的堆的文件列表中，同时将每个堆中所有小文件的文件索引存放于相应的索引列表中；基于压缩策略将每个堆中的小文件合并为一个SequenceFile文件；创建一个全局索引文件，使用追加写操作将每个堆对应的索引列表中的内容写入全局索引文件；将所有的SequenceFile文件和全局索引文件上传至HDFS完成优化。本发明能够提高了文件存储和访问效率，改进了HDFS对于海量小文件的存取性能。