基于Hadoop分布式文件系统的小文件存储方法

摘要

本发明公开一种基于Hadoop分布式文件系统的小文件存储方法，实现步骤为：(1)新增两台服务器；(2)判断文件是否是小文件；(3)判断大文件请求状态；(4)判断小文件请求状态；(5)预处理写请求；(6)处理写请求；(7)检测缓存区；(8)预处理读请求；(9)处理读请求；(10)小文件分离；(11)建立预取记录；(12)更新预取记录。本发明相比现有技术存储海量小文件的方法，在保证系统通用性的同时，还具有读写性能效率高、缓解NameNode内存负担的优点，解决了海量小文件时NameNode内存占用率高、存储访问效率低的问题。本发明可用于分布式文件系统对海量小文件的存储和管理。