基于Hadoop分布式计算平台的存储系统

摘要

本发明公开了一种基于Hadoop分布式计算平台的存储系统，包括HDFS通用文件处理模块、文件类型判断模块、小文件处理模块和定时模块；所述文件类型判断模块用于判断用户上传的文件是否属于小文件；定时模块，通过设置定时器计时，到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件系统的块；小文件处理模块，用于将每个小文件作为一个Record存入SequenceFile类中形成小文件队列。该系统减少了HDFS中小文件的数量，有效地提高了HDFS中文件读取的性能。