基于Hadoop的海量小文件合并的研究与设计

摘要

基于Hadoop海量小文件合并的策略研究,一方面为了减轻Name Node的元数据量,利用Eclipse开发工具实现了Har、HBase、Sequence File三种主流合并方案对海量小文件的合并;另一方面分析这三种主流合并方案在不同场景下性能以及应用方面的优劣,进而为海量小文件在Hadoop上的存储提供一些有价值的参考.