Hadoop中大量小文件性能优化方法研究

摘要

随着开源云计算平台Hadoop的广泛应用，由于其HDFS是针对大文件读写而设计的，因此，大量小文件处理会给Hadoop的扩展性和性能带来瓶颈。本文针对大量小文件处理提出了改进方法，对小文件进行合并、建立索引、并对块进行压缩，减轻元数据占用主节点内存的压力，以此提高小文件读写速度，读速度提升50%左右，写速度达到原来的3-4倍，对MapReduce计算性能也有一定的提升。这样，Hadoop处理对小文件处理也具有更好的通用性。