基于Hadoop的小文件量化方法研究

摘要

针对目前Hadoop平台不能高效处理海量小文件而出现的小文件问题,提出一种基于曲线拟合最小二乘法的确定Hadoop平台下何为小文件的方法。该方法首先确定小文件访问时间的量化方法,然后采用访问时间作为确立何为小文件的影响因子,通过对不同数据集大小的不同访问时间的实验,最终结合线性拟合的相关知识找到了小文件大小的量化方法。