Ceph系统中海量气象小文件存取性能优化方法

摘要

为解决Ceph在处理海量气象小文件时,由于集群数据双倍写入会导致存储性能下降问题,提出了一种Ceph系统中海量气象小文件存取性能优化方法.该方法通过分析文件历史访问日志得到气象小文件间的关联概率,然后依据关联概率设计出文件合并算法将相关联的小文件合并后再存储到Ceph集群;访问文件时,根据文件块的利用率和相关率来衡量合并后小文件间的相关性,并根据其相关性进行文件预读取,减少用户与集群的交互以提高小文件的访问效率.实验表明,该方法与现有方法相比,能明显提高Ceph系统中海量气象小文件的存储效率和访问效率.