一种面向海量高并发小文件数据的处理方法

摘要

首先分析了当前海量高并发小文件数据处理的缺陷,文章阐述了通过在节点中设置临时虚拟空间的方式、改变文件系统锁机制、将多个节点中的多个并发操作合并为一次磁盘回写操作处理方法.提高了海量高并发小文件数据的并行处理效率,降低了海量高并发小文件数据磁盘的读写压力,减轻了底层存储的磁盘读写压力,有效延长了底层存储的使用寿命.该方法进行的海量高并发小文件处理相关研究工作,对于后期提升海量并发小文件的处理能力和效率提供了参考依据.