基于网络空间安全实时数据的HDFS小文件问题研究

摘要

网络空间安全态势感知要求实时掌握安全风险信息,即实时将数据写入并能尽快检索出来.如果同一存储空间被同时执行读写操作,将引发冲突,导致错误.部分实时数据源具备文件定期转移功能,可以解决冲突问题.当时间间隔较短时,定期转移将产生众多小文件,造成存储资源浪费.针对产生的小文件问题,文章研究并提出了基于文件阈值的转移追加策略.在定期转移文件的基础上,添加文件追加的功能,采取一定策略对文件进行合并处理,保证文件大小不低于预定阈值.实验结果显示该策略可以有效减少生成的文件数量,降低对存储空间资源的浪费.