基于贝叶斯模型的时序大数据并行去重方法研究

摘要

由于时序大数据的体量过大,信息检索工作变得极为困难,因此,需要利用去重算法管理时序大数据。由于传统算法对大数据类别的分类效果不够理想,导致应用去重算法的相关系统性能下降,因此,研究基于贝叶斯模型的时序大数据并行去重算法。该算法预先定义了时序大数据重复度,对冗余数据进行压缩,基于超级特征值检测相似数据,通过贝叶斯模型分类相似数据,实现对时序大数据的并行去重。测试结果表明:此次研究算法占用的空间内存更低,最低内存占用量为52.3 B,出现在数据集B内。与两种传统去重算法相比,应用该算法后系统吞吐量更高,最高可达到915 MB/S,数据去重执行时间更短,平均执行时间为30 s。可见基于贝叶斯模型的去重算法,对于大数据并行去重有更好的应用效果。