面向大数据的并行数据分布式备份存储仿真

摘要

以防数据丢失给大众生活和工作带来巨大的损失,需要对并行数据进行分布式备份存储.当前基于Oracle Spatial的并行数据分布式备份存储方法,数据杂质多、占据存储空间大、安全性差.提出基于存储阈值的并行数据分布式备份存储方法,在估计窗粒子滤波基础上,对粒子的权值进行更新;判断估计窗内的粒子对数据滤波的结果是否大于设定阈值,以此减少数据杂质和数据存储时占据的存储空间;根据并行数据大小和数据类型及所在位置,对数据至数据节点网格的距离进行计算,并将结果按照从小到大进行编号;利用数据节点侦听函数,在数据节点网格中,通过蛇形方式实现数据的时隙分配;找到存储空间中的相似数据,分别存储在虚拟坐标,和实际坐标中,完成数据的备份,以提升数据备份存储的安全性;对于没有达到存储阈值的数据节点,继续进行蛇形数据时隙分配,一直到所有的并行数据全部备份存储完毕.仿真表明,所提方法可过滤掉杂质数据,解决了数据存储空间占用大,和安全性差的问题.