一种武警云计算环境下集群重复数据删除策略

摘要

1引言 随着大数据时代的发展,数据量正在爆炸式增长,数据更新变化也在时刻进行。调查发现云端数据中心有60%以上数据是冗余的,这就为数据同步提出了巨大挑战。针对云环境下集群分布式存储的全局重复数据删除,存在着数据块索引磁盘瓶颈和存储节点信息孤岛两大困难：（1）数据块索引磁盘瓶颈：在存储服务器节点的磁盘上建立一个数据块索引序列,完成集群内数据存储节点的重复数据删除。