集群重复数据删除策略的研究

摘要

提出了集群内的全局重复数据删除方案,运用Bloom Filter技术为集群中存储的所有数据块建立快速索引的摘要信息,组成一个可以检测重复数据的指纹摘要阵列(FSA),分布在存储节点前端的控制服务器,控制服务器节点将客户端发送到的数据块指纹合并成若干粒度大小均匀的超块,进行重复数据的检测,然后将超块有状态地路由到各个存储节点进行数据删重。利用FSA检测全局范围内所有存储节点之间的重复数据,获取较高的重复数据删除率,极大的提高了内存空间的利用率。