一种面向容灾存储系统的重复数据删除方法

摘要

针对海量数据的存储和备份存在大量的冗余数据,造成存储空间的巨大浪费问题,本文分析了现有的重复数据检测和删除技术,提出了一种面向容灾存储系统的重复数据删除方法——FWinnowing(Fast Winnowing).FWinnowing采用改进后的Winnowing动态分块算法对数据进行分块,使用MD5计算各个分块的数据指纹值,通过检索指纹库来判断指纹值是否已经存在,从而判断出该块所对应的数据是否重复,最终达到重复数据检测和删除的目的.本文对FWinnowing进行了实验验证,结果表明该方法相比较现有的重复数据检测和删除方法,有效地降低了网络传输流量并提高了重复数据检测率.