一种基于相似性的重复数据删除方法和系统

摘要

公开了一种基于相似性的重复数据删除方法，包括以下步骤：接收输入数据块；根据所述输入数据块计算离散小波变换(discrete wavelet transform，简称DWT)系数；从计算得到的DWT系数中提取特征相关的DWT数据；对所述提取的特征相关的DWT数据进行量化以获得密钥作为量化结果；根据所述密钥构建所述输入数据块的局部敏感指纹；计算所述输入数据块的所述局部敏感指纹和超速缓存内存中多个数据块中的每个数据块的局部敏感指纹之间的相似度；选择最优参考数据块，例如在所述超速缓存内存中的所有数据块中与所述输入数据块具有最大相似度的数据块；根据所述输入数据块与所述最优参考数据块之间的相似度确定是否需要差分压缩；如果需要差分压缩，则对所述输入数据块和所述最优参考数据块进行差分压缩。还提供一种基于相似性的重复数据删除系统。