云存储中基于相似性的数据块级数据去重方法

摘要

本发明公开了一种云存储中基于相似性的数据块级数据去重方法，包括：在云存储系统中添加一个指纹索引节点，指纹索引节点用于得到已存储文件的数据块指纹并根据已存储文件的相似性构建由主索引和从索引组成的二级指纹索引，其中，主索引为文件的文件特征指纹与文件相似性集合地址的映射，从索引为文件的数据块指纹与数据块地址、用户ID之间的映射，文件特征指纹为文件的最小数据块指纹；根据指纹索引节点的二级指纹索引对待存储的文件数据块进行去重。本发明利用文件的相似性构建二级指纹索引，然后根据构建的二级指纹索引进行数据块级的数据去重，检索效率更高；基于文件的相似性进行去重，应用范围更广。本发明可广泛应用于云存储领域。