一种基于Merkle Tree变形算法的去重方法及装置

摘要

本发明实施例提供一种基于Merkle Tree变形算法的去重方法及装置，包括：对第一数据进行分块并计算每一个分块的哈希值，每一个分块设置引用计数；将第一分块的哈希值和第一哈希子树与预先建立好的第一哈希树进行对比：若第一分块的哈希值、内容和第一哈希树中的第一哈希值、内容相同，且第一哈希子树的根节点与第一哈希树中的第二哈希值相同时，则每一个分块的引用计数加1；若第一哈希子树的根节点与第一哈希树中的第二哈希值不同时，则将第一分块的引用计数加1，并将第一分块删除，得到第二数据，对第二数据执行上述操作，直到第二数据为最后一个分块时结束。本发明提供的实施例在保证去重率的前提下，可以提高去重效率，减少去重时间。