一种面向备份任务的重复数据删除方法

摘要

本发明公开了一种面向备份任务的重复数据删除方法，首先，划分备份任务；将硬盘上完成了全部查重过程的指纹仓库放入集合B‑bucket；然后，在内存中建立局部缓存和全局缓存；将B‑bucket中的元素放入全局缓存；将当前备份任务的所有指纹依次放入指纹仓库C‑bucket；当C‑bucket处于满态后更新，遍历并记录更新后的最大指纹与最小指纹；然后，在B‑bucket中寻找具有这两个指纹的指纹仓库，并加入局部缓存；对更新后的每一个指纹在局部缓存和全局缓存中进行查询并标记后，将未被标记的指纹保存到指纹仓库N‑bucket中；标记的指纹进行删除；最后，当N‑bucket满态后替换并加入局部缓存，并更新全局缓存。优点在于：解决了指纹查询瓶颈问题；缩小查重范围，提高重删效率；保持较高的吞吐率。