一种适应大数据应用的快速重复数据删除方法

摘要

本发明提供一种适应大数据应用的快速重复数据删除方法，适用于大数据应用下的备份去重系统，解决传统基于内容识别的变长分块算法去重速率低，不能快速识别冗余数据问题；本发明在分块过程中通过调节去重因子和加速因子，在确保去重率的前提下大幅提高去重速率，能够快速进行去重检测，平衡了去重率和去重速率之间的矛盾，降低了备份窗口，节约了网络带宽和存储空间。