两阶段布谷鸟过滤器及基于两阶段布谷鸟过滤器的重复数据删除方法

摘要

本发明适用于数据处理技术改进领域，提供了一种两阶段布谷鸟过滤器，两阶段布谷鸟过滤器，其特征在于，所述两阶段布谷鸟过滤器由若干个桶组成，每个桶由若干个单元组成，每个单元可被用于存放数据指纹，若干个单元构成二维指纹矩阵的结构，每个待插入的元素和两个哈希函数相关联，同时将插入算法按照负载率划分为两个阶段，使用在负载率较低的第一阶段主动进行重定位的策略缓解了数据负载不均的问题，有效的降低了布谷鸟过滤器的插入时延，从而增加了重复数据删除系统的效率和吞吐量。