一种基于布隆过滤器的大数据量密钥去重方法及系统

摘要

一种基于布隆过滤器的大数据量密钥去重方法，包括以下步骤：待去重数据的获取；去重系统初始化；数据的分治存储；数据的布隆去重；阳性数据的遍历统计；数据的精准去重；完成大数据量密钥数据的精准去重，本发明还提供了一种基于布隆过滤器的大数据量密钥去重系统。与现有技术相比，本发明针对大数据量密钥去重提出分治存储方法与基于阳性数据的精准去重方法，将大数据量密钥根据散列取余均匀引导存储至不同存储单元，不仅保证了重复密钥在同一个数据集合，减小单个布隆过滤器所需的BitSet空间占用、去重运算消耗，即提高去重运算时布隆过滤器的空间、时间效率，而且基于阳性数据HashSet集合遍历统计实现密钥数据的精准去重，提高去重准确性和密钥质量。