一种多数据集中重复记录动态检测方法

摘要

本发明公开了一种动态地、并发地从多个信息源的数据集中检测数据内容完全相同的记录组的方法，本发明的检测方法从多个信息源的数据集中读取每条初始记录或变更记录，依据记录的固有字段由本发明构造的Hash函数和验证码函数计算各记录Hash码和检验码，并动态地创建、修改一组由所有信息源的数据集所共享的桶及其相关信息，快速检测出分布在各个信息源中的重复记录组。本发明具有效率高、正确率高、内存资源利用率高、能够动态进行增量检测的优点。