基于遗传神经网络的可扩展的相似重复记录检测系统设计与仿真

摘要

设计实现了一个可扩展的相似重复记录检测系统（Extensible Approximately Duplicates Detecting System，EADDS），并描述了该系统的设计思想、整体结构以及系统特点。该系统包括预处理模块、聚类模块、字段匹配模块和记录匹配模块，支持聚类算法和字段匹配算法的定制扩充。并通过实验对比了几种著名的算法，实验结果表明该系统提高了相似重复记录检测的精确度。