改进的排序关键字对数据集排序的方法

摘要

本发明公开了改进的排序关键字对数据集排序的方法，包括，步骤1，预处理；步骤2，重复记录检测，通过字段匹配与记录匹配实现重复记录检测；步骤3，数据库级的重复记录聚类，在数据库级医用检测重复记录的算法对整个数据集中的重复记录进行聚类；步骤4，使用外部源文件更正排序关键字中的错误，统一数据格式；步骤5，对排序关键字中的单词进行排序；步骤6，冲突处理，根据规则合并或者删除检测出的同一重复记录聚类中的重复记录，只保留其中正确的那条记录。本发明可以增加潜在的可能的重复记录被初步聚类到邻近的位置空间的机会，增加数据集中的记录被识别为重复记录的概率。