一种相似重复记录的数据清洗自动化方法及系统

摘要

本发明公开了一种相似重复记录的数据清洗自动化方法，该方法通过计算字段的重复率，实现自动选取进行排序的字段和自动确定字段的相似度权重，并且根据窗口内的首尾记录是否相似重复，动态调整窗口大小，从而实现相似重复记录的数据清洗自动化；降低人力成本，减少人为因素对结果的影响；本发明还提供了用于实施本发明上述方法的系统，各模块之间协作配合，重复计算和比较、处理，减少人工参与，在对数据清洗过程中得到更为准确的处理结果，自动化程度高。