一种基于最大依赖集和属性相关性不一致数据清洗方法

摘要

本发明属于数据处理技术领域，公开了一种基于最大依赖集和属性相关性不一致数据清洗方法；通过发掘依赖中包含的隐性依赖得到最大依赖集MDS；对数据实例中的不一致数据进行检测与定位；根据最小代价思想建立待修复属性优先序列PQ，将无冲突数据实例Inv作为训练集，学习属性之间存在的相关性SU，利用相关性计算元组之间的加权距离WDis，根据距离选择类别元组并通过改进的KNN算法进行修复。本发明提高了算法对连续属性的适用性和检测精度，在不一致数据修复阶段，本发明有效的提高算法修复能力，保证了算法的收敛性。本发明修复后的数据实例中残余的不一致数据元素很少，甚至多次得到一致的修复结果。