带数据清洗功能的数据预处理系统PW-ETL的设计与实现

摘要

本文在数据预处理过程中引入了数据清洗策略,该数据清洗策略的创新之处主要有两点，此清洗策略对原有查找重复记录的算法扩展到能够进行数字型数据的相似度计算；利用代数中的函数关系和相关关系的方法对数据之间的关系进行分析,将不符合规律的数据与正确数据分离。