一个面向大规模数据仓库的数据清洗策略的研究和实现

摘要

随着数据仓库和数据挖掘等商务智能技术在企业的逐步应用,这些技术都需要由原始的生产数据集成并产生新的面向主题的、集成的、时变的、稳定的数据集合.但企业的数据往往存在着大量的质量问题,数据的质量将直接影响基于这些数据的信息服务的质量.数据清洗的目标是通过各种措施从准确性、一致性、无冗余、符合应用的需求等方面提高数据的质量.本文针对ETL过程中的数据清洗任务,提出了结合改进的N-gram文法纠错算法和GDBR泛化算法的数据清洗策略,并根据COBRA和CWM标准开发应用工具,实践表明,该策略是可行并且有效的.