可扩展和可交互的数据清洗系统

摘要

可扩展性和可交互性是数据清洗系统的主要特征.为了说明此系统的特点,列举产生异常数据的原因,用系统框架图来解释各个功能模块,提出用统计学等方法检测异常数据,针对不同类型的异常数据提出相应的清洗策略,并说明如何评估算法的优良性和数据准确性,最后用流程图来说明整个系统.人口数据清洗结果显示人口数据质量大幅度提高了,同时也证明此系统有很高的执行效率.