数据清洗解决方案及其元数据管理

摘要

本文针对Intel的DSS工具Cockpit目前存在少量数据特别是产品定义数据不完全干净，就数据清洗的技术关键，从元数据管理和在该元数据模型基础上的开发实践两个方面，提出了基于元数据管理的数据清洗解决方案。基元数据管理的设计思想包括：元数据是数据的数据, 它描述了数据的内容, 质量、情况和其他特性。在本文的元数据模型中，把知识元数据分为逻辑和信息两大类。逻辑是一种规则，是加工信息的具体方法，由设计人员进行具体设计和实现。信息是对现实世界中具体事物的抽象反映，可以由程序自动更新。具体Cockpit数据清洗过程的实现采用了上述基于元数据管理的模型，包括对Cockpit数据清洗过程中的业务逻辑进行分析，设计Cockpit的数据清洗流程，实现数据清洗算法。该流程和算法实现了异常数据的判断规则，自动对数据进行检验，对异常数据进行分类，用简单的数据挖掘算法实现对数据字典自动更新，并以Email形式自动通知相关人员，最终达到增强数据清洗能力，提供更准确的数据并简化维护工作量的目的。