带有可信度标记的增量式数据修复方法研究

摘要

大数据时代,数据蕴含着巨大价值,成为当今信息社会的重要战略资源.然而,在对数据进行加工、处理的过程中,产生了大量不一致数据,对企业决策造成了不可预知的恶劣影响.现有的工作主要基于函数依赖研究数据修复技术,已有的修复方法分为三类:前两类需要企业提供Master数据库或给定元组的可信度值,然而在实际应用中,这样的条件未必能满足;而第三类基于最少删除原则的修复方法又会造成信息的丢失.同时,当函数依赖X→Y存在冲突时,现有的方法仅支持修改Y属性值.针对以上不足,在没有给定元组可信度的情形下,提出了带有可信度标记的增量式数据修复方法,方法分为两部分:第一部分为通过分析操作日志和知识规则,自动生成单元格的可信度标记;第二部分包含增量式修复策略,依据可信度标记值,确定修复X或Y属性值,同时结合条件概率来选取目标值进行修复.实验结果表明,所提的修复方法具有较高的可靠性和扩展性.