数据仓库数据源质量保证的方法和步骤

摘要

随着数据仓库在各行各业的广泛应用,数据仓库的数据质量逐渐成为决定数据仓库建设成败的关键因素之一,而提高数据仓库数据源的质量正是提高数据仓库数据质量的第一步.该文的重点是研究在数据仓库数据采集模块进行数据质量检测内容和检测的步骤.论文的具体内容如下.在介绍了论文的背景及研究的项目后,该文首先分析了脏数据对数据仓库的影响,并阐述了脏数据产生的原因和数据仓库数据质量的有关理论.接着结合作者参加建设的中国联通统一经营信息服务系统,研究了高质量的数据仓库的设计原则和检测数据仓库数据质量的方法.在以上研究和理论的基础上,作者结合参加数据仓库项目的经验,首先对数据仓库数据源的错误类型和针对每一类错误相应的检测办法进行了详细地阐述,接下来分析了如何将数据质量的检测融入参加建设的中国联通统一经营信息服务系统的数据采集模块,最终得到融入相应的检测内容后数据采集模块的体系结构.最后,作者总结了该文的局限性并提出了有关下一步工作的几点建议.

目录

文摘

英文文摘

独创性（或创新性）声明及关论文使用授权的说明

第一章 绪论

1.1 论文背景

1.2 研究背景及参加的项目介绍

1.3 工作内容及研究成果

1.4 论文结构

第二章 数据仓库数据质量相关理论

2.1 引言

2.2 紊乱数据的代价

2.2.1不断的重复开发和修改

2.2.2文件和报表的重新整理

2.2.3错误的业务决策导致丧失商业机会

2.2.4没有意义的决策信息

2.3 数据仓库中产生脏数据的原因

2.4 数据质量的含义

第三章 数据仓库技术过程的质量保证

3.1 引言

3.2 数据仓库基本结构

3.3 高质量数据仓库的设计原则

3.3.1高数据质量的数据仓库体系结构

3.3.2高数据质量的数据仓库的设计原则

3.4 检测数据质量的方法

第四章 数据采集过程中的质量保证

4.1 引言

4.2 数据采集的一般步骤和方法

4.3 在数据采集过程中数据质量面临的挑战

4.4 数据仓库数据源数据质量问题的分类

4.4.1物理层面的错误

4.4.2数据层面的错误

4.4.3业务层面的错误

第五章 数据采集过程中实现数据源质量保证的方法

5.1 引言

5.2 物理级错误检测

5.2.1判断文件是否到达的方法

5.2.2判断文件完整性的方法

5.3 数据级错误检测

5.3.1将文件导入数据库中时的原则

5.3.2实体完整性的检测

5.3.3参照完整性的检测

5.3.4域完整性的检测

5.4 业务级错误检测

5.5 数据质量检测方法与UBIS数据采集的融合

5.6 小结

第六章 结束语

致谢

参考文献