数据仓库中物化视图和ETL的研究与实现

摘要

数据仓库是一个面向主题的、集成的、相对稳定的、随时间不断变化的数据集合。数据仓库通过对历史数据的分析和综合处理，找到对企业发展至关重要的业务信息，从而帮助有关主管和业务部门做出更加合理的决策。随着企业信息产业的迅猛发展，数据仓库必将成为一个研究热点。数据仓库中的物化视图是对用户查询进行预计算并存储计算结果，是提高数据仓库查询效率的关键技术，而如何维护物化视图是数据仓库中的研究重点。数据仓库中的ETL(Extract、Transform、Load，抽取、转换、装载)的效率直接决定了数据仓库建设的成功与否。 论文对数据仓库的关键技术进行了广泛而深入的研究和讨论。介绍了数据仓库的体系架构和各个组成部分，并对ETL技术和物化视图的维护进行了深入研究。论文主要内容包括如下： 1.分析了国内外数据仓库技术和物化视图的研究现状，阐述了目前数据仓库研究中的热点和问题。对数据仓库的体系架构，ETL和物化视图等关键技术进行了详细介绍。 2.在总结前人对物化视图研究的基础上，对单视图和多视图的情况分别进行了讨论，提出了一种改进的多视图辅助视图优化算法，并通过实验进行验证。 3.设计了一种改进的元数据驱动的ETL系统，对传统ETL系统中存在的不足进行了改进。系统利用元数据分别从数据源和数据仓库的视角引导ETL过程。 4.实现了元数据驱动的ETL的一个系统原型，按照ETL开发的流程对系统的各个功能模块进行展示。

目录

文摘

英文文摘

声明

第一章绪论

1.1研究背景和意义

1.2国内外研究现状

1.3数据仓库存在的问题

1.4论文研究的主要内容

第二章数据仓库关键技术

2.1数据仓库

2.1.1数据仓库概念

2.1.2数据仓库体系结构

2.2 ETL

2.2.1 ETL技术

2.2.2 ETL元数据

2.3物化视图

2.3.1物化视图的概念

2.3.2物化视图的维护

2.4小结

第三章物化视图的维护

3.1物化视图维护方法

3.2自维护

3.2.1视图模型定义

3.2.2自维护流程

3.3单视图维护

3.3.1物化视图实例

3.3.2相关定义介绍

3.3.3辅助视图集生成算法

3.3.4算法示例

3.4多视图维护

3.4.1相关定义介绍

3.4.2多视图辅助视图优化算法

3.4.3实验结果及分析

3.5小结

第四章一种改进的元数据驱动的ETL系统

4.1 ETL工具

4.2系统体系架构

4.2.1传统的ETL方式

4.2.2改进的ETL方式

4.3元数据库设计

4.4 ETL流程

4.4.1分析数据源

4.4.2分析目标数据库

4.5 ETL加载策略

4.6小结

第五章元数据驱动的ETL系统实现

5.1系统框架

5.2系统实现

5.2.1初始工作

5.2.2元数据扫描

5.2.3数据源视图

5.2.4数据仓库视图

5.2.5结果查询

5.2.6函数定义

5.3小结

第六章总结与展望

6.1总结

6.2展望

参考文献

攻读硕士学位期间取得的主要科研成果

致谢