数据仓库中ETL建模问题的研究

摘要

ETL按照统一的规则集成数据，完成数据从数据源向目标数据仓库的转化。它是解决异构数据一致性和集成化的有效方案，是数据仓库获得高质量数据的重要环节。为了辅助设计人员更好地进行 ETL过程的设计和编码实现，降低ETL过程的设计和维护代价，提高ETL工具的性能，相关领域专家提出了对ETL过程建模的思想。目前对于ETL建模问题的研究还处于起步阶段，各方面的技术还不成熟，存在一定的缺陷。本文分别在概念级和逻辑级上对ETL建模问题进行综合分析，在此基础上提出了建立ETL概念模型和设计ETL逻辑架构的方法，具体内容如下。
　　首先，对建立ETL概念模型的方法进行分析，发现现有的ETL概念建模方法没有深入地阐述ETL的内部映射结构以及相应转换操作的构建过程。因此，提出了一种新的基于结构图来构建图形化ETL概念模型的方法，该方法深入描述了ETL过程中源数据与目标数据之间的映射关系和对应的转换操作。首先给出了结构图的定义以及结构图中节点和边的图形表示，并通过一个实例，详细阐述了基于结构图的ETL概念模型的构建过程。
　　其次，对现有的ETL工具和ETL系统架构的设计方法进行研究，详细分析了传统ETL架构的局限性以及元数据对于ETL过程的重要性，在此基础上，对传统的ETL架构进行改进，并利用结构图ETL概念模型来获取元数据信息，结合元数据管理思想，最终设计了一种新的基于元数据驱动的ETL系统架构。
　　最后，设计了一个ETL元数据生成系统，以解决ETL元数据的提取、生成、存储和管理，以及实现对ETL概念模型的绘制、管理和使用。其中详细阐述了系统各个模块的实现方法，并对元数据生成系统的使用结果进行了分析评价。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1 研究的背景与意义

1.2 国内外研究现状

1.3 本文组织结构

第2章 技术支持

2.1 引言

2.2 数据仓库技术

2.3 ETL技术

2.4 数据仓库中的元数据

2.5 XML技术

2.6 本章小结

第3章 基于结构图的ETL概念建模方法

3.1 引言

3.2 建立结构图ETL概念模型的原因

3.3 结构图的描述

3.4 结构图ETL概念模型的内容与表示

3.5 基于结构图的ETL概念模型的构建过程

3.6 本章小结

第4章 基于元数据驱动的ETL架构设计策略

4.1 引言

4.2 传统的ETL架构设计

4.3 元数据在ETL中的重要性

4.4 ETL架构优化设计

4.5 架构分析

4.6 本章小结

第5章 ETL元数据生成系统的设计

5.1 功能设计与实现技术

5.2 ETL元数据生成系统的实现

5.3 元数据生成系统使用结果分析

5.4 本章小结

结论

参考文献

攻读硕士学位期间承担的科研任务与主要成果

致谢

作者简介