一种基于元数据管理的ETL框架

摘要

过去二十年是计算机行业发展的黄金时期。互联网的发展以及计算机软硬件的成熟，导致了企业的业务数据呈现爆炸性地增长。如何有效地管理与集成这些大量的异构异质的数据，以及如何利用数据为企业管理人员产生决策，成为技术专家亟需解决的问题。数据仓库便是一种近年来兴起的用以解决上述问题的数据库应用。
　　 事实上，数据仓库是一种体系结构而不是一种技术。这其中最重要的组成部分之一就是元数据。因为元数据贯穿于数据仓库项目中，是数据仓库的基石。另一方面，构建数据仓库时采用的最重要的技术之一是ETL，一种改变数据状态的机制。由于数据仓库项目不同于别的软件项目，业务需求时常变化。这直接导致了元数据的变化以及ETL过程的变动。因此，采用高效的元数据管理模型，并将其与ETL开发有机地结合起来，在实际的数据仓库项目过程中将起到事半功倍的效果。这也便成为了本文所要论述的课题。
　　 本文首先探讨了课题所涉及的理论与方法，其中涉及了数据仓库的几个主要步骤和所使用的工具。深入研究了元数据的几种类型，它们的区别和具体的业务意义。然后对ETL技术进行简单回顾，分析了创建ETL程序的两种基本方法和各自的利弊。本文接着结合通用数据仓库元模型(CWM)，采用了一种邦联式的元数据管理体系。并将其用于ETL过程开发中，设计了一种生成ETL过程的自动化框架。最后将该框架用于实际的项目开发中，能够缩减项目周期，提高工作效率，从而验证了此框架的可行性。

目录

文摘

英文文摘

第1章 绪论

1.1 背景及目的

1.2 国内外研究现状

1.3 论文主要工作

1.4 论文的组织结构

第2章 相关理论与技术

2.1 数据仓库概念

2.1.1 数据仓库的特点

2.1.2 数据仓库体系结构

2.2 元数据

2.2.1 元数据的定义

2.2.2 元数据在数据仓库体系结构中的重要性

2.2.3 元数据管理系统架构

2.3 本章小结

第3章 ETL技术

3.1 ETL概念

3.1.1 数据抽取

3.1.2 数据转换

3.1.3 数据加载

3.1.4 ETL作业控制服务

3.2 创建ETL

3.2.1 两种基本方法

3.2.2 第三方ETL软件

3.3 本章小结

第4章 基于元数据管理的ETL框架

4.1 ETL框架作用

4.2 CWM的组成结构

4.3 ETL框架

4.3.1 元数据管理

4.3.2 CWM适配器

4.3.3 元数据存储

4.3.4 元数据与ETL过程

4.3.5 元数据与ETL任务调度

4.4 本章小结

第5章 ETL框架的应用

5.1 应用背景

5.2 框架应用描述

5.3 DAG算法描述

5.4 实验结果与分析

5.5 本章小结

第6章 总结与展望

6.1 论文工作总结

6.2 进一步的工作

参考文献

致谢