面向数据仓库和数据整合的ETL系统的设计和实现

摘要

随着信息技术的高速发展，信息资产逐渐成为现代企业核心竞争力的重要组成部分，如何有效的管理企业在运营过程中产生的数据，为企业决策提供依据已经成为信息管理人员所面临的最重要课题。自1970年E.F.Codd博士提出关系型数据库模式以来，历经近40年的发展，关系型数据库系统已经成为数据管理领域的主流，然而这种以快速响应为目标的事务系统模式在面向主题的数据分析应用中存在着先天性不足。因此，在现有关系型数据库之上构建操作数据存储系统(ODS)成为优化企业信息管理，进一步提供有效决策支持的重要技术手段之一。 本文以本人近期参与的建行ODS项目为依托，首先从ODS技术的概念和实现技术入手，对ETL技术中各个关键步骤(抽取→转换→加载)的实现机理进行了深入探讨。本文详细介绍了中国建设银行ODS系统中ETL总体架构和应用部署方案，作为本人工作的重点，本文提出了将原有的业务平台数据移植到ODS系统的方法，利用ETL技术将原来部署在山东省分行的中间业务平台数据、IC卡系统数据、医保卡系统数据和公积金系统数据移植到新上线的中国建设银行ODS系统之中。 本文对利用现有业务系统构建ODS系统进行了有益的尝试，有效的解决了管理数据库与业务数据库之间的数据整合问题，实现了跨域的数据集成，保证了数据的时效性和准确性，为上下级的统一调度和企业决策提供了平台。

目录

文摘

英文文摘

声明

第一章引言

1.1课题的背景与意义

1.2项目来源

1.3本文的主要工作

1.4论文框架

第二章ODS:操作型数据存储

2.1操作型数据存储(ODS)的提出

2.2 ODS的体系结构

2.3 ODS和数据仓库的比较

2.4 ODS数据转换层设计

第三章ETL技术综述

3.1构建ODS的第一步:ETL

3.2 ETL的作用与意义

3.3 ETL系统结构

3.4 ETL实现工具

第四章ETL模型实例分析与设计

4.1金融行业现有信息环境分析

4.2建行ODS系统实现设计

4.3建设银行ODS项目中ETL的实现

4.4建设银行ETL架构设计

第五章ODSB—ETL系统的设计与实现

5.1业务系统数据分析

5.2数据迁移流程

5.3 ETL系统逻辑设计

5.4 ETL各模块的具体实现

5.4.1数据抽取提供模块

5.4.2数据清洗转换模块

5.4.3数据加载模块

第六章结论与展望

6.1结论

6.2展望

参考文献

致谢