基于Oracle的实时数据仓库技术研究与应用

摘要

随着信息技术的不断发展，海量数据的不断涌现，企业迫切需要高效、精确、科学的分析数据。由于传统数据仓库的数据更新一般是每天，每周或是每个月更新一次，这就意味着它的数据不是最新的，然而，对于电子商业，股票经济，在线通讯以及决策系统等信息，需要及时的将数据发送到决策者手中，他们依据最新的这些数据信息去占领市场，由此出现了实时数据仓库的概念。
　　 目前，在实时数据仓库体系的构建过程中，面临的最大挑战就是实时数据抽取、转换、清洗和加载到数据仓库的工作，即实时ETL的过程。因此本文提出了一种实时数据仓库的装载方法，该方法将采取复制表结构、设置查询限制等条件实现在数据仓库中数据持续高效的装载，并且阐述了如何使用实时数据仓库架构以及客户终端OLTP查询来实现实时数据的整合。
　　 针对实时数据仓库技术的实现，本文做了以下相关工作：首先，对实时数据仓库的研究现状、应用情况进行分析，得出了实时数据仓库技术研究的必要性。其次，对传统数据仓库的体系架构不能满足实时性的需求，提出了实时数据仓库的体系架构，包括事实监控模块、数据转换模块、数据存储模块和实时分析模块。再次，对实时数据仓库的过程中，数据的抽取、转换和装载过程比较困难的情况下，采用立即型数据捕获方法进行数据抽取；使用专业工具和内部开发程序组合，来实施数据转换功能；把装载过程分为了初始转载、周期性的增量装载和实时的完全更新。最后，把实时数据仓库技术应用在Golf综合查询和决策支持系统中，对实时数据仓库架构、OLAP查询进行了调整，采用了复制表结构、设置查询限制等技术实现在数据仓库中数据持续高效的装载；以及对实时数据仓库包装和再优化。

目录

文摘

英文文摘

插图索引

附表索引

第1章 绪论

1.1 研究背景与意义

1.2 国内外研究现状

1.3 课题来源

1.4 本文研究内容

1.5 论文结构

第2章 实时数据仓库技术

2.1 实时数据仓库

2.1.1 实时数据仓库的定义

2.1.2 构建实时数据仓库的要素

2.2.3 实时数据仓库与传统数据仓库比较

2.2 实时数据仓库和ODS

2.2.1 ODS概述

2.2.2 实时分区(ODS)的应用

2.3 实时数据仓库面临的问题与解决方案

2.3.1 面临的问题

2.3.2 解决方案

2.4 实时数据仓库的应用

2.5 本章小结

第3章 实时数据仓库的架构设计与分析

3.1 实时数据仓库体系架构设计

3.1.1 实时数据仓库体系架构

3.1.2 体系架构分析

3.1.3 改进的架构模型

3.2 实时数据仓库架构模型的分析

3.2.1 实时数据加载分析

3.2.2 实时数据建模分析

3.2.3 实时数据查询分析

3.2.4 分析总结

3.3 实时数据仓库中的联机分析处理

3.3.1 OLAP概述

3.3.2 OLAP的特征

3.3.3 OLAP的分类

3.3.4 OLAP与实时数据仓库的关系

3.4 本章小结

第4章 实时数据的集成与ETL过程

4.1 实时数据的集成

4.2 ETL过程

4.2.1 ETL概述

4.2.2 数据的抽取

4.2.3 数据的转换

4.2.4 数据装载

4.2.5 ETL总结

4.3 实时的分类与数据处理

4.3.1 实时的分类

4.3.2 实时的权衡

4.3.2 实时数据同步

4.3.3 实时数据处理

4.3.4 实时数据查询

4.4 本章小结

第5章 Golf实时数据仓库系统的设计与实现

5.1 实时技术在高球领域的应用现状

5.1.1 Golf运动的基本现状

5.1.2 Golf实时数据仓库技术应用现状

5.2 Golf实时系统的概述

5.3 Golf实时系统的设计与实现

5.3.1 Golf实时数据仓库的设计方案

5.3.2 实时数据仓库逻辑设计

5.3.3 实时数据装载架构设计

5.3.4 实时数据仓库架构的调整

5.3.5 ETL装载过程

5.3.6 OLAP查询调整

5.3.7 实时数据仓库的包装和再优化

5.3.8 方法的最终评论

5.4 实验及评价

5.5 本章小结

结论

参考文献

致谢

附录A 攻读硕士学位期间所发表的学术论文目录

附录B 攻读学位期间参与的主要项目