山东石化数据仓库维度建模及变化数据处理技术研究

摘要

随着信息技术的突破与迅猛发展，山东石化信息化建设取得了长足的发展，以 ERP系统、IC卡系统、二次物流优化系统、零售管理系统、便利店经营管理系统、办公自动化等系统为核心的信息化应用体系的建立和应用，为企业经营管理创造了巨大效益。而且，随着各应用系统应用水平的不断提升，各系统的功能不断增强。但是由于各系统的开发时间有先后，且相互之间相对独立，各系统的集成是一个很复杂的问题。
　　到目前为止，山东石化仅仅实现了部分业务系统的数据的简单共享,对于管理层来说仍然需要到不同的系统中去获得所需要的数据报表和经营指标，而系统间的数据不一致还经常导致长时间的数据核对，造成关键经营指标的出具滞后和不准确，对公司经营决策造成不利影响。山东石化集团亟需构建一个决策支持和信息集成平台，对业务数据进行集成和分析，以帮助山石化领导层提高管理决策水平。
　　本文首先概要介绍了数据仓库、维度建模、变化数据捕捉、缓慢变化维度等商业智能相关知识，给出了决策支持和信息集成平台的总体架构。然后设计了油品销售的星型维度模型，设计与实现了基于Hadoop的全表扫描变化数据捕捉方案，设计与实现了基于表分区技术的数据仓库分区方案。上述工作有效解决了山东石化数据仓库实施过程中遇见的难点难题。

目录

封面

声明

中文摘要

英文摘要

目录

Contents

1 绪论

1.1 引言

1.2 国内外研究现状

1.3 山东石化数据仓库项目背景简介

1.4 论文的内容和组织结构

2 山东石化数据仓库相关技术简介

2.1 数据仓库定义及其特点

2.2 ETL概述

2.3 维度建模技术概述

2.4 变化数据捕捉概述及其后续处理

2.5 表分区技术和数据仓库分区技术概述

2.6 小结

3 山东石化决策支持和信息集成平台总体设计

3.1 山东石化决策支持和信息集成平台总体设计思路

3.2 山东石化决策支持和信息集成平台应用架构设计

3.3 山东石化数据仓库技术架构

3.4 山东石化数据仓库数据架构

3.5 小结

4 维度一致性设计方法和星型维度建模研究与实现

4.1 基于总线架构的数据维度一致性设计方法研究

4.2 山东石化油品销售一致性维度设计

4.3 山东石化油品销售的星型维度模型设计

4.4 小结

5 基于Hadoop的全表扫描变化数据捕捉设计与实现

5.1 常用变化数据捕捉方法比较

5.2 基于Hadoop的全表扫描变化数据捕捉设计与实现

5.3 小结

6 基于时间范围分区的数据仓库分区设计与实现

6.1 表分区策略的选取

6.2 基于时间范围表分区的数据仓库分区设计与实现

6.3 小结

7 测试

7.1 Hadoop与Oracle全表扫描数据变化捕捉对比测试

7.2针对Oracle表分区的数据仓库分区简单测试

7.3 小结

8 总结与展望

致谢

参考文献