ETL技术在QHSE报告系统中的研究与实现

摘要

本文针对传统数据库中海量业务数据无法得到有效利用的问题，在ETL理论基础之上，提出了数据仓库项目中ETL问题的解决方案，主要研究了基于元数据的数据抽取、转换和加载以及数据清洗的方法，详细阐述了ETL技术在中国石油QHSE报告系统中的应用，具体内容包括： 1.QHSE报告系统为不同的业务数据源提供统一的数据接口规范，用于从各业务系统或工作环境中获取包含统计报表和多维分析信息的初始数据文件，合理运用数据实现跨越多平台多系统的数据整合； 2.针对没有相应的信息管理系统，报告系统使用.NET技术开发QHSE数据录入/导入系统，并运用XML技术实现不规则数据文件抽取； 3.校验初始数据文件，检查数据是否符合数据仓库系统要求的业务标准及数据的合法性，进行数据清洗，并生成相应的日志记录； 4.按照指定要求加载通过合法性校验的文件或数据行到数据仓库数据表，设计加载策略以提高ETL效率。 论文对ETL在数据仓库项目实施过程中的方法进行了总结，并提出下一步研究的重点。

目录

文摘

英文文摘

致谢

1绪论

1.1 背景介绍

1.2为何引入数据仓库

1.3 ETL与数据仓库

1.4 QHSE项目概述

1.5 论文组织

2 ETL技术

2.1 ETL的概念

2.1.1数据抽取

2.1.2数据加载

2.1.3数据转换

2.1.4 ETL的考虑

2.1.5 ETL与ELT

2.2元数据与ETL

2.2.1元数据定义

2.2.2元数据在ETL中的作用

2.3 XML技术在ETL中的应用

2.3.1 XML概念

2.3.2 Xpath

3 QHSE报告系统ETL的分析与设计

3.1 ETL在QHSE报告系统中的作用

3.2 ETL的实现—Decision Stream

3.3 Decision Stream的物理结构和逻辑结构

3.4一个完整的数据处理过程

3.4.1创建连接

3.4.2创建Build

3.4.3创建Job Stream

4 QHSE报告系统中ETL的实现

4.1 QHSE开发与运行环境

4.1.1数据仓库系统运行环境

4.1.2软硬件环境说明

4.1.3系统访问用户

4.1.4数据库结构

4.2 ETL的实现方法

4.2.1 QHSE数据源

4.2.2数据抽取

4.2.3数据转换和清洗

4.2.4数据加载

4.2.5 ETL的效率问题

4.2.6数据管理

5总结与展望

5.1 论文总结

5.2未来工作展望

参考文献

作者简历

独创性声明及学位论文版权使用授权书