生产过程数据仓库ETL模块的研究与开发

摘要

实时/历史数据库为电力企业建立了海量的生产过程数据资源平台,挖掘和应用蕴含在这些数据中的丰富信息和规律具有重要的研究意义和应用价值。采用数据仓库技术组织这些数据,进行数据挖掘是最有效的分析方法。而在数据仓库建立过程中,数据的抽取、转换和加载(ETL)模块是重要的基础,在整个数据仓库建设过程中占据约80％的工作量。目前,支持数据仓库的大型关系型数据库均有相应的ETL模块,但它们还不支持对实时/历史数据库中的数据的处理；另外,生产过程数据有着自身特点,处理方法不同于对普通数据的处理方法。因此研究基于生产过程的ETL模块的开发是非常有必要的。
　　 本文首先介绍了数据仓库的概念和特点,以及ETL模块的主要功能。接着针对基于生产过程数据的特点,研究并给出了生产过程历史数据的清洗、转换、抽取的关键算法。在此基础上,设计并开发了面向实时/历史数据库的ETL应用功能软件模块。最后,将本文开发的ETL模块应用于某600MW燃煤机组的运行工况分析数据仓库的建立中,并展示出部分结果。

目录

文摘

英文文摘

第一章 绪论

1.1 课题的背景及意义

1.2 数据仓库及ETL技术概述

1.3 国内外研究现状

1.3.1 ETL的发展阶段

1.3.2 ETL产品

1.4 论文的主要内容

第二章 实时/历史数据库与数据仓库

2.1 实时/历史数据库

2.1.1 实时/历史数据库在SIS中的应用

2.1.2 实时/历史数据库的基本特点

2.1.3 实时/历史数据库的数据接口

2.2 基于实时/历史数据库的数据仓库

2.2.1 生产过程数据仓库的概念

2.2.2 生产过程数据仓库的系统结构

2.2.3 ETL技术及其在数据仓库中的作用

2.3 数据仓库的结构

2.4 数据仓库的建立步骤

2.5 小结

第三章 生产过程数据仓库ETL技术研究

3.1 生产过程数据仓库中ETL的任务

3.1.1 ETL的系统架构模型

3.1.2 数据抽取

3.1.3 数据清洗

3.1.4 数据转换

3.1.5 数据加载

3.2 实时/历史数据库的数据清洗算法

3.2.1 数据清洗的目的

3.2.2 数据清洗的方法

3.2.3 清沈算法的测试

3.3 生产过程数据稳态数据的抽取

3.3.1 生产过程数据稳态的概念

3.3.2 常规的稳态的判断方法

3.3.3 改进的稳态判断方法

3.3.4 稳态判断结果

3.3.5 稳态数据段的抽取算法(多参数稳定的判断)

3.4 数据转换与中间计算

3.4.1 数据转换的内容

3.4.2 中间计算

3.5 数据离散化

3.5.1 数据离散化方法

3.5.2 数据离散化实例

3.6 小结

第四章 ETL模块的软件设计

4.1 生产过程数据仓库ETL模块设计目标

4.2 ETL开发工具介绍

4.3 生产过程数据仓库ETL的软件模块设计

4.3.1 数据处理整体界面设计

4.3.2 通用数据接口模块

4.3.3 数据抽取模块

4.3.4 数据清洗模块

4.3.5 数据加载模块

4.4 小结

第五章 ETL模块在工况数据仓库中的应用

5.1 工况数据仓库维表的设计

5.2 工况数据仓库结构设计

5.3 参数数据的抽取

5.3.1 单参数数据的抽取

5.3.2 中间计算

5.4 数据的清洗

5.5 数据转换

5.6 数据加载

5.7 小结

第六章 小结

6.1 工作总结

6.2 工作展望

参考文献

致谢

在学期间发表的学术论文和参加科研情况