基于数据仓库技术的数据集成方法与应用研究

摘要

数据集成是信息系统综合集成中核心和关键，通常面向多个异构数据库系统进行工作。目前常用的方法主要包括实体化方法和虚拟化方法：实体化方法能对数据进行再处理和综合，但需要考虑数据同步；虚拟化方法直接访问源数据，不需要数据同步，但难于实现数据的再综合。 本文在分析目前国内外数据集成的方法和技术基础上，研究分布式有限通信网络环境下的数据集成应用。根据分布式有限通信条件下数据集成和数据分析等方面的特殊需求，采用实体化方法和数据仓库技术，完成了典型数据集成框架，重点解决了数据集成中的异构数据抽取转换加载(ETL)、元数据字典设计等关键技术，实现了信息的共享和信息向知识的提升。系统应用中的元数据字典库为抽取转换过程的控制与管理提供了支持，也提高了系统的灵活性与可扩展性；数据准备区的建立，可以实现复杂的多源转换，并可以扩展自定义的转换函数。设计的基于代理管理异构数据库的数据流，可以支持分布式无线网络环境及异构操作系统或数据库系统。最后结合样例系统的框架设计与应用进行研究，给出了实例应用原理和实现。

目录

文摘

英文文摘

声明

第一章 绪论

1.1课题背景和意义

1.2国内外研究现状

1.2.1数据集成方法

1.2.2数掘仓库主要技术

1.2.3数据集成在军用／民用领域的应用

1.3主要研究内容和论文结构

第二章 数据与数据集成

2.1虚拟化的集成方法

2.1.1虚拟化集成原理及逻辑框架

2.1.2查询处理

2.1.3联邦数据库

2.1.4.中间件集成方法

2.1.5.半结构化数据与Web信息集成

2.2实体化集成方法

2.2.1实体化集成原理及方法

2.2.1数据仓库

2.3综合型集成方法

2.4数据集成系统应用

2.5本章小结

第三章 数据仓库技术及应用

3.1数据仓库与数据集市

3.2详细数据与小结数据

3.3抽取转换加载

3.3.1异构的数据环境

3.3.2 ETL工作流程

3.3.3 ETL的发展趋势

3.4元数据

3.4.1元数据的由来

3.4.2元数据的定义

3.4.3元数据的主要作用

3.4.4 CWM元数据标准

3.5 OLAP与OLTP

3.6本章小结

第四章 数据集成系统设计

4.1系统数据环境和需求

4.2数据集成框架

4.3数据集市设计

4.4元数据字典库设计

4.5抽取转换加载(ETL)软件设计

4.5.1功能组成

4.5.2抽取转换加载(ETL)代理

4.5.3转换服务

4.6抽取转换加载(ETL)管理工具

4.6.1用户定义

4.6.2代码对照设置

4.6.3转换函数编辑器

4.6.4策略制定

4.6.5调用服务

4.6.6导入导出策略

4.7综合应用之关键

4.7.1基于分布式代理技术的数据抽取转换加载机制

4.7.2转换函数编辑器技术

4.7.3 ETL策略制定与检测技术

4.7.4增量数据同步技术

4.8本章小结

第五章 应用系统ETL测试及分析

第六章 工作总结和展望

致谢

参考文献

附录1作者硕士期间发表论文