数据仓库中抽取转换加载系统的设计和实现

摘要

数据转换是ETL过程中最复杂、最重要的问题.提出数据资源整合的总体方案,设计和实现了两个ETL 工具——Notes数据库转换工具和数据导入导出工具.Notes数据库转换工具解决非关系型的Notes数据库向关系数据库的转换问题;数据导入导出工具主要用于关系数据库之间的数据复制,具备简单的数据转换功能,侧重于实用性和方便性.考虑到数据仓库环境中更复杂的数据转换问题,设计和实现了新的数据转换引擎——数据转换任务引擎.在数据转换任务引擎中,提出了一种描述转换规则的方案——字段映射规贝婊达式,并设计了脚本语言DMScript以实现之,较好的解决了数据转换的复杂性和可扩展性问题.ETL过程需要灵活的管理和控制.提出ETL过程工作流的概念和定义,并提出将ETL过程工作流模型化成一种加权有向图——工作流图的方法,设计了串行和并行两种ETL过程工作流调度算法,并在DM<,->DTS工作流系统中得以实现.数据仓库需要完整的ETL系统.以前面的工作为基础,设计了通用的ETL系统——DM<,->DTS的体系结构.DM<,->DTS是一组软件包集合,包括数据导入导出工具、非关系数据源转换工具和DM<,->DTS工作流系统.DM<,->DTS构成了达梦数据仓库完整的ETL解决方案.

目录

文摘

英文文摘

1绪论

1.1课题背景

1.2国内外概况

1.3课题主要工作

2数据资源整合

2.1需求分析

2.2实施方案

2.3 Notes数据库的转换

2.4关系型数据的导入导出

2.5小结

3复杂的数据转换

3.1数据转换的复杂性

3.2数据转换任务引擎

3.3小结

4抽取转换加载过程的控制

4.1抽取转换加载过程

4.2抽取转换加载过程和工作流

4.3抽取转换加载过程工作流

4.4抽取转换加载过程工作流的调度

4.4.1串行调度

4.4.2并行调度

4.5工作流系统

4.6小结

5达梦数据仓库的抽取转换加载系统

5.1决策支持系统体系结构

5.2抽取转换加载系统的处理模式

5.3达梦数据转换系统的体系结构

5.4小结

6全文总结

致谢

参考文献

附录攻读学位期间发表论文目录