摘要
Abstract
第一章 绪论
1.1 研究背景和意义
1.2 ETL技术简介
1.2.1 ETL的一般模型
1.2.2 ETL的重要性
1.2.3 ETL工具的功能
1.3 本文研究工作
1.4 论文组织
第二章 相关技术与国内外研究现状
2.1 数据仓库
2.1.1 数据仓库的概念和特征
2.1.2 数据仓库的发展历程
2.1.3 数据仓库的重要性
2.2 元数据
2.2.1 元数据概述
2.2.2 ETL元数据
2.2.3 元数据的重要性
2.3 数据质量和数据清洁
2.3.1 数据质量
2.3.2 数据清洁
2.4 JDBC技术
2.5 XML技术
2.6 ETL产品概述
2.7 小结
第三章 通用ETL工具的分析和研究
3.1 异构数据源分析研究
3.1.1 数据源的分类
3.1.2 数据类型的转换
3.1.3 海量数据的读取
3.2 元数据分析研究
3.3 可视化分析研究
3.4 数据转换功能分析研究
3.5 管理和调度分析研究
3.5.1 ETL作业管理和调度
3.5.2 ETL节点调度
3.6 可扩展性分析研究
3.6.1 数据源的可扩展性
3.6.2 转换组件的可扩展性
3.7 小结
第四章 通用ETL工具的设计
4.1 设计目标
4.2 设计思想
4.2.1 系统设计组成
4.2.2 客户端设计
4.2.3 服务器端设计
4.3 总体架构
4.3.1 数据访问模块设计
4.3.2 任务设计模块设计
4.3.3 任务运行模块设计
4.3.4 元数据设计模块设计
4.4 主要技术难点及解决方案
4.4.1. 异构数据源访问
4.4.2. 数据类型转换
4.4.3. 数据库读写性能
4.4.4. 组件的抽象化
4.5 小结
第五章 通用ETL工具的实现
5.1 数据访问模块
5.2 任务设计模块
5.2.1 表达式编辑器
5.2.2 表达式组件
5.2.3 更新策略组件
5.3 元数据管理模块
5.3.1 数据源和数据目标元数据
5.3.2 转换节点元数据
5.3.3 控制节点元数据
第六章 总结和展望
6.1 论文总结
6.2 未来工作展望
参考文献
附录
致谢
复旦大学;
