通用数据集成系统的构建及其在校园信息平台中的应用

摘要

随着计算机及网络技术的快速发展，高校各院系及部门内部都逐步实现了业务、信息的计算机化管理，采购或开发了大量的软硬件平台各异的应用系统，在各种应用系统下又积累了丰富的数据资源，这些数据资源由于软硬件平台各异、数据模型各异而形成了异构数据。这些数据资源是学校的财富，随着校园信息化建设的深入，学校迫切需要集成这些地理上分布、管理上自治、模式上异构的异构数据源，从而形成统一的数据平台，为数字化校园信息门户提供一个稳定、集成、可靠的数据环境。 本文分析了国内外数据集成技术的研究状况，根据当前数据集成技术的优缺点，研究了采用组件化与代码生成技术的数据集成系统的原理与实现，并做了一些组件性能的提升与开发工作。组件化技术使系统具有很好的通用性及可扩充性，执行代码自动生成的实现方式使得开发人员从繁锁的编码工作中解放出来。系统能与数字化校园业务平台紧密融合，并应用于数字化校园统一数据平台的数据整合。

目录

文摘

英文文摘

声明

第一章 绪论

1.1 本文的研究背景

1.2 国内外的研究现状

1.3 论文的主要工作和结构分析

第二章 相关理论概述

2.1 数据集成转换(ETL)

2.2 元数据

2.3 组件化技术

2.4 代码生成技术

第三章 通用数据集成系统的设计原理

3.1 系统的总体结构

3.2 组件的详细设计

3.3 任务执行流程设计

3.3.1 任务模型

3.3.2 任务的代码生成模型

3.3.3 具有复杂转换组件的子任务

3.3.4 任务执行流程

第四章 系统的实现方法与组件开发

4.1 系统运行环境

4.2 Talend开源数据集成系统

4.3 组件的具体分类

4.4 具体组件的实现

4.5 一个ETL任务的创建

4.6 组件的性能改进

第五章 数据集成系统在校园信息平台中的应用

5.1 校园信息化建设状况分析

5.2 数据整合在数字化校园统一数据平台建设中的应用

5.3 共享数据库的构建与集成

5.3.1 共享数据库的模式

5.3.2 共享数据库与业务库的数据集成整合

5.4 数据集成系统在数字化校园建设中的具体应用

5.4.1 数据集成系统与数字化校园系统的融合

5.4.2 各业务系统与共享库数据集成应用

5.4.3 异构数据库中学生学籍变动表的数据集成应用

第六章 总结

参考文献

附录

致谢

攻读学位期间发表的学术论文目录