异构数据库数据迁移中间件设计

摘要

随着计算机技术的迅猛发展,大多数工矿、企事业单位都逐步实现了与业务相关的管理信息系统,但是很多系统也存在各种各样的问题,诸如:不同硬件平台、不同网络环境、不同数据库之间的互操作,多种应用模式并存等等。数据迁移中间件、数据访问中间件能够实现对各类数据资源的管理,支持对数据的高级集成,提供统一的访问接口支持对数据集的访问。因此,只要多种类型的数据资源环境存在,数据访问中间件将会一直发挥重要作用。
　　 在“数字油田”中的油气田生产管理业务中,各个生产管理单位拥有很多种类的异构数据库和数据资源,而这些单位又通常需要把所有数据综合集成应用以提供对不同业务的支撑。收集和处理的结构化数据和非结构化数据非常繁杂,并且对这些数据进行传输和处理时通常会很麻烦。因此为了解决这些异构数据库之间的数据迁移和数据转换问题,设计数据迁移中间件就非常有必要。通过数据迁移中间件使采集的数据从实时数据库很容易的迁移到关系型数据库,从而使数据资源的采集和综合深度应用变的十分方便。
　　 本论文以中石油项目“油气生产物联网系统”为研究背景,目标是解决异构数据库之间的数据迁移和数据转换。采用JDBC专用数据库连接技术、JSP技术、数据迁移技术原理,利用数据迁移方法和JAVA架构开发工具,通过需求分析、编码和测试的手段提出了一套基于异构数据库的数据迁移中间件的设计方案。该方案主要是针对“油气生产物联网系统”中多种类型的数据库——负责存储采集数据的实时数据库、存储历史数据的关系型数据库展开研究的。对主要代码进行验证后,数据迁移中间件能够屏蔽异构数据库之间复杂的环境;通过使用标准的接口和协议,使实时数据库中的数据能够迁移到关系型数据库中。所采用的数据迁移方案能够实现异构数据库的数据自动迁移,提高数据的迁移效率,达到节约系统开发成本的效果。

目录

文摘

英文文摘

论文说明:图表目录

第1章 绪论

1.1 课题的研究背景和意义

1.2 国内外研究现状

1.3 应用现状及存在的问题

1.4 论文主要研究内容

1.5 论文的组织结构与安排

第2章 中间件简介

2.1 中间件的定义和特点

2.1.1 中间件定义

2.1.2 中间件的特点

2.2 中间件的分类

2.3 中间件的优势及作用

2.4 专用数据库连接中间件技术

2.4.1 JDBC技术

2.4.2 JDBC技术特点

2.4.3 JDBC的组成和工作原理

2.5 XML技术

2.5.1 XML技术

2.5.2 XML的数据迁移思路

2.6 本章小结

第3章 数据迁移方案

3.1 实时数据存储特点

3.2 实时数据存储方式

3.3 数据迁移原理

3.4 异构数据迁移步骤

3.5 数据库信息的获取

3.6 数据信息映射方法

3.6.1 映射模式分类

3.6.2 基于模式的映射

3.6.3 数据类型映射规则

3.6.4 数据类型运算法则

3.6.5 数据库信息建模

3.6.6 映射规则生成

3.7 异构数据库数据迁移

3.8 本章小结

第4章 中间件功能及结构

4.1 总体内容设计

4.1.1 中间件需求概述

4.1.2 中间件的设计目标

4.1.3 中间件软件结构

4.2 模块总体结构

4.3 模块功能说明

4.4 本章小结

第5章 中间件各模块详解

5.1 数据库连接模块

5.1.1 功能

5.1.2 连接数据库方法

5.2 数据导入模块

5.2.1 功能

5.2.2 数据导入操作

5.3 数据操作模块

5.4 数据迁移模块

5.4.1 功能

5.4.2 数据库格式数据转换

5.5 数据展示模块

5.6 日志管理模块

5.7 本章小结

总结与展望

参考文献

致谢

附录A 攻读硕士学位期间参与的科研项目