异构数据集成器的设计与实现

摘要

异构数据源的集成的目的是提供一个用户一个统一的查询接口，屏蔽底层数据源的异构性、自治性、分布性从而实现用户对各个异构数据源的透明访问。用户看到的只是一个虚拟的、全局的数据库，而不必关心各个数据源的自治性、分布地点以及异构性。由于虚拟的、全局的数据库中的数据是来自于各个数据源，所以，集成平台的性能大多数不在于处理速度上，而在于网络的负载与网络的带宽。本文在以往研究的基础上引入基于语义缓存机制，尽量减少对各个数据源的网络访问来提高中间件的查询反应时间。同时，本文选择Mediator—Wrapper体系结构作为数据集成平台结构，并在此体系下利用XML作为模式集成的方法。文章的主要工作如下： 1)以Mediator-Wrapper体系结构作为本文数据集成平台结构，在此体系构建一个基于XML的异构数据源集成平台，并通过半自动化地解决了语义上与名字上的冲突问题。 2)建立了基于XML的虚拟数据库管理系统模型，并给出了系统各个模块的具体设计与实现方法。 3)引入基于语义缓存机制。中间件的最大性能不在于处理上能力上。由于现在的计算机处理速度十分快，中间件的性能不单体现在处理速度上的问题，大部分体现在网络的传输上。由于网络带宽有限的问题，本文引入基于缓存机制有效的和透明的解决了网络负载的问题。 4)引入同步机制。由于中间件保存有各个数据源数据的一个副本，当数据源的数据发生变化时，必须有一种机制来实现中间件与数据源的同步。本文介绍了两种同步策略来解决同步问题，一是基于触发器的同步策略，另一种是基于MD5算法的同步策略。

目录

文摘

英文文摘

声明

第一章绪论

1.1研究背景、目的及意义

1.2国内外研究情况

1.3本文的主要工作

第二章数据集成体系及相关技术

2.1数据集成体系结构

2.1.1联邦数据库

2.1.2 Mediated系统

2.1.3数据仓库

2.1.4几种集成结构的小结

2.2 XML技术

2.2.1 XML简介

2.2.2 DTD和XML Schema

2.2.3 DOM和SAX

2.2.4 XQuery查询语言

2.3本章小结

第三章数据集成器总体设计

3.1体系结构的设计

3.1.1体系结构

3.2网络传输及消息调度的设计

3.2.1 TCP协议

3.2.2消息队列调度与系统线程的设计

3.3本章小结

第四章数据集成器关键模块的设计与实现

4.1模式集成器

4.1.1模式集成问题

4.1.2模式集成

4.1.3模式集成的方法

4.1.4局部模式、全局模式、映射表的建立

4.2查询处理器

4.2.1查询分解器

4.2.2查询执行器

4.2.3缓存管理器

4.3包装器

4.3.1包装器功能部件

4.3.2功能部件设计

4.4数据同步器

4.4.1同步器的工作方式

4.4.2基于触发器的数据同步策略

4.4.3基于MD5消息摘要算法数据同步策略

4.5本章小结

第五章系统的运行与测试

5.1系统应用实例

5.1.1客户端应用程序实例

5.1.2数据集成与系统信息管理的运行

5.1.3中间件服务器的运行

5.2系统测试

5.2.1异构数据源测试

5.2.2同步测试

5.3本章小结

总结与展望

参考文献

攻读硕士学位期间取得的研究成果

致谢