半结构化数据集成技术研究

摘要

近些年由于因特网和电子商务的发展,企业内部基于WEB和办公系统的信息量增长迅速,这些数据具有不确定的子类型和属性,包含复杂数据类型和复杂的引用关系,如WEB上的网页、各种文档等,我们称这些数据为半结构化数据.如何将这些半结构化数据同传统的结构化数据集成在一起,是当今一个重要的研究课题.其中,解决半结构化数据模型和结构化数据模型的集成,实现这两类数据的相互转换,是解决问题的关键.针对此领域目前存在的不足,本文提出了一种基于XML 的半结构化数据集成技术:即利用XML作为中间件来对半结构化数据进行集成.将半结构化数据集成分为相对独立且相互关联的两个部分: 即半结构化数据模型的建立、半结构化数据模型与结构化数据模型之间的双向映射.其中半结构化数据模型的建立负责将半结构化数据进行规范化、抽取数据模式；半结构化数据模型与结构化数据模型问的双向映射负责通过映射算法将抽取而得的半结构化数据模型与结构化数据模型实现互转化,进而达到半结构化数据集成的目的.论文首先分析了半结构化数据的数据结构和XML的相关技术、基本内容和特点,提出一种将半结构化数据规范化的方法.阐述了XML与关系数据库的关系、建立XML 数据与关系数据库间的转换机制.最后通过定义了RTD、MM和MT 三个数据模型,结合实际项目对如何应用这些理论进行了阐述.随着信息化的逐步推进和信息量的飞速膨胀,数据集成的范畴会越来越广,对各种数据进行集成的要求也会越来越迫切.论文的开题来源于大庆石油管理局实际的项目,因此具有重要的理论和实际价值.

目录

文摘

英文文摘

学位论文独创性声明及使用授权声明

创新点摘要

引言

第1章半结构化数据集成技术基础

1.1半结构化数据

1.2 XML及其相关技术

1.2.1 XML文档

1.2.2 XML Schema和XSL

1.3 XML与半结构化数据

1.4 XML与数据库

1.4.1 XML与数据库技术的比较

1.4.2 XML与数据库的结合及发展趋势

1.5本章小结

第2章半结构化数据到结构化数据的转换技术

2.1半结构化数据模型抽取

2.1.1手工方式的模式抽取

2.1.2通过样本学习的半自动化模式抽取

2.1.3利用半结构化数据自身特点的自动化模式抽取

2.2映射模式抽取

2.2.1基于DTD/SCHEMA的映射模式抽取方法

2.2.2基于XML文档实例的映射模式抽取方法

2.3本章小结

第3章结构化数据到半结构化数据的转换技术

3.1基于语法树的结构映射

3.1.1结构化数据和XML数据的树状表示及结构映射原理

3.1.2 XML数据的层次性问题

3.2语义的映射

3.2.1 XML中的键(Key)

3.2.2实体间关系以及数据的语义约束

3.3关系数据库转换为XML文档

3.4本章小结

第4章基于XML半结构化数据集成技术的应用

4.1应用背景

4.2基于XML的报表定制系统

4.2.1报表及其定义过程

4.2.2建立报表模型RT

4.2.3实例介绍

4.3基于EXCEL的数据录入

4.3.1建立数据库元数据模型DMM

4.3.2建立映射关系模型MT

4.3.3实例介绍

4.4应用总结

4.4.1取得成果

4.4.2问题与展望

4.5本章小结

结论

参考文献

发表文章目录

致谢