数据集成中基于本体的语义异构消除研究

摘要

随着数据库和网络技术的飞速发展，大量的异构数据源应运而生。随着对信息综合利用需求的进一步提高，人们迫切希望解决这些异构数据源的集成问题。中间件技术的发展使得硬件平台、网络协议及操作系统的异构不再是人们关注的焦点。虽然ETL等新工具和新技术出现使得集成数据手段更加多样化，人们可以获取的数据资源日益丰富、数据量也急剧增加。但是人们逐渐意识到ETL等通用集成工具只消除了数据在语法、结构层次的异构，而缺乏有效解决语义异构的能力。传统的数据清洗技术大多也是从数据的文本取值的方面进行清洗处理，往往忽略了数据自身蕴含的语义信息，造成集成数据的质量低下。
　　 数据是信息的载体，数据价值不仅体现在数据量的积累上，更重要的是数据自身的质量。高质量的数据是各种数据分析工具(数据挖掘、OLAP等)得到有价值和有意义结果的首要条件，建立在劣质数据基础之上的决策支持系统是不可信的。数据集成中大量的劣质数据成为制约数据应用“瓶颈”。近年来数据质量问题成为人们广泛关注的焦点，如何集成高质量的数据成为当前亟待解决的问题。研究表明数据集成中的质量问题实际上主要是数据的“误理解”引起的。由于数据源的自治性、异构性与领域相关性造成了信息资源的语义异构，语义异构已经成为当前数据集成的引起数据质量问题的最大隐患。传统的数据集成方法，在数据的处理时过分依赖于数据模式提供的约束，没有考虑领域信息的语义约束，忽略了数据自身的语义信息。因此，如何在数据集成研究中引入语义特性成为提高数据质量的一个新的研究点。本文通过基于本体的语义异构消除方法来解决数据集成中由于语义引起的数据质量问题。针对这一研究课题，文章的主要研究工作如下：
　　 首先，在信息化建设的背景下，对数据集成的目标、异构数据进行了研究，总结了数据集成的传统方法和基于本体的数据集成在国内外研究现状。
　　 其次，对数据库中的语义异构及其引起的语义冲突进行了详细的分析和探讨，对本体及相关技术的研究进行了总结，并以此作为支撑论文研究的理论基础，分析了现有数据集成研究中存在的不足，并论证了利用本体及相关技术解决语义异构问题的可行性。
　　 然后，基于领域本体能够捕捉数据库ER模型共性的特点，提出了消除示意性冲突的方法。通过形式化描述数据源概念模型中元数据的上下文环境，然后将元数据中隐藏的语义信息转化为实体的属性来解决数据库概念间的示意性冲突，实现了到目标模式的转化。在示意性冲突消除的基础上，结合本体拥有比关系模式更加强大的语义表达能力，通过扩展关系模式隐含的语义来检测数据层冲突。
　　 最后，在课题研究中的示意性冲突和数据层冲突消除方法的基础上，完成了油菜分子数据库后台数据的集成任务，有效的解决了现有数据集成中缺乏语义研究带来的数据质量问题。

目录

文摘

英文文摘

声明

第一章 绪论

1.1 研究背景及意义

1.2 研究现状

1.3 存在的主要问题

1.4 研究内容和目标

1.5 本文结构组织

第二章 数据集成

2.1 数据集成的目标

2.2 异构数据

2.3 异构数据集成方法

2.4 基于本体的数据集成

2.5 本章小结

第三章 本体与语义异构研究

3.1 语义异构

3.2 本体构建

3.3 本体在语义异构消除中的作用

3.4 本章小结

第四章 示意性冲突消除

4.1 概念语义上下文

4.2 实体示意性冲突消除

4.3 关系示意性冲突消除

4.4 实体属性示意性冲突消除

4.5 关系属性示意性冲突消除

4.6 本章小结

第五章 数据层冲突检测

5.1 数据层冲突分类本体

5.2 扩展关系模式的数据语义

5.3 ESRS个体

5.4 本章小结

第六章 油菜分子数据集成中语义异构消除

6.1 油菜品种分子数据库建设目标

6.2 语义异构消除基础

6.3 油菜品种分子数据的语义异构消除

6.4 本章小结

第七章 总结与展望

参考文献

附录：检测数据层冲突的存储过程代码

致谢

在读期间发表的论文及参加的科研项目