基于语义的数据库全文检索系统

摘要

在大规模科学数据共享以及大型企业应用中存在海量的数据库。由于系统的定制性和历史原因，造成了这些数据库共享存在以下难题：封闭性、数据孤岛、缺乏规范和标准。中医药科技数据库群的共享正是大规模数据共享的一个例子。 为了解决异质异构数据的集成与共享，浙江大学网格实验室于2002年起开始研制用语义与网格技术来解决这个难题，并于2003年底推出了DartGridV1，实现了用语义集成数据的基本理念并投入应用。此后我们一直在改进、扩充DartGridV1的功能、稳定性与性能，并于2005年推出了DartGridV3。 新的DartGridV3完全改造了已有DartGrid的内核，使它的稳定性、性能得到了本质的提高，集成的数据也更全面。DartGridV3还扩充了新的功能：将语义集成的理念推广到了全文检索系统，使语义技术与当今最热门的搜索技术相结合，使数据的搜索比以前更加方便快速；同时它还提供了强大的Web应用支持，使整个查询构造、查询处理等功能都可以在Web浏览器上完成，从而使DartGrid系统更加贴近最终用户、更加实用。 本人负责整个数据库全文检索引擎和基于DartGridV3的Web查询处理系统的开发。将语义技术与全文检索引擎相结合来集成异质异构数据库的查询是一个不错的创意，而在全文检索系统中设计的全新的中文分词算法更是一个很好的创新。当然在开发过程中还有很多工程上的设计和思想，也是对我工程开发过程的很好的总结。以中医药数据库做切入点，全文检索系统已经在中国中医研究院成功运行了。 本文介绍了整个DartGridV3的基本设计理念和解决方案、基于DartGridV3的Web查询平台的设计、基于语义的数据库全文检索系统的设计和我自己设计的中文分词算法—树状词库法的思想和实现。

目录

摘要

第一章背景与概述

1.1大规模科学数据共享

1.2中医药科技数据库群的集成与共享

1.3技术背景

1.3.1互联网技术及其研究现状分析

1.3.2分布式数据库技术及其研究现状分析

1.3.3本体论与RDF简介

1.4全文检索技术与lucene简介

1.4.1 lucene的基本情况

1.4.2全文检索的实现机制

1.4.3亚洲语言的切分词问题(Word Segment)

第二章基于DartGrid V3的数据检索解决方案

2.1现有查询系统的问题与设计目标

2.2解决异质异构数据库集成的设计思想

2.3 DartGri d V3的设计理念与简介

2.3.1 DartGrid定义与目标

2.3.2 DartGrid的工作原理

2.4基于DartGridV3的解决方案

2.5解决方案的组成

2.5.1 DartGrid V3内核

2.5.2基于DartGrid V3的Web查询平台-DartGrid V3 Web Console

2.5.3基于语义的数据库全文检索系统—DartSearch

2.5.4从全文检索系统中分离出来的树状词库中文分词算法—DartSplitter

第三章基于DartGrid V3的Web查询平台--DartGrid V3 Web Console

3.1 DartGrid V3 Web Console的功能及要求

3.2 DartGrid V3 Web Console的分层体系架构

3.3 DartGrid V3 Web Console的核心设计

第四章基于语义的数据库全文检索系统--DartSearch

4.1 DartSearch特有的设计需求与难点

4.2 DartSearch的解决方案

4.3 DartSearch的架构设计与实现

4.4 DartSearch查询界面展示

第五章树状词库中文分词算法--DartSplitter

5.1中文分词概述

5.2最大匹配法及缺陷

5.2.1最大匹配法分词的理念与处理过程

5.2.2最大匹配法分词的缺陷

5.3 DartSplitter的设计思想与算法

5.3.1 DartSplitter的设计目标

5.3.2算法的突破口—词库

5.3.3 DartSplitter的算法设计

5.3.4 DartSplitter的实现细节

5.3.5 DartSplitter的实验结果

第六章总结与展望

6.1全文总结

6.2工作展望

参考文献

攻读硕士期间发表论文及参加项目情况

致谢