Deep Web接口集成及查询结果排序方法研究

摘要

随着World Wide Web的快速发展，Web信息越来越多的出现在互联网中，而网络动态语言以及Web数据库技术的发展，使得Web上信息呈现出动态性和深层性的特点。对于传统搜索引擎而言，Web中深层次的信息并不能被有效索引，这些深层次信息被称为Deep Web。Deep Web信息价值高，且在快速增长中，吸引了越来越多的人对其进行深入研究。
　　 本文对Deep Web信息检索相关技术进行研究和探讨，对一些关键技术进行了深入研究，提出了相应的处理方法，并在最后描述了一种面向Deep Web的垂直元搜索引擎原型系统的设计框架。本文的主要研究内容包括：
　　 (1)分析了Deep Web数据源发现方面的研究背景和相关知识，给出了基于搜索引擎的聚焦爬虫设计方法，同时描述了一种查询接口判定方法，用于完成数据源发现工作。
　　 (2)在查询接口模式抽取的基础上，将查询接口集成中的模式匹配问题转换为查询单项之间的相关度计算，据此提出了基于关联规则的查询接口模式匹配方法，用于完成查询接口集成工作。
　　 (3)在查询结果排序上，从数据源质量、用户查询响应以及查询相关度三个方面，综合计算出查询结果的排序分值，用于查询结果排序。
　　 (4)分析了搜索引擎的发展现状和工作原理，在此基础上，描述了面向DeepWeb的垂直元搜索引擎系统的设计框架，并对关键模块进行了详细分析。
　　 本文对提出的方法和技术进行了相关的实验，结果表明本文提出的方法和技术是可行和有效的。