Deep Web垂直搜索引擎设计与实现

摘要

将deep Web发掘与主题爬行技术有机地结合起来，对deep Web垂直搜索引擎系统的关键技术进行了深入研究．首先设计了deep Web主题爬行框架，它是在传统的主题爬行框架的基础上，加入了前端分类器作为爬行策略的执行机构，并对该分类器做定期的增量更新;然后使用主题爬行技术指导deep Web发掘，并且借助开源组件Lucene将主题爬行器所搜索的信息进行合理的安排，以便为检索接口提供查询服务．当用户向搜索引擎提交查询词后，Lucene缺省按照自己的相关度算法对结果进行排序．通过爬虫、索引器和查询接口的设计，实现了一个面向deepWeb的垂直搜索引擎原型系统．