定题搜索引擎Robot的设计与算法

摘要

定题搜索引擎将信息检索限定在特定主题领域,提供特定主题的信息检索服务,是新一代搜索引擎的发展方向之一.该文介绍了一个定题搜索robot系统NetBat2.02版,它可以实现在web上爬行下载主题相关网页.定题搜索的关键技术是主题相关信息的搜索及网页相关度分析.该文分析了传统定题搜索算法的优缺点,提出了基于反向链接结合超链文本分析的定题搜索算法.文章还对基于内容的网页相关度分析算法进行了详细的论述.对比搜索实验表明系统有着较好的性能,能准确地爬行到主题相关网页.