垂直搜索引擎主题爬虫搜索算法的一种改进算法

摘要

随着互联网和WWW的迅速发展,互联网上的资源日趋丰富,为了帮助人们在浩瀚的网上信息中得到对自己有用的信息,基于互联网的各类信息检索服务应运而生并迅速发展.通用搜索引擎的功能已经十分强大,一般情况下可以满足用户的需求.垂直搜索引擎的出现,及时的解决了用户想查询具体专业或者行业的信息的问题,但是主题爬虫的爬行策略却影响了搜索引擎的准确度跟效率.本文通过分析主题爬虫的爬行策略,并结合基于文本内容的启发式策略和基于Web超链接评价的策略,给出了自己改进的一个搜索策略算法,并通过实验对比,改进的策略是有效可行的.