Deep Web数据源聚焦爬虫

摘要

Internet上有大量页面是由后台数据库动态产生的,这部分页面不能通过传统的搜索引擎访问,被称为Deep Web.数据源发现是大规模Deep Web数据源集成的关键步骤.该文提出一种针对Deep Web数据源的聚焦爬行算法.在评价链接重要性时,综合考虑了页面与主题的相关性和链接相关信息.实验证明该方法是有效的.