基于垂直搜索和聚焦爬虫的网页分类技术

摘要

基于垂直搜索和聚焦爬虫技术的网页分类识别方法，该方法包括两个部分：网页源码获取和网页内容解析法。其中网页内容解析法是核心，它包括两个主要的部分：抽取网页的结构化信息和聚焦爬虫的爬行策略。首先从导航类站点URL表中取出一个URL，获取此URL的源文件，然后用网页内容解析法进行识别得到该导航URL站点所有分类的URL。该方法中的关键方法是网页内容解析法，首先抽取网页结构化信息，然后运用基于网页内容特征的定向广度优先搜索策略进行URL的抓取，最后将抓取的URL及对应的网站分类存放在表Category中。