基于垂直搜索和聚焦爬虫技术的网页分类识别系统及方法

摘要

本发明公开了一种基于垂直搜索和聚焦爬虫技术的网页分类识别系统，其特征在于所述系统包括应用表示模块、数据采集模块和内容解析模块，所述数据采集模块通过 Web 协议完成对网页数据的采集，然后将采集到的页面数据交给内容解析模块；所述内容解析模块根据数据采集模块采集的页面数据进行 HTML 解析，提取页面中的超链接，将超链接加入到 URL 队列中，得到网址类别和 URL 的对应关系表；所述应用表示模块接受用户输入关键字进行搜索，将搜索到的特定领域的网址和 / 或所属的网址类别结果反馈给用户。通过开发建设过程中实际运行和测试，很好的体现了基于垂直搜索和聚焦爬虫的网页分类的识别方法的实施效果，验证了此方法的准确性。