面向主题的网络爬虫系统功能模块设计探析

摘要

爬虫策略是主题爬虫的核心模块,其策略的目的在于高效的抓取到更多与主题相关的页面,同时又过滤与主题无关的页面。该文主要对面向主题的爬虫项目需求进行研究,提出了分层的系统框架,并详细介绍了框架架构以及各个模块的设计,最后给出系统的运行结果截图,初步达到了预期的效果。