一种基于Scrapy-Redis的分布式网络爬虫优化方法

摘要

本发明涉及一种基于Scrapy‑Redis的分布式网络爬虫优化方法，包括以下方面：(1)去重过程优化：使用布隆过滤器代替指纹去重机制，在优化后的去重过程中，元素集合使用位数组形式表示；(2)空闲监测机制：设置一个空闲时间阈值作为分界条件，在接收到某节点的空闲信号之后，若监听到空闲时间小于等于空闲时间阈值，则节点继续工作；若监听到空闲时间大于空闲时间阈值，则可以判定为该节点暂无待爬取任务，即可结束此节点进程；(3)动态请求配置。