基于Scrapy的网站URL爬取方法

摘要

本发明公开一种基于Scrapy的网站URL爬取方法，包括：从第一数据库读取目标URL，请求目标URL并下载其网页；从网页中提取出所有URL，并进行布隆去重；将去重后的URL同时存入第一数据库与第二数据库；从第一数据库读取同域名的URL进行去重并保存，对去重后的URL构造http请求并再次爬取。减少低效爬取占用资源，有利于提高整体效率。