基于Scrapy框架的分布式网络爬虫的研究与实现

摘要

针对网络爬虫开发时面临的攻防、去重和爬取效率等问题,通过着重分析基于Scrapy框架的分布式知乎网络爬虫的工作原理和实现方式以及一些关于分布式运行原理、反爬虫、去重算法、Redis数据库、Mongo DB数据库等方面的技术,设计和实现了基于Scrapy框架的分布式网络爬虫。最后通过对该爬虫的对比测试分析,得出了如何提高爬虫的爬取效率和避免网站反爬的应对策略。