基于Scrapy框架的分布式网络爬虫实现

摘要

根据互联网实际情况,提出分布式爬虫模型,基于Scrapy框架,进行代码实现,且该开发方式可以迅速进行对不同主题的数据爬取的移植,满足不同专业方向的基于互联网大数据分析需要。