首页> 中文期刊> 《数字化用户》 >基于Scrapy与Redis的分布式房源数据抓取系统

基于Scrapy与Redis的分布式房源数据抓取系统

     

摘要

系统突破单进程单机爬虫的瓶颈,设计了基于Redis分布式多爬虫共享队列的主题爬虫.采用Python开发的Scrapy框架来开发,Pycharm作为开发工具,使用Xpath技术对下载的网页进行数据的提取解析,运用Redis非关系型数据库做分布式,利用MongoDB非关系型数据库做数据存储,Scrapy-Redis组件作为辅助设计,并完成了能爬取网站上所有城市新房二手房数据的分布式爬虫系统.

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号