在PLM系统中实现分布式爬虫

摘要

近年来,PLM(Product Lifecycle Management)产品生命周期在公司中越来越被重视,它集成了产品相关的人力、流程、信息等整个生命周期,支持产品创建、管理、分发一系列解决方案.但引入的PLM系统平台不支持查询导出及任务提醒功能,提取整合数据成为了工作痛点.Scrapy是基于Python开发的一个快速、高层次网站爬虫事件架构,可提取页面结构化源数据并将其清洗、格式化、存储到数据库等操作级联起来.采用Scrapyd开源平台部署分布式爬虫实现多台服务器资源并发地爬取数据,通过Metabase开源平台呈现出来.