基于分布式爬虫的批量部署python运行环境的方法及装置

摘要

本发明为了解决现有技术中存在的问题，创新提出了一种基于分布式爬虫的批量部署python运行环境的方法，包括：在配置文件中加载目标服务器信息，根据服务器列表创建环境部署的线程任务Task；根据环境部署线程任务，在目标服务器上部署python运行环境；运行爬虫程序，获取爬虫数据，通过python实时监控爬虫数据，本发明还提出了一种基于分布式爬虫的批量部署python运行环境的装置，有效解决了由于在部署多个爬虫运行环境时逐一配置部署步骤繁琐、时间长的问题，有效的提高了部署的效率。