一种可扩展型分布式热拔插部署网络爬虫服务模型及其控制方法

摘要

本发明公开一种可扩展型分布式热拔插部署网络爬虫服务模型及其控制方法，模型包括主控服务器以及至少一台热备主控服务器，主控服务器分别连接任务下发中心和爬虫采集服务集群，任务下发中心用于发布采集任务至当前主控服务器；主控服务用于采集任务下发、动态调整爬虫采集服务集群的负载策略以及同步信息至热备主控服务器；热备主控服务器在主控服务宕机时接替主控服务器以负责采集任务下发、动态调整爬虫采集服务集群的负载策略以及同步信息。本发明比起一般的分布式爬虫可以动态增减爬虫节点而不需要重启系统，同时每个爬虫节点互为热备，主控也有对应的热备服务，所以任何一个设备出现故障，对这个系统的稳定性没有影响。