一种分布式爬虫系统及其实现方法

摘要

本发明公开了一种分布式爬虫系统及其实现方法，包括登录窗口、日常空间和工作空间，登录窗口的输出端分别与日常空间和工作空间的输入端连接，日常空间和工作空间的输出端分别与通用网络爬虫系统和聚焦网络爬虫系统的输入端连接，本发明涉及爬虫系统技术领域。该分布式爬虫系统及其实现方法，通过设置日常空间和工作空间两种模式，并设置通用网络爬虫系统和聚焦网络爬虫系统分别搭载在两种模式上，日常空间可正常检索所有信息，而聚焦网络爬虫系统可正对性的采集与工作相关的信息，两种模式随意切换，互不干扰，且聚焦网络爬虫系统是依附于通用网络爬虫系统的主体结构使用，只需将部分程序文件替换，则可实现两种模式的切换。