分布式爬虫系统中任务管理器的分配方法及系统

摘要

本发明公开了一种分布式爬虫系统中任务管理器的分配方法，所述方法包括如下步骤：分布式设备接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；分布式设备将设备参数通过广播消息广播至分布式爬虫系统中的其他设备，接收其他设备发送的广播消息，从广播消息中提取设备参数最优的第一分布式设备；分布式设备接收其他设备发送的投票消息，该投票消息包括：票数以及投票的分布式设备，将票数最多的分布式设备确定为任务管理器；如分布式设备为任务管理器，将本地处理的爬虫任务分配给其他分布式设备。本发明提供的技术方案具有效率高的优点。