一种网络爬虫的爬行方法及装置

摘要

本发明公开了一种网络爬虫的爬行方法及装置，其涉及多台目标任务分配服务器和目标爬行服务器，其中该爬行方法包括：获取目标爬行任务列表，目标爬行任务列表包括多个爬行任务及每个爬行任务对应的爬行地址；根据预设分配规则，将多个爬行任务分配给各台目标任务分配服务器，并对每台目标任务分配服务器领取的爬行任务进行去重处理；根据预设交付规则，将去重处理后的每台目标任务分配服务器对应的爬行任务和对应的爬行地址交付给目标爬行服务器。本发明解决了现有技术中的以下问题：单机版的网络爬虫容易导致单机死机，多线程的网络爬虫局限于一台运行服务器上，并且容易出现重复的爬行结果。