一种调整爬虫更新频率的方法、存储介质及爬虫服务器

摘要

本发明公开了一种调整爬虫更新频率的方法、存储介质及爬虫服务器，所述方法包括：在预设爬虫任务表中查找第一标识字符为第一预设数值的渠道，并获取各渠道中爬虫采集数据的数据量；计算获取到的所有数据量的平均值；根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符，并采用所述第二标识字符对所述预设爬虫任务表进行更新。本发明通过在每一轮爬虫任务后，更新渠道的标识字符，并通过所述标识字符自动化调整爬虫更新频率，同时也节约了人力成本和机器成本。