一种自动化垂直细分领域的爬虫爬取方法及其管理系统

摘要

本发明涉及爬虫爬取和管理调度技术，旨在提供一种自动化垂直细分领域的爬虫爬取方法及其管理系统。该种自动化垂直细分领域的爬虫爬取方法包括过程：爬虫运行时间预测；根据预测时间、并行数进行批量爬虫调度优化；爬虫爬取。本发明在垂直细分领域爬虫的爬取效率上比现有技术更加高效，结合垂直细分爬虫的特征开创地引入了爬虫的时间预测模型，结合最长处理时间优先算法进行并行爬虫的高效调度，节省爬取时间。