网络爬虫调度方法及应用其的网络爬虫系统

摘要

本申请公开了一种网络爬虫调度方法及应用其的网络爬虫系统，其首先对抓取到的与种子页相关的内容页数据进行解析，得到多组链接信息，然后根据每组链接信息分别计算得到一个对应的内容页在所述种子页上的链接质量，进而分别根据所述链接质量确定内容页的抓取顺序以及种子页的预设刷新间隔，保证高链接质量对应的重要内容页及种子页优先被抓取，提高索引质量及时效性，保证用户检索效果。