一种分布式动态可配置的爬虫平台及爬虫方法

摘要

本发明提供了一种分布式动态可配置的爬虫平台及爬虫方法，用于从海量站点内定向抓取数据，包括用户输入爬虫需求，依据爬虫需求形成爬虫抓取规则；解析爬虫抓取规则形成爬虫任务，解析爬虫调度配置形成爬虫任务调度；根据爬虫任务对爬虫平台内多个爬虫子模块排序，选择排序最高的爬虫子模块作为最优爬虫运行节点；启动并执行爬虫任务，分别抓取m个目标站点的n个指定页面，解析指定页面URL并去重处理后加入待爬列队，直至m个目标站点中n个指定页面全部被抓取；对待爬列队中指定页面的结构化数据相似度检测，去重处理以降低冗余度，形成并保存爬虫结果。爬虫方法能够从海量站点内定向抓取数据，以快速高效的获取用户所需数据。