一种基于分布式爬虫的数据获取方法及其系统

摘要

本发明公开一种基于分布式爬虫的数据获取方法，包括以下步骤：根据不同网页的属性对网页进行划分；针对网页的划分，确定至少一个爬虫抓取参数；按照确定的爬虫抓取参数抓取当前网页信息，并对抓取的网页信息进行解析，得到解析数据；对获得的解析数据进行编译；对编译后的网页数据信息进行汇总，并反馈至数据保存模块；用汇总后的网页数据信息进行存储。本发明基于分布式爬虫的数据获取方法及其系统，通过对网页进行划分，并按照网页的划分确定爬虫抓取参数，通过爬虫抓取参数可抓取网页信息，且跳转连接可与其他网页进行连接，实现网页信息的快速抓取，保证在较短的时间内完成数据的采集，提高了采集的效率，满足时间的要求。