一种面向建筑施工企业的大数据采集方法和系统

摘要

本发明公开了一种面向建筑施工企业的大数据采集方法和系统，用于提供适用于建筑施工行业的大数据采集机制，实现对建筑施工企业的网页资源采集。本发明实施例中可以抓取建筑施工企业的相关信息，每一家建筑施工企业可以抓取如下的6个数据项，分别为：公司简介、中标信息、经营信息、荣誉信息、资质等级、建造师信息，且每个数据项都采用独立的爬虫程序，因此各个数据项可以实现并行爬取，通过建筑施工企业的URL地址和企业名称可以抓取每个数据项的子URL地址，因此本发明实施例中采用的是广度优先的搜索策略，可针对建筑施工企业进行本行业内的网页资源爬取，提升了爬取建筑施工企业的网页资源的速度。