数据爬取方法、数据爬取装置、数据爬取设备及存储介质

摘要

本发明公开了一种数据爬取方法，首先根据数据采集清单确定目标数据源，并针对目标数据源生成初始读取请求，将初始读取请求发送至目标数据源，并接收目标数据源返回的反馈结果，根据反馈结果确定目标数据源的请求参数规则，并依据请求参数规则生成符合目标数据源验证机制要求的目标数据采集请求，将目标数据采集请求发送至目标数据源，即可获取数据采集清单指定的目标数据。采用本发明提供的数据爬取方法，在设置了验证机制等传统的网络爬虫爬取数据办法无法获取数据的目标数据源中也能够获取目标数据，提高了电子元器件领域产品采集过程中数据爬取的成功率。本发明还公开了一种数据爬取装置、数据爬取设备及存储介质，具有上述有益效果。