网页数据爬取方法、装置、网页数据爬取平台及存储介质

摘要

本发明涉及一种网页数据爬取方法。该方法包括获取待爬取网页的网页地址，根据所述待爬取网页的网页地址，获取所述待爬取网页的对应的有效登录数据；根据有效登录数据，从网络地址库中随机选取可用的网络地址；经验证成功后登录所述待爬取网页，并根据与所述待爬取网页相对应的渲染方式渲染所述待爬取网页；爬取已渲染完成的所述待爬取网页获取待爬取网页数据。本发明的网页数据爬取方法、装置、网页数据爬取平台季存储介质，每次登录时都可以随机选取可用的网络地址，从而防止多个账户通过同一个服务器进行登录时，会触发待爬取网页的风控机制，导致服务器被列入黑名单，保证成功登录待爬取网页，进而成功爬取待爬取网页数据，提高可用性。