一种针对新闻媒体批量加密数据的采集方法

摘要

本发明公开了一种针对新闻媒体批量加密数据的采集方法，属于新闻媒体数据采集领域，包括步骤：S1，将数据库中的网址url、站名内容分别添加至由redis实现的url去重集合及由redis实现的url队列；S2，用puppeteer进程去消费由redis实现的url队列中的数据；S3，获取网页数据html，将其加入到由redis实现的html队列中，并将由redis实现的html队列标记区分为列表页网页数据html或内容页网页数据html；S4，解析由redis实现的html队列中的数据并处理。本发明更容易实现批量加密数据的采集，且具有效率高、成本低、维护容易等优点。