一种用于新闻博客类网站的通用低代码爬虫方法及系统

摘要

本发明公开一种用于新闻博客类网站的通用低代码爬虫方法及系统，属于网络爬虫技术领域。方法的核心步骤包括：创建各待爬取网站的配置文件；选择运行方式并加载目标网站的各项配置；提取目标网站导航栏中所有分类导航的链接及类别名；对各分类导航链接，提取文章列表页面的所有文章链接并加入待爬取列表；对待爬取列表中各文章，提取文章页面资源中的各项信息并进行持久化存储；重复执行直至完成所有爬取任务。爬虫系统提供的能力主要包括自定义功能扩展、多任务管理、多种方式持久化存储、兼容不同类型网站、日志及进度管理等方面。本发明只需添加待爬取网站的各项配置，即可完成满足基本需求的文章爬取，大幅度提升爬虫程序开发和维护效率。