一种基于生产者消费者模式的轻量级垂直网络爬虫的实现方法

摘要

本发明公开了一种基于生产者消费者模式的轻量级垂直网络爬虫的实现方法，具体方法包括配置文件根据实际需要配置URL模式及解析规则；通过构建URL待消费队列容器，形成URL的生产者和消费者模式；对URL待消费队列容器配置URL解析接口，并根据实际需要制定URL解析接口的解析规则；通过URL解析接口解析传入符合模式的目标URL至数据库。一种基于生产者消费者模式的轻量级垂直网络爬虫的实现方法和现有技术相比，提高了系统的可扩展性，降低了系统的耦合度。