一种基于可靠队列服务的高效分布式爬虫系统设计

摘要

本发明公开了一种基于可靠队列服务的高效分布式爬虫系统架构，涉及互联网金融公司行业资讯数据积累的技术核心。总体上采用分布式系统架构，将系统主要分成了7大模块，系统的核心模块：调度模块和抓取及页面解析模块通过基于binlog实现主从逻辑的可靠队列服务来进行通信。所有模块均可采用多点部署，并且对系统资源使用最多的模块“抓取及页面解析模块”是“无状态的”，一个或多个模块挂掉不影响系统整体的运行。同时，本系统还可以根据需要爬取的资源数量，动态的增加或减少相应模块部署的数量，且还可以通过配置平台模块来控制不同站点的抓取频率、抓取的结构化字段，对企业积累自己的资讯数据提供及时、个性化的强力保证。