一种基于Docker集群的分布式爬虫系统

摘要

本发明公开了一种基于Docker集群的分布式爬虫，属于大数据技术领域，包括在Docker集群上建立分布式爬虫系统；分布式爬虫系统包括种子管理模块、调度器模块、下载器模块、分析器模块、数据存储模块、去重模块、监控模块和日志模块，解决了传统开源的爬虫设计方案中URL查重准确度低的技术问题，本发明采用Docker集群作为分布式爬虫的底层平台支撑，更加高效的使用宿主机的各种资源，并利用多容器技术来代替分布式爬虫多线程技术，本发明将改进的K分型Bloom filter算法应用于分布式爬虫系统，提高URL查重的准确度，降低判断的误差，并使算法适用于任何分布式条件下的应用需求，使爬虫系统在抓取效率以及水平扩展等方面的性能明显提高。