面向海量数据采集的分布式网络爬虫性能优化系统

摘要

本发明属于软件工程技术领域，具体涉及一种面向海量数据采集的分布式网络爬虫性能优化系统。所述系统中，初始化模块用于新建一个去重字符串和一个垃圾链接特征字符串；主节点爬行器用于读取到初始URL地址，爬取模块爬取初始URL地址，生成URL任务队列；爬取模块用于根据URL任务队列进行网页爬取，完成爬取工作。与现有技术相比较，本发明突破了分布式网络爬虫爬取性能瓶颈，爬取性能提高50％以上；提高了URL任务队列的去重效率，满足海量数据采集的效率要求；优化了URL任务队列的存储空间，极大地节省了服务器内存资源；增加了垃圾链接过滤环节，不仅节约服务器内存资源，而且显著提高爬虫效率。