分布式主题舆情采集与分析系统设计

摘要

在大数据和移动互联网的时代背景下,舆情信息的迅猛增长为其采集与分析带来挑战.运用分布式计算技术,有利于对领域海量主题舆情的快速采集与分析.研究主题舆情采集与分析关键技术,包括主题舆情采集技术、领域词典和中文分词,探讨分布式计算环境下的主题舆情采集与舆情数据分析,并利用面向对象的分析与设计方法,基于开源爬虫设计并实现了一个分布式主题舆情采集与分析系统.利用4个爬虫节点进行分布式采集,相比传统采集模式,该系统的平均采集速度提升了2.74倍.