一种基于数据挖掘技术的舆情监测系统

摘要

一种基于数据挖掘技术的舆情监测系统，包括：数据获取单元，用于通过网络爬虫程序爬取互联网舆情初始数据；分片单元，用于将互联网舆情初始数据进行输入分片；计算单元，用于合并中间文件中的重复键值，以降低映射输出文件冗余；缓存单元，用于在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；输出单元，用于将所有的映射输出文件并存储到分布式文件存储系统上；建模单元，用于建立网络舆情预测模型；预测单元，用于从分布式文件存储系统上读取映射输出文件并通过网络舆情预测模型进行舆情预测。