基于Web挖掘的网络舆情监测系统设计

摘要

针对互联网时代网络言论不断增加而带来的监管难题,设计了基于语义识别和情感分析的网络舆情监测系统。首先,根据资源特征,构建了通用的网页爬取框架,通过去噪和去重后将结构化舆情信息储存到数据库中;然后,对分类特征进行降维处理并改进分类算法,同时,针对话题发现模型中存在的问题,提出一种情感词典扩充方法,能够对未知的情感词进行情感倾向计算;最后,针对不同影响强度的舆情监测结果进行相应的处理,实现主动监管。通过对比发现,相较于传统机器学习分类方法的任务繁杂,基于语义识别和情感分析的网络舆情监测系统,结合了弱监督机器学习方法和语义特征算法,在舆情监测过程有很高的准确率和较好的效率。