基于命名实体识别和文本情感分析的政府舆情监测方法及应用研究

摘要

随着互联网越来越普及，网上交流开始占据人们越来越多的时间和精力。网上不乏一些负面、偏激、缺乏理智的观点，尤其是针对政府机构的负面舆论，非常容易造成社会群体不良事件。如何识别出这些舆论是一个值得探究的问题。　　当前对网络舆情的研究大多是通过话题聚类的方式来发现舆情热点问题，本文以自身参与的相关项目经验为基础，提出了基于命名实体识别和文本情感分析的政府舆情监测方法，这种方法能更快捷的发现针对政府机构的负面舆情，并完成了政府舆情监测系统的实现和测试。基于命名实体识别和文本情感分析的政府舆情监测方法技术路线包括三部分：首先提出一种基于双向长短时记忆网络和条件随机场的政府舆情关键信息抽取方法。通过分析政府舆情文本中的字符序列，基于双向长短时记忆网络，提取政务舆论字符级上下文语义特征，并基于条件随机场构建字符序列标注模型，从而实现政务领域关键信息抽取。然后提出一种基于TF-IDF和支持向量机的政务舆情情感分类方法，通过将政务舆论文本进行中文分词，基于TF-IDF将分词后的文本数据向量化表示形成文本向量，并基于支持向量机对带情感标签(非负面倾向、负面倾向)的文本向量进行训练，得到文本情感分类模型，从而实现政务舆论负面情感倾向的判别。最后根据用户对舆情文本进行标签的修正，再将这些修正后的标注文本用于模型训练，从而不断提高模型的预测准确率。　　基于所提出的方法，设计实现了基于命名实体识别和文本情感分析的政府舆情监测系统，并对系统进行测试。结果表明，本文设计与研发的政府舆情监测模型的召回率、准确率和精确率都比较高，能够实现识别针对政府机构的负面舆情功能。

目录

声明

第1章 绪论

1.1选题来源

1.2研究背景与意义

1.2.1研究背景

1.2.2研究意义

1.3国内外研究现状

1.3.1国外研究现状

1.3.2国内研究现状

1.4本文的研究内容

1.5组织结构

1.6本章小结

第2章 关键技术

2.1舆情采集技术

2.2舆情文本处理技术

2.2.1中文分词技术

2.2.2词向量构建技术

2.2.3命名实体识别技术

2.3机器学习技术

2.3.1有监督学习

2.3.2无监督学习

2.4舆情文本情感倾向分析技术

2.5舆情预警

2.6本章小结

第3章 基于命名实体识别和文本情感分析的政府舆情监测方法

3.1问题描述及挑战

3.2基于双向长短时记忆网络和支持向量机的政府舆情监测建模

3.2.1基于双向长短时记忆网络的政务舆情命名实体识别建模

3.2.2基于TF-IDF和支持向量机的政务舆情负面情感倾向判别建模

3.3基于用户使用过程中人工打标签的模型修正

3.4方法步骤

3.5本章小结

第4章 政府舆情监测系统的设计与实现

4.1需求分析

4.2整体架构设计

4.3系统功能模块设计

4.3.1舆情采集模块

4.3.2舆情分析模块

4.3.3舆情预警模块

4.4数据库设计

4.5系统实现

4.6本章小结

第5章 政府舆情监测系统测试

5.1政务舆情命名实体识别模型测试

5.2政务舆情负面情感倾向判别模型测试

5.3政府舆情监测系统功能测试

5.4本章小结

结论

参考文献

附录A攻读硕士学位期间所发表的学术论文目录

附录B 攻读学位期间参与的主要项目

致谢