基于自定义词典的网络文本情感分析方法

摘要

随着当前互联网用户越来越多，社交平台可以获取到的数据也日益增长，微博就是热门的社交平台之一。作为一种社交媒体，微博提供了平台共享，用户可以分享他们对某些主题的感受和想法。微博的热点主题一般是新出现的焦点事件，这些事件立即吸引更多的关注者和更多的在线关注，这提供了一个独特的机会来将公众的情绪与这些用户关注的事件结合起来分析。主题聚类、情感分析和舆情分析一直是自然语言处理热门的领域，本论文在已有的研究基础上，进行研究并提出新的研究方法，对新浪微博的数据进行挖掘、分析和可视化，主要工作如下： 第一，挖掘已知主题关键字的微博。现有的主题聚类方法是在不知道主题关键字的情况下，发现主题和主题聚类同时进行，例如热门微博话题发现和聚类。本论文在已知的主题关键字下发现及扩充相关微博。已有的主题挖掘方法，巧妙的使用了新浪微博特有的“#”标签，使用分层聚类算法，将带有“#”标签的微博有效地进行主题聚类，但忽略了大部分不带“#”标签的消息。本文在此之上，基于带有“#”标签的主题聚类，扩充可以挖掘的同一主题的不带“#”标签的微博，并将这种方法用于微博主题爬虫。 第二，基于自定义词典、注意力机制的双向LSTM微博文本情感分类。已有的基于注意力机制的双向LSTM文本分类方法，若使用word2vec的文本表示方法，则会有只考虑上下文太小，没有考虑全局统计的情况，从而加入使用GloVe的文本表示方法，而上述两种方法都未考虑词性对文本分类的影响。本论文在典型的基于注意力机制的双向LSTM文本分类方法中，加入自定义词典，使用word2vec、Glove和词性的三词向量的文本表示方法，同时改进神经网络结构。 第三，实时的微博主题消息挖掘和情感分析系统。实现实时微博主题爬虫系统，包括关键字微博消息爬取，微博消息可搜索，情感分析结果图，消息国内分布情况等功能的可视化。系统考虑到数据获取，数据库存储，数据分析，数据展示，按软件的需求分析，系统设计，系统实现，系统测试进行叙述。

目录

声明

第一章 绪 论

1.1 研究工作的背景与意义

1.2 国内外研究成果及发展前景

1.3 本论文主要创新与贡献

1.4 本论文的组织结构

第二章 相关理论与技术

2.1 文本预处理技术

2.1.1 中文文本分词

2.1.2 词性标注

2.1.3 去除停用词

2.2 计算机的文本表示方法

2.2.1传统文本表示方法

2.2.2 TF-IDF模型

2.2.3 word2vec模型

2.2.4 Glove模型

2.3 文本情感分析技术

2.3.1 基于情感词典的文本情感分析

2.3.2 基于机器学习的文本情感分析

2.3.3 基于深度学习的文本情感分析

2.4本章小结

第三章 基于已知主题关键词的微博消息挖掘

3.1 微博主题检测

3.1.1 基于文本聚类的主题检测

3.1.2 基于主题模型的主题检测

3.2 基于已知关键词的微博消息收集

3.2.1 消息收集规则

3.2.2 消息过滤规则

3.2.3 实验过程及结果分析

3.3 主题聚类

3.3.1 主题的表示方法

3.3.2 主题聚类方法的原理

3.3.3 主题聚类方法的扩展

3.3.4 主题聚类方法的实现

3.3.5 主题聚类方法的评估

3.4 本章小结

第四章 基于自定义词典和深度学习的网络模型

4.1 自定义词典

4.1.1 word2vec词典的原理及实现

4.1.2 GloVe词典的原理及实现

4.1.3 词性词典的原理及实现

4.2 基于注意力机制的双向LSTM模型

4.2.1 LSTM模型的原理

4.2.2 双向LSTM模型的原理

4.2.3 注意力机制的原理

4.2.4 基于自定义词典和注意力机制的双向LSTM模型的实现

4.3 本章小结

第五章 实时微博舆情监测系统的设计与实现

5.1 需求分析

5.2 系统设计

5.2.1 系统功能模块设计

5.2.2 数据库设计

5.3 系统实现

5.3.1 爬虫模块的实现

5.3.2 缓存模块的实现

5.3.3 算法模块的实现

5.3.4 数据存储模块的实现

5.3.5 前端展示模块的实现

5.4 本章小结

第六章 性能评估及测试

6.1 实验环境及配置

6.1.1 硬件环境配置

6.1.2 软件环境配置

6.2 实验语料

6.2.1 训练词向量所用语料

6.2.2 微博情感分类所用语料

6.3 实验结果展示与分析

6.3.1 自定义词典模型的测试

6.3.2 基于注意力机制的双向LSTM模型测试

6.4 本章小结

第七章 总结与展望

7.1 总结

7.2 后续工作展望

致谢

参考文献

攻读硕士学位期间取得的成果