基于LSTM和LDA模型的患者情感分析研究

摘要

随着互联网医疗的发展，平台上出现大量的患者留言文本。通过患者留言的文本挖掘，分析出患者的情感信息，对患者和医院有重要的意义。本文主要从两个方面对患者留言文本进行研究，第一，基于深度分层神经网络的情感极性分类研究，第二，基于LDA模型的情感主题分类研究。 主要的创新成果如下: (1)提出了基于卷积神经网络(CNN)模型和长短期记忆(BLSTM)模型的双道融合层。传统融合的方式，将CNN模型和LSTM模型训练出的词向量进行简单向量拼接，缺点是模型在多特征信息的句子训练时，分析出的情感结果常常被非特征方向的信息影响。双道融合层引入权重矩阵，使得改进后的LSTM模型在训练时，在CNN模型分类出的特征向量方向的情感信息被放大，而在非特征向量方向的情感信息被削弱。实验证明，双道融合层对多特征信息的句子的情感分类更加准确。 (2)提出了深度分层网络模型。CNN模型和BLSTM模型在情感极性分类领域擅长的方向不同，CNN模型不善于处理时序信息，却在短文本的情感极性分类中表现效果好，而BLSTM模型擅长处理时序信息，但是不能处理好短文本的情感极性分类。改进后的模型分为区域CNN层、BLSTM词语层两层输入，保留语料中的时序信息和特征信息。最后，通过双道融合层进行词向量的拼接，实验证明，新的模型比改进后的模型准确率增加了7.84％，召回率增加了3.35％，F1值增加了2.45％。 (3)提出了词向量替换层。针对短文本的主题模型分类会出现上下文依赖性差和词汇量不足的问题，实验对比了词嵌入模型和词袋模型，提出利用词嵌入模型训练出符合整篇文章主题的词向量空间，目的是补充短文本情感主题分类时的词汇量，同时，解决短文本的上下文依赖性差的问题。 (4)提出改进的LDA模型。针对LDA模型进行短文本分类时，吉布斯采样层的采样词汇单一的问题，提出在吉布斯采样层以一定概率λ从词向量替换层采样余弦距离最近的词向量，并通过调参，获得最优的概率λ。实验证明，改进LDA模型模型的困惑度下降了1.42％，主题一致性增加了3.75％。

目录

声明

摘要

第一章绪论

1．1研究背景和意义

1．2国内外研究现状

1．2．1情感分析研究现状

1．2．2情感极性分类研究现状

1．2．3情感主题分类研究现状

1．2．4国内外研究现状总结

1．3主要研究内容和总体研究框架

1．4论文组织结构安排

第二章相关理论基础

2．1文本预处理

2．2文本深度表示模型

2．2．1基于矩阵和聚类模式

2．2．2基于神经网络模式

2．3情感极性分类模型

2．3．1基于深度神经网络模型(DNN)

2．3．2基于卷积神经网络模型(CNN)

2．3．3基于朴素贝叶斯模型(NB)

2．3．4LSTM模型

2．4主题分类模型

2．4．1一元模型

2．4．2PLSA模型

2．4．3隐含狄利克雷分布模型(LDA)

2．5实验评测指标

2．6本章小结

第三章基于深度分层神经网络的情感极性分类研究

3．1引言

3．2基于LSTM递归神经网络的处理流程

3．3基于双道融合层的情感极性分析

3．3．1CNN模型和LSTM模型对比

3．3．2模型的特点

3．3．3构建双道融合层

3．3．4存在不足

3．4改进的深度分层网络模型

3．4．1构建改进的深度分层神经网络模型

3．4．2改进的深度分层神经网络模型分类算法

3．5总结

第四章基于LDA模型的情感主题分类研究

4．1引言

4．2基于主题模型的的处理流程

4．3基于词替换层的情感主题分析

4．3．1语料分析和模型对比

4．3．2模型的特点

4．3．3构建替换词向量模型

4．4改进的LDA主题模型

4．4．1构建改进的LDA模型

4．4．2模型优化

4．4．3模型调参

4．5本章小结

第五章实验设计与结果分析

5．1实验介绍

5．2实验数据

5．3基于深度分层神经网络的情感极性研究

5．3．1参数设置

5．3．2模型对比

5．3．3模型训练时间分析

5．4深度分层神经网络模型的分类结果

5．5基于改进LDA的主题模型研究

5．5．1参数设置

5．5．2模型对比

5．5．3模型的训练时间分析

5．6改进的LDA模型分类结果

5．7情感分析可视化

5．8本章小结

第六章总结与展望

6．1全文总结

6．2展望

参考文献

攻读学位期间的研究成果

致谢