基于LSTM的文本上下文依赖特征的表示方法研究

摘要

为了能够有效地从非结构性的文本数据中挖掘知识，研究将自然语言形式化为计算机输入信号的表示方法是文本意见挖掘任务的重点。基于深度学习的表示方法具有很强的特征学习能力，由该方法生成的文本表示具有连续、稠密和低维度的特征。在深度学习中，LSTM(Long Short-Term Memory)是长短期记忆网络，是一种特殊的循环神经网络模型(Recurrent neural network，RNN)。它不仅能够对具有时序特征的输入信号进行建模，还能够避免RNN在文本建模过程中发生梯度消散（或梯度爆炸）的问题。基于标准LSTM的表示方法对所有的输入特征一视同仁，并不能明显地表现出不同特征对特定研究任务的贡献程度，更为重要的是，该方法更侧重于学习文本上下文语义信息，而对上下文结构信息并没有很好的进行学习。本文所做的工作如下: 1)在对词语间上下文依赖特征信息进行建模的过程中，由于基于标准LSTM的文本表示方法未利用向量化的词性信息去强化文本上下文依赖信息，所以本文提出了一个基于注意力机制的双向LSTM的文本表示方法。本课题在自采集数据集和来自NLPCC&2014的开源数据集上进行实验，用以验证本方法的有效性。实验结果表明，本方法在两个数据集上所获得的情绪分类效果均优于基准模型。 2)在对实体方面和意见文本间上下文依赖特征信息进行建模过程中，由于标准注意力机制缺乏一个特征权重修正的过程，所以本文提出了一个基于两阶注意力机制的LSTM文本表示方法，用于建模实体方面和意见文本间的上下文依赖特征信息。为了测试本模型的有效性，本课题在来自SemEval&2016的开源数据集上进行实验。实验结果表明，本方法所取得的文本意见分类效果优于基准模型。 3)在对话题和意见文本间上下文依赖特征信息进行建模过程中，由于基于LSTM的表示方法缺乏从词语层面挖掘话题与意见文本间的依赖信息，所以本文提出了一个基于注意力聚合网络的文本表示方法。本课题在来自于SemEval&2016的英文立场数据集上进行实验，用于验证本模型的有效性。实验结果表明，本模型所取得的文本意见分类效果优于基准模型。

目录

声明

摘要

第1章绪论

1．1研究背景及意义

1．2国内外研究现状

1．3本文主要研究内容

1．4论文组织结构

第2章相关工作综述

2．1 词语分布式表示方法的相关研究综述

2．2基于深度学习的文本表示方法的相关研究综述

2．3本章小结

第3章基于注意力机制的双向LSTM的文本表示方法

3．1 前言

3．2基于注意力机制的双向LSTM的文本表示模型

3．2．1 输入层

3．2．2特征学习层

3．2．3特征权重学习层

3．2．4输出层

3．3 实验设计与实验结果分析

3．3．1评测数据描述

3．3．2评价指标

3．3．3模型超参数设置

3．3．4实验结果与分析

3．3．5注意力权重可视化与分析

3．4本章小结

第4章基于两阶注意力机制的文本表示方法

4．1 引言

4．2基于两阶注意力机制的文本表示模型

4．2．1 输入层

4．2．2特征学习层

4．2．3特征权重学习层

4．2．4交叉损失函数层

4．3实验设计与实验结果分析

4．3．1 实验准备

4．3．2实验结果与分析

4．3．3 实例分析

4．4本章小结

第5章基于注意力聚合网络的文本表示方法

5．1 引言

5．2基于注意力聚合网络的文本表示模型

5．2．1 输入层

5．2．2特征学习层

5．2．3特征权重学习层

5．3实验设计与实验结果分析

5．3．1 数据描述

5．3．2评测指标

5．3．3模型超参数设定

5．3．4实验结果与分析

5．4本章小结

结论

参考文献

攻读硕士学位期间所发表的论文

致谢