基于层次化自制力机制胶囊网络的文本情感分类模型

摘要

针对胶囊网络和层次化注意力网络的不足，提出了基于层次化自注意力网络和胶囊网络的混合神经网络。本发明的目的是为了融合胶囊网络、层次化模型和注意力机制各自的优势，在层次化注意力网络中引入自注意力机制来增强模型的特征表达能力同时减少外部参数依赖，使模型能够学到更多的文本自身关键特征。使用层次化自注意力网络从单词、句子两个层次对文本进行情感建模，同时选择性地关注文本中重要的单词和句子。使用胶囊网络编码文本间部分与整体的空间关联关系，提取更丰富的文本情感特征，融合两者优势提升分类性能。

说明书

技术领域

本发明属于自然语言处理领域，应用于情感分析任务。

背景技术

一、名词解释：1.文本情感分析(SentimentAnalysis)：是指利用自然语言处理和文本挖掘技术，对带有情感色彩的主观性文本进行分析、处理和抽取的过程。

2.胶囊网络(convolutionalneuralnetworks)：2017年，Hinton团队提出胶囊网络，首次将标量型网络扩展到矢量，并运用动态路由算法进行胶囊之间的传递计算。最早被用于图像处理领域，后来被用于自然语言处理任务中，如用于文本情感分类，相较于卷积神经网络保留了更多的文本语义信息。

3.双向GRU网络(Bidirectional Gated Recurrent Unit)：为了解决标准RNN(循环神经网络)的梯度消息问题，GRU使用了更新门(update gate)与重置门(resetgate)。这两个门控机制的特殊之处在于，它们能够保存长期序列中的信息，且不会随时间而清除或因为与预测不相关而移除。

4.自注意力机制(self-attention Mechanism)：源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息；后来有人把这个思想运用到图像处理和自然语言处理当中，并取得了不错的效果，引入自注意力机制的目的是为了更好地关注那些对情感分类重要的单词。

二、现有技术：1.(1)基于RNN的文本情感分类方法：Socher等使用树形结构的LSTM(长短期记忆网络)网络来改善语义表示，其中的记忆单元能够保存实例之间的联系，从而捕获单词之间的关系；Cho等提出了GRU单元，相较于LSTM模型参数更少，训练更为快速，能够捕获全局语义特征。(2)层次化神经网络与注意力机制结合的情感分析方法：Tang 等建立理论一种层次化模型，使用卷积神经网络和LSTM从词和句子两个角度获取篇章的特征表示。Yang等将注意力机制与层次化模型相结合，利用注意力机制分别关注句子中的关键词和篇章中的关键句子。(3)胶囊网络：2011年，GeoffreyHinton等在一篇名为《变换自动编码器》的论文中首次引入胶囊网络。2018年，Zhao等首次提出将胶囊网络应用于文本分类任务中，在多个数据集上分类性能超越了一般神经网络模型。同年，Kim等根据文本属性提出了基于静态路由机制的胶囊网络，有效降低计算复杂度的同时提高了分类性能。

2.CapsNet模型：该模型将胶囊网络应用于文本分类任务，模型包含以下四层：输入层，将文本以词向量形式输入至网络中；卷积层，该层使用了卷积控制模块，该思想来源于循环神经网络LSTM和GRU的门控机制，目的是筛除噪音信息，更好的提取文本局部特征；卷积胶囊层：由于文本的高度可变性，该层将传统动态算法改进为静态路由算法，得到文本的全局语义特征；分类胶囊层：输出文本的预测标签。

3.层次化注意力模型：此类方法多以循环神经网络模型为基础，结合注意力构建层次化的模型。模型从词语、句子两个层次对文本进行建模，使用循环神经网络对文本进行特征提取，注意力机制分别关注重要的单词和句子，最后对文本进行分类。

三、技术问题：1.虽然胶囊网络在一定程度上改进了传统卷积神经网络的弊端，但本质上仍是通过卷积运算提取文本局部特征，不能选择性关注文本中重要单词，并且由于不能编码远距离依赖关系，在识别语义转折的文本时有很大的局限性。层次化注意力模型中，注意力机制需要较多的参数依赖，无法使模型更多的关注文本的内部序列关系。

2.针对胶囊网络和层次化注意力网络的不足，本发明的目的是为了融合胶囊网络、层次化模型和注意力机制各自的优势，在层次化注意力网络中引入自注意力机制，减少外部参数依赖，使模型能够学到更多的文本自身关键特征。使用层次化自注意力网络学习文本的全局语义特征，同时关注文本中重要的单词和句子，使用胶囊网络学习文本间部分与整体的空间关联关系，从而有效的提高模型的分类性能。

发明内容

1.针对胶囊网络和层次化注意力网络的不足，本发明的目的是为了融合胶囊网络、层次化模型和注意力机制各自的优势，在层次化注意力网络中引入自注意力机制，减少外部参数依赖，使模型能够学到更多的文本自身关键特征。使用层次化自注意力网络学习文本的全局语义特征，同时关注文本中重要的单词和句子，使用胶囊网络学习文本间部分与整体的空间关联关系，从而有效的提高模型的分类性能。

2.本发明的技术创新点是：(1)设计了一种基于层次化自注意力网络和胶囊网络的混合神经网络，利用胶网络编码文本中部分与整体的关系从而提取更丰富的语义特征信息，同时利用层次化自注意力网络从单词、句子两个层次提取上下文信息，融合两者优势提升分类性能；(2)在层次化模型中引入自注意力取代传统注意力，减少外部参数依赖的同时，捕获文本内部依赖关系，关注重要单词和句子，增强模型的特征表达能力；

附图说明

图1是层次化自注意胶囊网络模型结构图。

具体实施方式

附图为本发明的模型结构图，主要由两个模块构成：层次化网络模块，由以双向GRU网络和自注意力为基础的层次化网络组成，使用BiGRU学习文本上下文信息，自注意力捕获重要的单词和句子特征；胶囊网络模块，由卷积胶囊层和分类胶囊层组成，基于层次化网络模块输出的文本表示，对文本语义、结构信息进行编码，学习文本间部分与整合的关联特征信息，最后分类。层次化网络模块中根据各层次的不同功能，本模型将该模块分为五层：词嵌入、词级别编码层、词级别自注意力层、句级别编码层、句级别自注意力层。词嵌入：文本进行词嵌入映射得到连续低维的实值向量用于表示词语的语义信息。该模型使用Glove预训练词向量，将文本中的词语映射成为300维的词向量矩阵，建立表示文本的初始特征矩阵，作为模型的输入X。词级别编码层：以词X为特征提取对象，使用BiGRU对文本进行特征采集，得到文本的全局语义信息hit。词级别自注意力层：使模型能够关注文本中的重要信息，在权重调整层采用自注意力给每个词语赋予不同的权重来表示对句子的贡献程度，最终得到句子序列表示Si。句级别编码层：以句子Si为特征提取对象，同样使用 BiGRU对文本进行特征采集，得到句子中的隐藏特征hi，句级别自注意力层：赋予每个句子不同的贡献度来衡量句子对文本的重要性，得到最终的句子表示V。胶囊网络模块中将句子表示V输入卷积胶囊层通过动态路由算法学习文本间部分与整体的空间关联关系得到高级特征表示Vout。最后分类胶囊层进行归一化处理，完成文本情感分类任务。