基于多头注意力机制的BiGRU-CNN文本情感分析

摘要

文本情感分析(Sentiment Analysis)当今已是自然语言处理(NLP)的热门研究领域和话题,该文提出一种基于多头注意力机制(Multi-head-Attention Mechanism)的双向门控循环网络(BiGRU)和卷积神经网络(CNN)的模型(Multi-head-Attention based on BiGRU-CNN model)。首先将文本用词向量表示,然后依次输入到BiGRU-CNN网络模型中得到本文的BiGRU全局特征和CNN局部特征;随后将BiGRU-CNN网络得到的特征输入到多头注意力机制层进行特征权重分配以获取文本有区分度且重要的特征信息;最后利用输出层中的Softmax函数对汽车评论文本进行情感极性分类。在汽车评论数据集中进行实验,准确率为90.76%,F1值为90.25%,实验结果与现有模型相比均有所提高。