基于混合多头注意力和胶囊网络的特定目标情感分析

摘要

特定目标情感分析旨在判断上下文语境在给定目标词下所表达的情感倾向.对句子语义信息编码时,目前大部分循环神经网络或注意力机制等方法,不能充分捕捉上下文中长距离的语义信息,同时忽略了位置信息的重要性.本文认为句子的语义信息、位置信息和多层次间的信息融合对该任务至关重要,从而提出了基于混合多头注意力和胶囊网络的模型.首先,使用多头自注意力分别在位置词向量基础上对上下文长句子和在双向GRU基础上对目标词进行语义编码;然后,使用胶囊网络在语义信息交互拼接基础上进行位置信息编码;最后,在融入原始语义信息基础上,使用多头交互注意力对上下文与目标词并行融合的方法得到情感预测结果.在公开数据集SemEval2014Task4和ACL14Twitter上实验表明,本文模型性能较传统深度学习和标准注意力方法有显著提升,验证了模型的有效性和可行性.