用于短文本情感分类的多头注意力记忆网络

摘要

本发明公开了用于短文本情感分类的多头注意力记忆网络，包括多跳记忆子网络，多跳记忆子网络包括多个顺次连接的独立计算模块，独立计算模块包括顺次连接的第一多头注意力编码层、第一线性层和输出层。本发明多跳记忆子网络中每个多头注意力编码层的输入包括原始记忆以及历史信息记忆，通过足够跳数的独立计算模块堆叠转换，使多头注意力记忆网络学习到文本内部蕴含更加复杂、抽象的非线性特征，对文本中的情感语义结构进行有效地编码。进一步地，输入多跳记忆子网络的原始记忆由多头注意力编码层的递归计算过程充分交互，使得文本特征间的远程依赖关系得到更成分的建模，进而挖掘出更高层次的上下文情感语义关系，以此提升模型的分类性能。