一种基于注意力机制的双模态情感分析方法

摘要

本发明公开了一种基于注意力机制的双模态情感分析方法，使用了预训练的BERT模型和ResNet152模型进行文本和图片的信息编码，在得到文本编码和图片编码后先分别提取了文本模态和图片模态的局部信息和全局信息，充分考虑了模态内的高维特征对最终分类的积极作用。在模态间融合部分，本发明使用了双向注意力机制和门控多模态单元相结合的方式，考虑了图文模态之间双向的交互作用，从而提取到更多互补的信息。在模态间融合之后采取细粒度的特征提取，进一步对所拼接的特征进行过滤，剔除可能冗余的特征，得到更紧凑对情感极性更有益的细粒度特征表示，再对文本模态和图片模态进行加权拼接，从而提高了分类的准确度。