基于模态表示空间和叠加自注意力的多模态情感分析方法

摘要

本发明提出了一种基于模态表示空间和叠加自注意力的多模态情感分析方法，用以解决现有方法在处理多模态数据时所面临的语义鸿沟等技术性问题；其步骤为：首先，从原始视频数据中分别提取文本、语音和图像三个模态的特征向量；并利用模态表示空间分割方法分别将三个模态的特征向量映射到情感表示空间和噪声表示空间，获取模态情感表示和模态噪声表示；其次，将获取到的模态情感表示传入叠加自注意力机制中，挖掘模态情感表示之间的关联信息并进行拼接；最后，在联合损失约束下将拼接后的模态情感表示传入情感预测分类层进行分类预测，输出最优情感预测值。本发明能够在进行多模态情感分析时跨越语义鸿沟，得到更加可靠的情感预测结果。