未对齐行为信息动态调整单词表示的多模态情感识别方法

摘要

本发明公开一种未对齐行为信息动态调整单词表示的多模态情感识别方法。本发明利用跨模态注意力机制，挖掘与文本模态相关的行为信息(由视觉是听觉模态组成)，然后利用行为信息来动态的修改文本模态中的单词在语义空间中的位置，从而得到经过多模态信息调整后的单词表示。同时，跨模态注意力机制能够在长距离范围内关注到与文本模态相关的行为信息，因此能够很好的解决多模态学习中存在的固有问题—各个模态信息之间的频率不匹配。其次，在此基础上构建若干个多模态Transformer层，能够进一步挖掘经过多模态信息调整后的单词表示在上下文环境中的高级特征信息，是对当前情感识别领域的多模态融合框架的有效补充。