基于子空间稀疏特征融合的多模态情感识别方法及系统

摘要

本发明公开了一种基于子空间稀疏特征融合的多模态情感识别方法及系统，本发明方法包括获取多种模态的特征序列，并进行字级对齐和规范化处理、位置编码，然后输入对应的多分支稀疏注意力模块、分解至低维特征子空间得到低维特征，基于权重将所有低维特征在低维特征子空间进行级联，通过多分支稀疏注意力网络中训练得到融合后的多模态信息，再输入预先训练好的情感分类器，得到被识别对象当前的情感类别，所述情感分类器被预先训练建立了融合后的多模态信息、情感类别之间的映射。本发明通过考虑时序信息之间的关联稀疏性，将多模态信息分解至多个子空间中进行融合，能够捕获模态内和模态间的上下文信息，提升了多模态情感识别的准确率。