基于标签嵌入的多模态多标签情感识别算法

摘要

多模态情感分析目前是多模态分析和自然语言处理领域的研究热点,在商品推荐、智能客服等场景中具有广泛的应用。现有的方法在多标签场景下对标签间依赖性表示不充分,并且忽略了模态特征之间语义差距。对此提出了一种基于标签嵌入的多模态多标签情感识别算法,通过训练的标签嵌入向量捕获标签之间依赖关系,对模态特征添加约束减小模态之间的语义差距。实验结果显示,该算法在多模态多标签情感识别任务中在准确率和汉明损失指标上相较于现有方法有明显提升。