一种基于模态观察和评分的多模态情感分析方法和装置

摘要

本发明公开一种基于模态观察和评分的多模态情感分析方法和装置，该方法包括：步骤一，获取不同模态原始数据，针对不同模态特点提取模态特征表示；步骤二，使用模态观察模块对各模态信息进行初步融合，获得模态融合权重和模态学习权重；步骤三，基于模态融合权重和单模态特征表示，构建多模态特征表示和多模态代理特征表示；步骤四，使用模态评分模块对多模态特征表示和多模态代理特征表示进行情感打分，结合模态学习权重，基于多任务学习框架完成情感分析模型的训练。本发明不仅能够完成多模态情感分析任务，也能够完成各个单模态情感分析任务，能够做到一次训练、多处使用，从而减轻训练负担，大大提升使用效率和多模态情感分析效果。