一种基于Transformer和多任务学习的多模态情感分析方法及系统

摘要

本发明提供了一种基于Transformer和多任务学习的多模态情感分析方法及系统。该方法包括，提取得到文本数据对应的第一模态、视频数据对应的第二模态和音频数据对应的第三模态；主任务：采用映射Transformer编码器，从三种模态中随机挑选两种模态，将挑选的两种模态映射到未被挑选的模态中，得到三个映射特征；采用Transformer解码器对三个映射特征进行处理，得到三个特征向量，将三个特征向量进行拼接，得到三模态融合特征；根据三模态融合特征预测主任务的情感极性；辅助任务：基于所述三个映射特征，依据设定的积极情感中心和消极情感中心，确定三个映射特征的标签，结合所述三个映射特征预测情感；基于主任务得到的情感极性和辅助任务得到的情感，得到情感分析结果。