融合情感资源的多模态情感分析模型

摘要

本发明公开了情感分析技术领域的融合情感资源的多模态情感分析模型，包括：用来进行文本、视觉与听觉模态特征初步提取的单一模态特征提取层模块，利用Transformer捕捉模态内部的动力，并设计情感词分类预测任务进行情感嵌入学习和提取的单一模态特征深度提取层模块，利用情感嵌入来完成多模态特征交互学习，使得其他模态特征能够感知文本中情感信息的跨模态交互学习层模块，将前三层学习到的情感特征表示最终输入深度神经网络完成最终预测任务的预测层模块，首个将情感资源作为主导信息来进行多模态情感分析的模型，设计了一种情感词分类预测任务进行情感知识学习，相较于现有的多模态情感分析方法，本申请的方法具有明显优势和较好的泛化性。