基于多通道张量池化的多模态深度分层融合情感分析方法

摘要

本发明涉及基于多通道张量池化的多模态深度分层融合情感分析方法。基于注意力机制方法，可以对多模态数据设定相应权重，划分不同模态数据的重要程度，从而根据不同模态数据对任务的不同贡献程度，在融合部分放大贡献程度大的多模态数据在交互时的作用。而相对于单通道多项式张量池化模块，多通道多项式张量池化模块能够从细粒度层面获得鲁棒性高的局部高维度复杂非线性交互信息。本发明在判定多模态数据重要程度基础上，能从细粒度层面刻画稳定的局部高维复杂动态交互信息，是对当前情感识别领域的多模态融合框架的有效补充。