一种基于注意力引导双向胶囊网络的多模态情感分类方法

摘要

本发明公开一种基于注意力引导双向胶囊网络的多模态情感分类方法。由于具有可训练的视点不变变换特性，胶囊网络目前在分析多模态学习的异质性问题上已经证明了它的有效性。在预处理阶段，本发明提供了多模态动态交互增强模块，在特征层面上显式地增强了跨模态同质性，这有利于模型在更加紧凑的局部公共空间内有效地执行多模态解耦过程。在此基础上，提出了基于注意力引导的双向胶囊网络(ABCN)，通过新的双向动态路由机制来探索全局多模态公共消息。然后，利用全局多模态上下文来指导多模态动态路由过程，同时研究每个模态的全局最优公共线索。这大大提高了学习效率，并提供了在所有模式之间架起桥梁的优越能力。