基于复式协同结构特征重组网络的多模态数据融合方法

摘要

本发明提供一种基于复式协同结构特征重组网络的多模态数据融合方法。针对现有多模态数据融合技术主要是特征直接融合而忽视了模态与模态间的双向交互，存在多模态融合时特征间语义鸿沟的问题，本发明利用深度神经网络提取图像及文本单模态特征，建立基于transformer机制的图文双向交互注意力模型，挖掘图像和文本之间的特征联系，进行多模态的语义关联，并引入复式协同结构网络加深模态之间交互信息的贯通，进行多模态深层融合下的特征双向重组，实现图像与文本语义空间的对齐，更好地适应了神经网络对不同模态间互补信息的搜寻，增强模型对多模态语义的理解和泛化能力，进一步提高多模态特征网络的分类准确度。