一种混合融合模型的跨模态图像文本检索方法

摘要

本发明公开了一种混合融合模型的跨模态图像文本检索方法，在早期融合结构中，首先结合局部的视觉区域特征和文本的原始全局特征，以获得一个统一的跨模态融合表征，再以融合特征为输入，在随后的嵌入网络中增强局部视觉特征和语言信息之间的交互；与此同时，以传统的晚期融合结构为基础，将原始图像和句子特征分别输入到视觉和文本编码器中进行模态内特征增强，丰富各自模态的语义信息；最后，整个网络相似度是早期融合相似度和晚期融合相似度的加权线性组合，从而实现了早期融合在跨模态学习层面和晚期融合在模态内学习层面的互补，完成图像和文本模态之间的潜在对齐。