基于多层注意力机制的跨模态检索模型的构建方法及应用

摘要

本发明公开了一种基于多层注意力机制的跨模态检索模型的构建方法及应用，包括：S1、搭建跨模态检索模型；S2、计算图像模态和文本模态间的不变性损失、标签空间损失、以及公共表示空间中不同模态间和各个模态内的判别损失，加以不同的权重，得到跨模态检索模型的损失函数；S3、通过最小化跨模态检索模型的损失函数对跨模态检索模型进行训练。本发明在训练过程中，通过考虑不同模态之间的相互影响，分别对各图像文本数据对基于多层注意力机制学习其文本特征和图像特征内细粒度的上下文局部信息，以及学习其文本特征和图像特征之间的全局特征对应关系，充分利用了原始数据中的语义信息，将多模态特征进行融合，大大提高了跨模态检索的准确度。