一种基于注意力机制和门控机制的图文检索方法和系统

摘要

本发明公开了一种基于注意力机制和门控机制的图文检索方法和系统，属于跨模态检索领域。本发明通过注意力机制快速筛选出有价值的信息，以获取更加精确的特征表达，在此基础上，为了使模态之间的对应关系更加显著，通过将两种模态的数据互相作为监督信息，并引入门控机制对另一模态特征进行进一步的调整，以尽可能多地过滤掉不必要的信息，保留语义丰富的部分，最终获得具有足够通用语义和准确注意力的图像特征，从而有效地提高跨模态检索模型的性能。