基于双分支制衡互学习的图文检索方法、系统及存储介质

摘要

本发明公开了一种基于双分支制衡互学习的图文检索方法及系统，所述方法利用特征生成模型生成图像、文本的特征向量，特征生成模型包括互相指导学习的第一分支特征生成模型和第二分支特征生成模型，利用模态区分模型区分输入的模态，利用正反例组合损失函数和相似度正则极小化损失函数指导含有双分支的特征生成模型和模态区分模型参数的交替更新，用第一分支特征生成模型生成的特征进行相似度计算，相似度最高的为检索结果；本发明将图像、文本通过双分支的特征生成模型映射到公共空间，利用制衡互学习缩小图片和文本模态之间的异构差距，并通过对损失函数的优化，提高相似度运算准确度，拉大正反例之间的距离，从而更准确地得到检索结果。