基于图神经网络结构建模的图像与文本检索方法

摘要

本发明公开了一种基于图神经网络结构建模的图像与文本检索方法，应用注意力机制表示图片、文本中抽取的细粒度视觉、文本元素可以更好地为计算图片、文本相似度；利用视觉、文本元素自适应地构建图结构，并用图卷积的方法更新特征，可以更好地考虑视觉、文本元素模态内和模态间的关系；在不同图片与文本对之间，视觉、文本元素对齐过程中引入约束机制，也有利于细粒度的文本元素对应到相应的图片区域，进而提高图片、文本层级相似度计算的可靠性，提高图片、文本检索的准确率。