基于伪标签学习和语义一致性的跨模态检索方法及系统

摘要

本发明公开了一种基于伪标签学习和语义一致性的跨模态检索方法及系统，所述方法包括：接收图像数据集和文本数据集，其中包括已标记的图像文本对以及未标记的图像数据；学习从图像空间投影到文本空间的投影矩阵，将所述未标记的图像数据投影到文本空间；计算已标记文本的类中心；根据未标记图像数据的投影数据与文本数据的类中心的相似度，为这些图像数据分配伪标签，并且将与其距离最近的类中心相应的文本数据作为对应的文本模态；将已标记的和分配伪标签的图像数据，以及对应的文本数据作为训练数据集，学习图像和文本投影到公共语义空间的投影矩阵；执行跨模态检索。本发明在训练数据集中引入未标记数据，能够获取更有效的投影矩阵。