基于对抗学习的小样本跨模态检索方法

摘要

本发明提供一种基于对抗学习的小样本跨模态检索方法，涉及跨模态检索技术领域。本发明解决了现有的跨模态检索方法中对小样本数据检索精度低的不足，以及没有充分解决不同模态数据之间的异构性和语义鸿沟问题，首先对样本进行特征提取，图像模态是对图像进行三个尺度的多尺度特征融合，文本模态通过MLP处理BoW词袋向量，有效地挖掘了图像与文本模态之间的语义关联和语义信息。这个方法可以用于小样本的跨模态检索，但同样适用于常规的跨模态检索中。