一种基于多层次特征表示对齐的跨模态检索方法

摘要

本发明公开了一种基于多层次特征表示对齐的跨模态检索方法，涉及跨模态检索技术领域。本发明通过在跨模态细粒度精确对齐阶段，分别计算图像和文本两种不同模态数据之间的全局相似度、局部相似度和关系相似度，并融合得到图像‑文本综合相似度，在神经网络训练阶段，设计相应损失函数，挖掘跨模态结构约束信息，从多个角度约束和监督检索模型的参数学习，最后根据图像‑文本综合相似度获取测试查询样例的检索结果，从而通过引入图像和文本两种不同模态数据之间的细粒度关联关系，有效提高跨模态检索的准确率，在图文检索、模式识别等领域具有广泛的市场需求和应用前景。