基于深度级联跨模态相关性的细粒度草图图像检索方法

摘要

本发明属于跨媒体检索技术领域，具体为基于深度级联跨模态相关性的细粒度草图图像检索方法。本发明系统包括：深度多模态表示模块、深度多模态嵌入模块、深度三元组排序模块；深度多模态表示模块通过计算图像和文本在特征空间的高维映射，获取手绘草图、图像和图像文本描述的特征；深度多模态嵌入模块将不同模态的特征嵌入同一个高维向量空间，挑选出与查询草图具有较高相似性的候选集样本；深度三元组排序模块根据提取的多模态特征，对候选集样本进行排序优化，并输出与查询草图所对应的图像。本发明充分利用手绘草图和带有文本描述图像中的所有多模态信息，可以提高图像检索的效率，提升检索结果中前K个排名的有效性。