基于深度监督的学习结构应用于跨模态图文检索领域,弥补了不同数据模式之间的异质性差异,通过端到端的方式同时保持语义鉴别和模态不变性,有效地学习异构数据的共同表示.本文构建了图像和文本双模态CNN神经网络模型,对损失函数进行改进,优化神经网络模型训练学习过程,以监督网络学习跨模态转换函数.在Pascal sentence数据集的基础上,增加了5种不同类别的图文内容,通过训练数据集调整神经网络模型参数,保存最优模型.实验结果表明,改进算法的图文匹配正确率最高达到了98.2％,通过改进损失函数将算法的平均精度值MAP(Mean average precision)提升到了0.716,较传统深度学习ACMR算法的MAP提高了6.2％,证明本文改进的算法有效提高了跨模态图文检索匹配的精度.
展开▼
