基于受限文本空间的多步自注意力跨媒体检索方法及系统

摘要

本发明公布了一种基于受限文本空间的多步自注意力跨媒体检索方法及检索系统，通过构建相对固定的词汇表的受限文本空间，再将非受限文本空间转换成受限文本空间；通过特征提取网络提取受限文本空间的图像特征和文本特征；特征包括全局特征、区域特征集合及关联特征；将提取得到的特征送入特征映射网络，并通过多步自注意力机制提取图像和文本之间物体层次的共享信息；再通过相似性度量网络汇总各时刻有用信息来衡量图像和文本之间的相似度，并计算三元组损失函数；由此实现基于受限文本空间的多步自注意力跨媒体检索。本发明通过引入多步自注意力机制和关联特征，大幅度提升了跨媒体检索召回率。