基于跨模态记忆对比指称表达理解的多模态目标检测方法

摘要

本发明提供一种基于跨模态记忆对比指称表达理解的多模态目标检测方法，其采用具有较强表达力的Transformer网络去融合视觉与语言特征，利用多模态特征编码来捕获长范围的句子以及图像中目标信息。同时，建立整个数据集中目标关系记忆存储机制，通过建模多模态记忆增强与更新过程，利用整个数据集中图像间目标相关的记忆特征去增强当前数据集的多模态特征，从而实现本发明提出的跨模态记忆对比的Transformer指称表达理解。基于跨模态记忆对比的Transformer指称表达理解所提取的特征在拉大与其他干扰特征的距离的同时，有效地拉近了当前图像与句子的目标特征与整个数据集的同类别目标特征之间的距离，提升特征的判别性与鲁棒性，进而提高指示表达理解的目标检测精度。