一种基于自然语言语义的图像目标检测方法

摘要

本发明公开了一种基于自然语言语义的图像目标检测方法，该方法的输入包括待检测图像以及待检测目标的自然语言短语描述，首先通过卷积神经网络计算待检测图像的全局特征图，然后将全局特征图输入RPN网络计算备选目标集，计算的备选目标集由RoI池化层提取备选目标的区域特征图，最后以图像全局特征图、备选目标区域的局部特征图和位置信息作为上下文结合查询短语的词向量表示作为LSTM模块的输入计算目标区域产生查询短语的条件概率，根据条件概率返回检测结果。本发明将自然语言处理模块LSTM模型融入到Faster‑RCNN框架中，利用Faster‑RCNN框架共享计算的特点与卷积网络在图像特征提取上的优势提高基于自然语言语义的目标检测效率与精度。