基于双向单注意力机制图像描述方法

摘要

本发明涉及图像描述领域，具体是一种基于双向单注意力机制图像描述方法。基于双向单注意力机制图像描述方法，图片经过卷积神经网络提取图像特征；将卷积神经网络最后一层卷积层的图像特征作为注意力机制的输入，输入到含有注意力机制的双向长短期记忆网络中；前向长短期记忆网络中，注意力机制得到上一次的隐层状态和图片特征，输出图像的显著信息；同样在后向网络中，隐层状态和图片特征一起预测得到显著信息；显著图像信息和都分别作为前向和后向长短期记忆网络的输入，整合前向和后向的隐层状态与，双向注意力网络在同时获取前向和后向的图像显著信息与隐层状态，产生图像描述。