基于双向注意力机制图像描述方法研究

摘要

大多数图像描述任务中每个单词的生成都依赖于图像全部信息和生成的上文信息,其中包括许多无关的图像信息,而且没有学习下文信息.为解决该问题,提出了一种双注意力机制,先使用上一次的图像显著信息与词向量一起预测当前的隐层状态,再使用当前的隐层状态预测当前图像显著信息.将双注意力机制与双向长短期记忆网络结合起来构成双向双注意力网络,并与卷积神经网络共同构成图像描述系统框架.该框架首先采用卷积神经网络提取图像特征,然后将图像特征输入到含有注意力机制的双向长短期记忆网络中,双向双注意力网络同时获取前向和后向的图像显著信息与隐层状态,产生图像描述.在数据集Flickr30k与MS COCO上进行模型训练与测试.结果表明,模型分别与只含有注意力机制和只含有双向循环神经网络模型相比,图像描述准确率获得了提高.