基于改进的视觉注意力机制的图像描述方法

摘要

为了解决所生成的图像描述语句不准确的问题,提出一种基于注意力机制和强化学习的三层LSTM网络图像描述模型。首先使用ResNet-101网络提取图像的特征信息,再使用改进的三层LSTM网络模型生成描述语句。同时针对采用交叉熵损失函数对模型进行训练时存在的曝光偏差问题,使用强化学习方法直接优化CIDEr评价指标。MS-COCO数据集上的评价指标对比结果表明,文章提出的模型能够生成更符合图像内容的描述语句。