基于关键词指导的图像中文描述生成

摘要

图像描述生成技术可以加速图文内容的生产,因而有着广泛的应用前景。为了满足实际需要,我们提出了一种基于编码–解码框架的新方法。我们的模型通过融合图像和文本特征作为输入来指导图像描述的生成,文本特征包含图像的关键词信息作为图像特征的补充。实验结果表明,关键词信息加强了图像到图像描述的映射,本文模型比未融合关键词信息的模型具有更好的性能,并且不同的关键词信息对图像描述的生成有一定的控制作用。