基于注意力反馈机制的图像自动语句标注方法

摘要

本发明涉及一种基于注意力反馈机制的图像自动语句标注方法，包括：构建输入数据，给定一系列的图像χ＝{x1，x2，...，xN}作为训练集，其中N是样本数量；图像xi对应的语句表述为si＝{si，1，si，2，...，si，T}，T代表句子Si的长度；构建CNN‑RNN模型，进行正向文本成：从生成的文本中提取关键词注意力反向矫正图像注意力：利用上述从文本中提取出的关注特征，对原本的图像关注特征进行注意力矫正。能够解决注意力机制在图像自动语句标注过程中的注意力分散问题及生成语句错乱的问题，采用反馈式CNN‑RNN结构，利用反馈机制将生文本中的关键信息反向传给图像，将有利于在提取图像特征的过程中，更加关注文本中的信息所对应的显著目标，从而有利于使得图像关键信息和文本关键信息更加匹配。