一种结合空间特征的图像注意力标注算法改进研究

摘要

针对图像标注和attention机制结合过程中特征选择不充分和预测过程中对空间特征权重比例不足的问题,提出了一种结合空间特征的注意力图像标注方法.首先通过卷积神经网络得到图像特征,特征区域与文本标注序列匹配;然后通过attention机制给标注词汇加权,结合空间特征提取损失函数得到基于空间特征注意力的图像标注;最后分别在Flickr30k和MS-COCO两个数据集上进行验证,通过可视化显示该模型如何自动学习显著区域并生成相应的词汇输出序列.实验结果表明,该方法能较好地提取注意力区域并给出标注,与其他模型对比能够得到更好的标注结果.