一种图像描述模型的训练方法及训练装置

摘要

本申请公开了一种图像描述模型的训练方法及训练装置。所述训练方法包括：针对图文对训练集中任一候选图像，首先输入词粒度训练后的图像描述模型得到候选预测文本，然后将候选图像和候选预测文本输入预训练的图文匹配模型确定图文相似度后，再将候选预测文本和候选标注文本的CIDEr与图文相似度按照预设比例相加，得到当前奖励值，根据当前奖励值获取参数更新梯度，进而完成词粒度训练后的图像描述模型在句子级别的微调。整个训练方法利用强化学习的方法把预训练的图文匹配模型与图像描述模型联系起来，使得训练后的图像描述模型能够生成与实际图像匹配程度较高的预测描述文本，可以提高图像描述模型的预测精度。