一种图说生成方法及装置

摘要

本发明提供了一种图说生成方法及装置。该方法包括：采用预先训练的卷积神经网络提取图文数据库中训练集的图像的全局特征和局部特征；对图文数据库中训练集的图像对应的描述语句进行编码得到描述语句特征；将训练集的图像的全局特征和局部特征以及描述语句特征输入至递归神经网络，对递归神经网络进行训练；根据递归神经网络的输出构建损失函数，根据损失函数对递归神经网络的参数进行优化；采用预先训练的卷积神经网络提取目标图像的全局特征和局部特征，将目标图像的全局特征和局部特征输入至递归神经网络，生成与目标图像对应的描述语句。本发明实施例充分考虑图像的全局特征和局部特征，提高了图说生成的精度。