一种图说生成方法及装置

摘要

本发明提供了一种图说生成方法及装置。该方法包括：采用预先训练的卷积神经网络提取图文数据库中训练集的图像的全局特征；对图文数据库中训练集的图像对应的描述语句进行编码得到描述语句特征；将训练集的图像的全局特征以及描述语句特征输入至递归神经网络，对递归神经网络进行训练；根据递归神经网络的输出构建损失函数，根据损失函数对递归神经网络的参数进行优化；采用预先训练的卷积神经网络提取目标图像的全局特征，将目标图像的全局特征输入至递归神经网络，生成与目标图像对应的描述语句。本发明实施例采用递归神经网络作为语言模型，避免了现有技术生成的描述语句形式单一的缺陷，能够针对目标图像生成描述丰富、长短可变的描述语句。