一种生成描述图像内容的自然语言的方法与系统

摘要

本发明提供了一种训练用于生成描述图像内容的自然语言的模型的方法，以及采用所述模型生成描述图像内容的自然语言的方法。其中，所述训练方法，包括：A1)将图像训练集中图像的全局特征以及局部特征作为注意力机制的输入，以获得同时包含全局特征以及局部特征的融合的结果；A2)将所述融合的结果和单词训练集作为长短记忆网络的输入，利用损失函数对所述注意力机制以及所述长短记忆网络进行训练，获得所述注意力机制的权值以及所述长短记忆网络的权值；其中，所述损失函数是已知图像的内容、以及描述所述图像内容的自然语句中前一个或多个单词时第i个单词的条件概率的函数，i＝1,…i_max。