可生成依存树的图像描述生成方法和装置

摘要

一种可生成依存树的图像描述生成方法，所述方法包括对图像描述文本的依存树的三叉树进行建模，从输入的图像中提取出图像特征，然后基于所述图像特征生成所述三叉树的根节点，再生成所述根节点的三个孩子节点，以此类推，递归地生成每一个节点的三个孩子节点，由此生成三叉树，再将生成的三叉树转化成图像描述文本的依存树；较佳地，通过注意力模块在生成每个节点时动态地为每个局部图像特征分配权重。本发明中，节点生成的依赖路径较序列模型更短，且在生成过程中可优先生成重要的单词，生成模式与人类更为接近，达到了高于基准模型的表现。