一种基于结构化语义嵌入的图像内容自动描述方法

摘要

一种基于结构化语义嵌入的图像内容自动描述方法，涉及图像内容理解领域。包括以下步骤：获取文本解析树；构建视觉解析树；嵌入视觉解析树。通过对图像进行语义解析获得视觉语义结构树，获取关键的实体以及它们之间的关系，通过新的结构化的语义嵌入方法将关键的实体和它们的关系嵌入到神经解码器模型中，来引导文本的生成。解决了图像内容自动描述任务中注意模型的关键实体以及实体之间的关系被忽视的问题。在多数指标上都优于其他的方法，生成的图像内容的描述也比最流行的方法更为准确。