一种跨层多模型特征融合与基于卷积解码的图像描述方法

摘要

本发明提供一种跨层多模型特征融合与基于卷积解码的图像描述方法，涉及计算机视觉和自然语言处理领域。该跨层多模型特征融合与基于卷积解码的图像描述方法，包括以下步骤：S1.得到嵌入向量序列和最终文本特征；S2.计算得到视觉与文本融合匹配的注意力向量；S3.将注意力向量和文本特征向量和进行相加融合；S4.生成一个完整的描述句子。通过使用跨层多模型特征融合，有效弥补低层图像特征信息的丢失，从而获得更加细节的图像特征及学习到更加详细的描述句子，该模型能够有效提取和保存复杂背景图像中的语义信息，且具有处理长序列单词的能力，对图像内容的描述更准确、信息表达更丰富，值得大力推广。