一种结合BERT模型的图像描述生成方法

摘要

本发明提供了一种结合BERT模型的图像描述生成方法，首先提取图像的特征向量，对特征向量进行压缩、维度扩充，其次，用外部语料数据扩充词典，然后，将特征向量和词典输入基于端到端加入注意力机制的图像描述生成模型，生成弱语义描述语句A，最后，通过BERT模型对弱语义描述语句A进行语义调整，获取完整的图像描述语句。本发明通过对特征向量进行压缩与维度扩充，增强图像数据的特征表达含义；利用基于端到端并加入注意力机制的图像描述生成模型生成弱语义图像描述语句，同时对于词汇不足的问题采用应用外部语料数据扩充词典的方式，增强语义含义，使所生成的图像描述能更准确的表征图像的内容，具有更丰富的语义。