一种基于ViLBERT和BiLSTM的图像描述方法

摘要

本发明提供一种基于ViLBERT和BiLSTM的图像描述方法，其特征在于，包括：将待描述图像进行特征提取处理并输入至图像描述模型中进行处理得到图片描述信息，其中，图像描述模型通过如下预先训练过程获得：获取训练图像集以及对应的图像文本信息；对训练图像集进行特征提取得到图像特征信息；通过文本处理transformer块对图像文本信息进行处理得到文本特征信息；对图像特征信息以及文本特征信息分别进行一个联合注意力transformer层处理，再分别经过一个transformer块处理以及分别经过加权处理模块处理得到图像特征；使用Att‑LSTM的输入数据以及上一层Att‑LSTM的输出，再使用Lan‑LSTM的输入数据以及上一层Lan‑LSTM的输出，最后输出将输入至softmax中得到对应的单词；使用交叉熵损失函数对图像描述模型进行训练。