一种同步语义和视觉信息的并行LSTM图像描述生成方法

摘要

本发明公开了一种同步语义和视觉信息的并行LSTM，以及基于该并行LSTM的图像描述生成方法。该方法提出一种同步语义和视觉信息的并行LSTM，通过MIML和ResNet101分别提取属性特征以及视觉特征，并将属性特征和视觉特征作为并行LSTM的输入，在此基础上生成图像的描述语句。并行LSTM结构包含同步进行数据处理和信息传递的属性LSTM和视觉LSTM。属性LSTM的初始化输入为属性特征，通过迭代得到每一个时间步的隐藏层状态，将其视为动态语义特征。视觉LSTM则通过注意力机制，在每一个时间步动态融合属性LSTM输出的语义特征和自己产生的视觉特征，为下一个时间步提供更丰富的信息。这种同步的信息融合方式，使得该方法能在每个时间步同步关注重要的语义和视觉信息，从而产生更为准确的图像描述语句。