基于语义分割和多层注意力框架的视频字幕生成方法

摘要

本发明涉及基于语义分割与多模态注意力模型相结合的视频多字幕生成方法，包括：步骤1、从要生成字幕的视频中提取多帧图片；步骤2、利用全卷积实例感知语义分割模型，从视频提取某一反卷积层的特征信息；步骤3、提取视频的运动特征以及音频特征；步骤4、利用全卷积实例感知语义分割模型，从在步骤1中提取的图片中提取属性标签，其中，属性标签包含每帧图片中的物体信息；步骤5、并根据在前述步骤中提取的各个信息，生成不同模态的上下文矩阵，并对不同模态的上下文矩阵进行分层融合，生成融合后的上下文矩阵；步骤6、经由LSTM，通过多层感知机处理，得到作为字幕组成部分的单词；步骤7、将得到的所有单词进行串联组合，产生最终的字幕。