一种视频图像的语义信息提取方法及装置

摘要

本发明提供了一种视频图像的语义信息提取方法及装置，涉及视频描述及视频标注技术领域，首先按一定的帧间隔提取视频的帧序列，通过卷积神经网络提取每帧图像的特征向量，将该特征向量作为LSTM网络编码器的输入，该LSTM网络编码器的每一时间步的输出及LSTM网络解码器上一时间步的输出作为外部存储器EMM的输入，更新外部存储器EMM中的存储矩阵的内容；外部存储器EMM输出两个读向量，分别作为下一时间步解码和编码的一个输入向量。通过两个LSTM网络动态控制外部存储器EMM的读写，实现在编码阶段存储视频各帧图像的信息特征，在解码阶段通过预测单词的反馈，调整外部存储器下一时间步的输出，使得生成视频标注时可根据当前已经生成的单词序列调节上下文特征向量。