基于卷积神经网络的视频描述方法及装置

摘要

本发明实施例提供一种基于卷积神经网络的视频描述方法及装置，针对待描述视频提取出视觉特征序列后，将该视觉特征序列输入至编码器，由编码器对视觉特征序列进行计算，得到待描述视频的各视频帧的状态向量，然后根据各状态向量确定出平均池化结果并输入至解码器，由解码器根据平均池化结果生成与待描述视频相对应的描述结果。该过程中，利用基于卷积神经网络的编码器‑解码器对待描述视频进行描述，以得到符合人类自然语言且不呆板的描述结果，从而提升视频描述结果。基于卷积神经网络的编码器的前向卷积结构使得计算能够并行化，能够对待描述视频的长序列依赖关系进行建模，解码器能够避免递归神经网络容易出现的梯度弥散和爆炸问题。