一种基于文本自编码器的视频内容描述方法

摘要

本发明公开了一种基于文本自编码器的视频内容描述方法。本发明方法首先构建卷积神经网络提取视频的二维和三维特征；其次，构建文本自编码器，即分别用编码器‑文本卷积网络提取文本隐空间特征和解码器‑多头注意力残差网络重构文本；再次，通过自注意力机制及全连接映射得到估计文本隐空间特征；最后，通过自适应矩估计算法交替优化上述模型，对新视频利用已构建的文本自编码器和卷积神经网络得到对应的视频内容描述。本发明方法通过文本自编码器的训练可充分挖掘视频内容语义和视频文本描述的潜在关系，通过自注意力机制捕捉视频长时间跨度的动作时序信息，提高了模型的计算效率，从而生成更符合视频真实内容的文本描述。