基于目标空间语义对齐的视频描述方法

摘要

本发明公开了基于目标空间语义对齐的视频描述方法。本发明方法首先对含文本描述的采样视频帧提取外观特征和动作特征，将其拼接后输入到时序高斯混合空洞卷积编码器获得时序高斯特征；然后利用两层长短时记忆神经网络构建解码器，得到生成语句概率分布和隐藏向量；再建立语义重构网络并计算语义重构损失；利用随机梯度下降算法优化模型，对新视频依次通过上述步骤获得生成语句概率分布，用贪心搜索算法获得视频描述语句。本发明方法利用时序高斯混合空洞卷积对视频长期时序关系进行建模，并通过语义重构网络获得语句级的概率分布差异，能够缩小生成语句和视频内容的语义鸿沟，从而生成更准确描述视频内容的自然语句。