一种基于连贯性注意力机制及双流解码器的视频描述方法

摘要

本发明公开了一种基于连贯性注意力机制及双流解码器的视频描述方法，主要包括连贯性注意力机制算法和双流解码器视频描述生成算法。连贯性注意力机制对注意力机制本身进行再次建模，以提取注意力机制的时序特征构建注意力机制的连贯性；双流解码器视频描述生成算法在传统解码器的基础上设计添加了自学习解码器，用于利用先前生成单词的语义信息。通过本发明可以生成更连贯，语义更准确丰富的视频描述。