利用分层编码解码器网络机制来解决视频问答的方法

摘要

本发明公开了利用分层编码解码器网络机制来解决开放式长视频问答的方法。主要包括如下步骤：1)针对于一组视频、问题、答案训练集，训练自适应分层编码神经网络，基于问题和视频学习自适应分割机制以分割长视频，从而得到视频片段和问题的联合表达。2)对于编码完成的得到视频问题联合表达的神经网络的输出，再与相关答案，结合强化学习的思想，一起训练出解码神经网络，用来针对于视频和问题的联合表达输出对应的自然语言的答案。相比于一般的视频问答解决方案，本发明利用基于问题的自适应分层，能够更好地在长视频中锁定对于回答问题有利的片段，能够更好地反映视频的特性，同时利用了强化学习机制训练解码器，能够得到更加强大的解码器，并产生更加符合要求的答案。本发明在长视频问答问题中所取得的效果相比于传统的方法更好。