一种使用多层注意力网络机制解决视频问答的方法

摘要

本发明公开了一种利用多层注意力网络机制解决视频问答的方法。主要包括如下步骤：1)针对于一组视频，利用预训练好的卷积神经网络，获得帧级别及分段级别视频表达。2)使用问题单词级别的注意力网络机制，得到针对问题单词级别的帧级别及分段级别视频表达。3)使用问题级别的时间注意力机制，得到与问题相关的帧级别及分段级别视频表达。4)利用问题级别的融合注意力网络机制，得到问题相关的联合视频表达。5)利用所得联合视频表达，获取针对视频所问问题答案。相比于一般视频问答解决方案，本发明利用多层注意力机制，能够更准确地反映视频和问题特性，产生更加符合的答案。本发明在视频问答中所取得的效果相比于传统方法更好。