利用多重交互注意力机制解决视频中对象关系问答任务的方法

摘要

本发明公开了一种利用多重交互注意力机制解决视频中对象关系问答任务的方法，包括如下步骤：针对于一段视频，获得帧级别视频特征；获得视频中对象的位置特征和外观特征；使用多重交互注意力机制，学习得到输入问题的表达；计算时空关系矩阵；使用多重交互注意力机制，学习得到针对问题的帧级别视频表达；使用多重交互注意力机制，学习得到与问题相关的对象关系表达；在之前得到的帧级别视频表达和对象关系表达基础上，获取问题的答案。相比于一般视频问答解决方案，本发明利用新型注意力机制，能够更准确地反映视频中对象的关系，产生更加贴切的答案。本发明在视频问答中所取得的效果相比于传统方法更好。