一种基于渐进图注意力网络的视频问答方法

摘要

本发明公开了一种基于渐进图注意力网络的视频问答方法，其中，采样一种新颖的渐进图注意网络，以渐进的方式探究了在目标层次、视频帧层次和视频片段层次的多种视觉交互。在该渐进图注意网络当中，目标层次的图结构主要用于获取相同帧或者不同帧中目标之间的时空关系，视频帧层次的图结构探究了视频帧之间的相互关系，而视频片段层次的图结构构建了其中不同动作之间的时序关系。同时，本发明也使用了注意力机制去关注与问题相关的图顶点和边，并且用一种渐进的方式连接这些不同层次的图特征。用这样的方式，每一个图都能基于视觉相关性关注到它的时空邻接顶点和更细粒度的视觉内容。这样提高了预测问题的答案的准确性。