一种基于图建模视觉信息的利用问题指导的视频问答方法

摘要

本申请公开了一种基于图建模视觉信息的利用问题指导的视频问答方法，包括：步骤1，获取训练视频的视觉特征和训练问题的问题特征，利用逐项积算法，计算时序注意力特征；步骤2，利用物体检测框架，计算训练视频的物体特征，并确定显式图建模特征；步骤3，利用时序注意力特征和显式图建模特征，进行第0维点乘运算，生成全局视频特征向量；步骤4，根据问题特征和全局视频特征向量，确定全局特征值，并根据全局特征值和训练问题对应的问题答案，更新显式图模型；步骤5，根据更新后的显式图模型，确定视频问题的问题答案。通过本申请中的技术方案，在时间和空间两个维度更加有效地挖掘视频信息，以提高视频问答任务的性能。