利用自适应的时空图模型通过提升视频-语言表征学习来解决视频问答问题的方法及其系统

摘要

本发明公开了一种利用自适应的时空图模型通过提升视频‑语言表征学习来解决视频问答问题的方法及其系统，属于视频问答文本生成领域。首先，针对一组视频、问题、答案训练集，使用目标检测器获取每个视频帧的目标级别的信息。其次，对于目标级别的信息，使用自适应的时空图模型学到目标的动态表达。最后，使用Transformer模型学习视觉和文本信息之间的联系，增强视觉问答的性能。相比于一般的视频问答解决方案，本发明利用了自适应的时空图模型更好地获取了目标的时空动态信息，同时试图将不同视频帧的相同物体联系起来，更好地捕获动态信息，并采用了图片‑语言数据进行预训练来提升视频‑语言模型，提升了解决视频问答问题的效果。