一种利用跨模型交互网络解决以问题为基础的视频片段抽取任务的方法

摘要

本发明公开了一种利用跨模型交互网络解决以问题为基础的视频片段抽取任务的方法。主要包括如下步骤：1)针对问题语句与视频帧，利用语义图像卷积网络、多头自注意力模块、与多步骤跨模型交互模块获取视频帧的跨模型语义表达。2)对获得的视频帧的跨模型语义表达，计算损失函数并训练模型，利用训练后的跨模型交互网络，对视频进行以问题为基础的片段抽取。相比于一般的视频片段抽取解决方案，本发明对多种有效信息进行综合利用。本发明在以问题为基础的视频片段抽取任务中所取得的效果相比于传统的方法更好。