基于局部-整体图推理网络的视频-段落检索方法及系统

摘要

本发明公开了一种基于局部‑整体图推理网络的视频‑段落检索方法及系统，属于跨模态检索领域，主要包括以下步骤：1）首先对视频和文本（段落）进行预处理。2）针对给定的视频和文本分别使用局部‑整体图推理网络进行编码，得到最终的视频特征和文本特征。3）使用余弦相似度计算视频特征和文本特征之间的相似度。4）根据相似度度量结果进行检索。相比于传统视频‑段落检索的方法，本发明提出将视频和文本分别分解为四层语义结构，并且分别构造成局部图和整体图，进而使用图卷积网络进行图推理操作，本发明在视频‑段落检索中所取得的结果相比于传统方法更好。