一种基于擦除机制的弱监督视频片段检索方法和系统

摘要

本发明公开了一种基于擦除机制的弱监督视频片段检索方法和系统，属于视频片段检索领域。本发明针对视频‑查询语句，分别获取语言特征和帧特征；构建语言感知的双分支视觉过滤器，产生增强视频流和抑制视频流；构建基于动态擦除机制的双分支共享候选网络，产生积极候选片段和消极候选片段；在候选网络的增强分支中引入动态擦除机制，并计算增强分数和抑制分数；采用多任务损失对语言感知的双分支视觉过滤器和基于动态擦除机制的双分支共享候选网络进行训练，得到训练好的模型；针对待处理的查询语句和视频，利用训练好的模型，将增强分支输出的最高候选分数对应的片段作为最终检索结果。本发明增强了视频句子的匹配能力，提高了视频检索的性能。