面向文本到视频片段定位的渐进式定位方法

摘要

本发明公开了一种面向文本到视频片段定位的渐进式定位方法，该方法包括：首先利用不同的特征提取方法分别提取视频和文本这两种模态的特征；接着渐近地选择不同的步长，多阶段地学习视频和文本之间的相关性；最后结合各个阶段的相关性损失，以端到端的方式训练模型。同时，通过条件特征更新模块和上采样连接让细时间粒度阶段融合粗时间粒度阶段的信息，使得不同阶段之间相互促进。不同阶段能关注不同时间粒度的片段，结合阶段之间的相互联系，使得模型能应对目标片段长度变化明显的情况。本发明借鉴人类在处理片段定位任务的思维方式，采用一种由粗到细的方式，多阶段、渐近地定位目标片段，在很大程度上提高了定位的性能。