一种基于边界搜索智能体的时序动作片段分割方法

摘要

本发明公开了一种基于边界搜索智能体的时序动作片段分割方法。本发明方法首先对视频采样处理，获得视频帧图像序列，通过特征提取器获得视频帧单元编码序列，然后构建动作发现网络获得动作单元，通过生成的边界搜索智能体得到动作单元所属动作片段的时序边界。本发明利用动作发现——边界搜索两阶段模型对视频帧之间的时序关系进行刻画，使用执行——评判网络结构的边界搜索智能体建立评判模型用于衡量边界搜索策略的优劣，基于强化学习机制设计具有记忆功能的智能体对动作边界进行跳转式搜索，更符合人的记忆机制和搜索习惯，通过双向迭代检测方法定位动作片段的时序边界，大幅提升了时序动作片段分割的平均精度，提高动作片段所属类别的识别率。