基于深度学习的视频运动目标检测与搜索

摘要

检测和搜索视频中的目标是计算机视觉领域的重要任务之一，其主要难点在于如何运用深度学习等算法来分析出视频中目标的位置以及如何根据查询条件搜索到视频中准确的目标。近年来传统的深度学习算法对于单张静态图片的识别以及文本描述生成取得了较大的进展，但仍然不能满足视频中目标的检索要求。 本学位论文以检测与搜索出视频中的目标物体为研究目标，首先提出一种基于边界概率卷积神经网络模型的目标定位检测算法来识别与定位视频中的目标，再通过一种基于时空双流特征融合的3D卷积神经网络完成视频中人物的动作检测，最后通过一种基于循环神经网络（GRU）模型的自然语言目标搜索算法来完成视频中的目标搜索。此外，本文在图像的目标检测数据集PASCAL VOC上完成目标的定位检测实验，在人物动作数据集UCF-101和HMDB51上完成视频人物动作检测实验，在目标标注数据集ReferIt上完成视频目标的自然语言搜索实验。实验结果证明，本文提出的基于深度学习的目标检测与搜索算法在一定的程度上改进了已有的方法。 本文的工作创新主要体现在以下三个方面： （1）利用一种基于目标候选框边界概率的卷积神经网络模型，计算出目标候选边界框的四条边在一定搜索区域上的概率，获得更加接近人工标注边框的候选，通过迭代的方式与目标识别模型进行融合。 （2）将预先训练好的空间流与时间流动作检测网络在深度卷积层进行融合，利用融合后的时空双流动作检测模型提取中层时空特征提取，之后利用3D卷积神经网络模型完成视频人物动作检测。 （3）利用卷积神经网络并行的抽取局部目标区域和全局的特征，通过两层的门循环神经网络融合这两方面的特征以及自然语言搜索语句的特征来完成自然语言目标搜索。

目录

第一个书签之前