基于同时进行目标检测与特征提取的深度学习网络的在线多目标行人跟踪

摘要

在线多目标跟踪在许多视频分析的场景中都有很重要的应用，比如机器人导航和自动驾驶。在线多目标跟踪中一个很重要的问题就是如何提高算法的速度以满足很多实时场景的需求。现在的主流跟踪方法都是先在每一帧图像中做目标检测再根据检测结果做跟踪，通常会对每一个检测到的目标提取相应的图像特征并根据一些匹配算法或者图算法来得到每个目标最终的轨迹。但是这些方法都忽略了一个事实，那就是在基于深度学习的目标检测方法中，目标的特征已经存在于深度神经网络中。其次，在将目标之间进行匹配的过程中大部分方法都会将目标的运动信息考虑进去，利用目标之间在空间上的距离来判断两者的相似性。在进行运动估计时一种常用的方法就是卡尔曼滤波(Kalman Filter)。使用卡尔曼滤波可以使得到的目标轨迹更加得平滑，但是在目标被长时间遮挡后卡尔曼滤波对目标位置的预测就会变得不准确。针对这一点本文提出一种基于分块匹配的方法来缩小目标可能出现的区域。
　　总体而言，本文的主要贡献如下:
　　1.设计了一个同时得到目标检测结果和每个目标对应的图像特征的网络，这样使得目标的图像特征变成目标检测过程的一个“副产物”，从而后续的目标跟踪过程得到很大程度上的简化，只需要根据图像特征之间的相似度作为度量使用匹配算法即可得到每个目标的轨迹。
　　2.针对目标在长时间遮挡后出现定位不准确的情况，本文提出一种基于分块匹配的方法来对目标可能出现的位置进行进一步的限制从而减少了长时间遮挡后的目标匹配错误的情况。

目录

声明

摘要

插图

表格

第一章 绪论

1．1 课题背景

1．2 相关工作

1．2．1 多目标跟踪

1．2．2 多分类目标检测与行人检测

1．2．3 行人再识别

1．3 本文的研究内容和主要贡献

1．4 本章总结

第二章 同时进行目标检测与特征提取的网络设计

2．1 目标检测子网络

2．1．1 Faster R-CNN

2．1．2 多尺度目标检测

2．1．3 拥挤场景下的行人检测

2．2 特征提取子网络

2．3 DAE网络实现细节

2．4 DAE网络训练过程

2．4．1 目标检测子网络的训练

2．4．2 特征提取子网络的训练

2．5 本章小结

第三章 在线多目标行人跟踪

3．1 使用卡尔曼滤波进行运动估计

3．1．1 卡尔曼滤波

3．1．2 多目标跟踪中的运动估计

3．2 目标匹配

3．2．1 目标间距离的度量方法

3．2．2 级联目标匹配

3．2．3 分块目标匹配

3．3 本章总结

第四章 实验结果与分析

4．1 DAE网络对比实验

4．1．1 特征金字塔对于小目标检测的影响

4．1．2 DAE网络的运行效率分析

4．1．3 排斥数据项对于拥挤场景中行人检测的影响

4．2 多目标跟踪算法评测标准

4．2．1 基于事件的评测标准

4．2．2 基于一致性的评测标准

4．3 多目标跟踪算法实验结果

4．4 本章总结

5．1 总结

5．2 展望

参考文献

致谢