基于深度学习和迁移学习的鲁棒多线索目标跟踪

摘要

视觉目标跟踪算法的研究目标是让计算机能够模拟人类的大脑和视觉，自动识别目标物体的轨迹，并对其作出相应的分析和理解。目标跟踪算法的研究不仅能有效促进机器学习和计算机视觉等学科的理论发展；而且在智能人机交互、无人驾驶、智能交通监控等领域具有重要的应用价值。鉴于目标跟踪算法的重要研究意义和应用价值，诸多国内外专家和学者针对构建目标跟踪算法的三项关键技术（即目标表观模型、运动建模和搜索、模型更新），分别展开了广泛和深入地研究，使得目标跟踪算法的性能取得了极大地提高，并在特定的场合中也获得了一定的应用。但是，现实场景中各种复杂因素（例如遮挡、光照变化等），使目标跟踪算法在准确率、鲁棒性和实时性等实战性能指标方面仍然难以达到大规模应用和工业标准。 本文针对当前目标跟踪算法在上述三个关键技术所面临的难题，以深度学习建模为理论基础，采用迁移学习方法、选择性搜索算法、以及多线索融合的思路，分别有针对性地对目标表观建模、搜索以及更新展开了研究。主要研究内容如下： 1）提出了基于卷积深度置信网络和迁移学习的目标跟踪算法。传统的基于手工选择特征的方式具有需要领域知识、非最优、耗时、以及泛化能力差等缺点。与手工地设计特征相比，基于卷积深度置信网络和迁移学习的目标跟踪算法是自动从图像和视频中学习更有效的特征。基于卷积深度置信网络和迁移学习的目标跟踪算法在粒子滤波框架下，采用卷积深度置信网络来构建目标表观模型；先对模型进行离线训练，学习得到广义的层次的特征表示，然后再将离线学习得到的特征，通过迁移学习的方法，在线构造目标表观模型；为了有效缓解“漂移”现象的发生，基于卷积深度置信网络和迁移学习的目标跟踪算法通过多种方式取得在线训练样本。通过将这些训练样本在线更新模型，使得目标模型能够更好地适应物体姿态的不断变化。正样本主要由以下三种方式得到：初始化阶段的正样本(第一帧中通过手工标注得到的样本),在线跟踪中的正样本(在最近数帧中自动调整的样本),当前帧中取得的正样本。实验结果表明，基于卷积深度置信网络和迁移学习的目标跟踪算法能够达到更精确的跟踪效果。 2）提出了基于在线PCA网络的目标跟踪算法。传统基于深度学习模型的目标跟踪算法的模型参数较多，需要大规模的数据集进行预训练。而目标跟踪任务中，在线训练样本少，并且离线训练的数据集与具体的跟踪目标类别可能不一致，会造成模型判别性不足等问题。基于在线PCA网络的目标跟踪算法无需大量的训练样本，缓解了目标跟踪问题中由于样本数量少而出现的模型难以训练的问题。基于在线PCA网络的目标跟踪算法结合了主成分分析（PCA）和深度学习模型的深层特点，有效地融合了目标物体的全局和局部的表观信息，因此能够提供更加鲁棒的特征。另外，通过用多种方式取得的在线训练样本训练目标表观模型，进一步缓解了“漂移”现象的发生。实验结果验证了基于在线PCA网络的目标跟踪算法的有效性。 3）提出了选择性搜索和多深度模型融合的多线索目标跟踪算法。传统基于单线索的目标跟踪算法无法应对跟踪任务中各种复杂的场景，当场景复杂多变时，单一线索容易无法识别物体，导致跟踪失败。基于这个原因，提出了多模型融合的方法，通过多个互补的模型提取目标物体的特征。另外，由于物体运动规律的复杂性和不确定性，致使采用简单的搜索策略和单一运动模型，已经无法得到高质量的候选区域。为此，选择性搜索和多深度模型融合的多线索目标跟踪算法采用了多种搜索方法（粒子滤波和选择性搜索方法）提取目标的候选区域。实验结果验证了选择性搜索和多深度模型融合的多线索目标跟踪算法能够提高跟踪的准确性。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 引言

1.1 研究背景

1.2 目标跟踪研究中面临的主要问题

1.3 目标跟踪算法国内外研究现状

1.4 论文的主要工作

1.5 论文结构安排

第2章 基于卷积深度置信网络和迁移学习的目标跟踪算法

2.1 引言

2.2 基于卷积深度置信网络的目标表观建模

2.3 模型的更新

2.4 基于卷积深度置信网络的目标跟踪算法

2.5 实验

2.6 本章小结

第3章 基于在线PCA网络的目标跟踪算法

3.1 引言

3.2 基于在线PCA网络的目标表观建模

3.3 模型的更新

3.4 基于PCA网络的目标跟踪算法

3.5 实验

3.6 本章小结

第4章 选择性搜索和多深度模型融合的多线索目标跟踪算法

4.1 引言

4.2 基于多线索的目标表观建模

4.3 运动目标的建模和搜索

4.4 模型的更新和离线训练样本

4.5 基于多线索的目标跟踪算法

4.6 实验

4.7 本章小结

第5章 总结和展望

5.1 研究工作总结

5.2 未来的工作展望

参考文献

致谢

个人简历、在学期间发表的学术论文与研究成果