复杂场景下的视觉对象跟踪建模及算法研究

摘要

对象跟踪是一个计算器视觉领域内的基本任务，该任务旨在从图像或者视频中寻找出目标物体。该任务在自动驾驶、智能监控、人机交互以及医学成像等多种运用中具有很高的实用价值，因此大量的研究力量被投入其中。然而，在真实的对象跟踪场景中，视频目标跟踪往往会由于复杂场景条件和目标运动的随机性而变得困难。在自然条件下，目标物体经常出现光照变化、旋转、伸缩、遮挡、曝光不足、背景变化、运动的复杂性和随机性等因素，这些都会使得对象跟踪变得非常困难。虽然对象跟踪算法已经取得了丰硕的研究成果，但在理论和应用上也存在着不完善和待解决的问题。在此背景下，研究复杂场景下的对象跟踪算法在理论和应用方面都具有非常重要的意义。从神经网络的模型结构出发，对现有的模型进行优化，结合真实对象跟踪场景特性，探索新的网络模型，研究新的处理算法，提高对象跟踪的性能和效率。研究成果主要在如下几个方面体现：　　首先，针对复杂场景下的跟踪失效及恢复问题，提出了一种基于自组织映射网络(Self-Organizing Maps，SOM)和相关滤波器的长期记忆对象跟踪算法。在对象跟踪中，不同的视频或图像中的同一种物体常常有着不同的外观，对这些外观进行学习成为有效跟踪的关键，本算法使用具有人脑神经元的信号处理机制特点的SOM，以自适应、无监督的方式进行特征提取。同时提出了同时学习多个自适应相关滤波器来进行跟踪目标的方法，这些滤波器采样不同的更新策略，协同地进行跟踪。在大规模的基准数据集上进行的大量实验结果表明，提出的对象跟踪算法能有效地解决复杂场景中出现的严重遮挡、目标丢失、尺度变化等跟踪难题。　　其次，针对复杂场景下传统手工特征模型的局限导致对象跟踪的准确度问题，算法提出利用深度卷积神经网络层次特征结合相关滤波进行对象跟踪算法。在深度神经网中，前端网络层具有更多的图像纹理信息，有较高的分辨率，能够对跟踪对象进行精准的定位；而后端网络层保留了更多的图像语义信息，适合对目标形变进行检测。算法利用高层的抽象信息对目标进行粗略定位，再利用浅层的纹理细节进行精细定位，最后进行加权融合得到跟踪目标的位置。提出的自适应加权特征融合的跟踪算法结合了深度学习分层特征和相关滤波器的优势，在当前大型对象跟踪测试集上取得了很好的结果。　　再次，针对复杂场景下多目标跟踪的严重遮挡、尺度变化等问题，提出了一种连续两帧输入的可变形卷积层和可变形池化层的卷积神经网络用于多目标跟踪。算法在传统卷积神经网络基础上增加了可变形卷积层和可变形池化层，在卷积层和池化层中利用额外的偏移量来修改采样的位置，根据跟踪对象的实际形状进行采样。同时，算法建立了目标对象的关联轨迹，有效解决了跟踪漂移和跟踪丢失的问题。　　综上所述，针对对象跟踪算法的几个关键问题进行了深入的研究。对于跟踪鲁棒性及性能问题，提出利用SOM网络进行特征提取与降维，结合跟踪记忆器设计算法；对于传统手工特征模型的局限和跟踪准确度问题，提出将深度网络层特征和相关滤波器相结合的跟踪算法；此外，讨论了利用可变形卷积神经网络解决形变对象的多目标跟踪问题。提出了三种不同原创性算法，侧重于解决视觉对象跟踪算法常见的不同层面问题。大量实验结果和理论分析表明，提出的一系列视觉跟踪算法运行稳定，性能高效，显著提升了视觉对象跟踪算法的鲁棒性。

目录

1 绪 论

1.1 研究背景

1.2 视觉对象跟踪系统结构

1.3 国内外研究现状

1.3.1 生成式跟踪方法

1.3.2 判别式跟踪方法

1.4 存在的问题与挑战

1.5 研究内容及贡献

1.6 论文内容组织

2 基于SOM网络及相关滤波器的对象跟踪

2.1 研究背景

2.2 研究动机与贡献

2.3 方法概述

2.3.1 核化相关滤波算法

2.3.2 对象位移滤波器

2.3.3 对象尺度滤波器

2.3.4 长期记忆滤波器

2.3.5 在线检测器

2.4 方法实现

2.5 试验结果

2.5.1 试验设置

2.5.2 整体性能

2.5.3 复杂场景测试

2.5.4 组件修改研究

2.5.5 实验结果比较

2.6 本章总结

3.1 研究背景

3.2 相关工作

3.3 方法概述

3.4 方法实现

3.4.1 区域提名方法

3.4.2 卷积层特征提取

3.4.3 卷积层目标定位

3.4.4 自适应特征融合

3.4.5 外观模型更新

3.4.6 算法实现

3.5 实验结果

3.5.1 评测指标

3.5.2 整体性能评估

3.5.3 复杂场景评估

3.5.4 组件修改对比实验

3.5.5 层特征差异分析

3.5.6 评价结果分析

3.6 本章总结

4 基于可变形卷积神经网络的多对象跟踪

4.1 研究背景

4.2 相关工作

4.3 方法概述

4.3.1 可变形卷积和可变形池化

4.3.2 卡尔曼滤波器

4.3.3 轨迹片段生成

4.3.4 系统架构

4.4 方法实现

4.5 实验结果

4.5.1 实验设置

4.5.2 评价标准

4.5.3 特征提取分析

4.5.4 OBT上的跟踪结果

4.5.5 PETS上的跟踪结果

4.5.6 TUD-Stadtmitte上的跟踪结果

4.5.7 CAVIAR上的跟踪比较

4.6 本章小结

5 总结与展望

5.1 全文总结

5.2 工作展望

参考文献

附录

A. 作者在攻读学位期间发表的论文目录

B. 作者在攻读学位期间取得的科研成果目录

C. 学位论文数据集

致谢