基于改进伪孪生网络的目标跟踪算法研究

摘要

如今，作为计算机视觉的一个重要分支，目标跟踪受到了研究者们越来越多的关注，它在智能视频监控系统、智能人机交互、智能交通系统以及自动驾驶等诸多领域具有重要的研究意义。随着深度学习技术研究的深入，越来越多基于深度学习的目标跟踪算法相继被提出，由于CNN从图像获取的特征具有很强的鲁棒性，所以目前的大部分基于深度学习的目标跟踪算法将CNN作为主要的网络结构，但目标跟踪领域仍然存在许多亟待解决的问题，例如在一些复杂的场景中容易造成跟踪丢失或者漂移。为了有效改善跟踪的性能，本文主要的研究内容包括以下两点：　　1.对于基于深度学习的目标跟踪方法，大多都是仅仅使用CNN来提取目标模板图像以及搜索图像的特征，这种方法存在无法对目标的外观模型进行有效的更新的问题，但对于目标跟踪领域而言，有效地外观模型的更新对于跟踪性能好坏的具有至关重要的作用。考虑到ConvLSTM在时空信息增强上的优势，本文在基于CNN的孪生网络目标跟踪算法基础上引入ConvLSTM网络模块，它不仅具有长短期记忆网络(Long Short-Term Memory，LSTM)对于处理时序问题上的优势，同时它还可以保留目标的空间结构信息，最后设计并构建了一个基于时空信息增强的目标跟踪算法。通过在标准目标跟踪数据集上的实验表明，对目标外观模型进行有效地更新使得算法具有更好的跟踪效果。　　2.对于目前大部分的基于孪生网络结构或者伪孪生网络结构的跟踪算法而言，在进行目标定位时，简单的采用目标模板特征与搜索图像特征进行简单的自相关操作，这种方式得到的跟踪结果的确定性以及鲁棒性都较低。基于此问题，在上述模型的基础上引入RPN网络，实现时空信息与多尺度信息的联合学习，通过分类与回归的方式得到目标框的位置与大小，从而实现对目标的定位，进一步提高跟踪算法的性能。实验结果表明，改进后的跟踪算法具有更好准确性以及鲁棒性。

目录

声明

第1章 绪论

1.1 课题的研究背景和意义

1.2 国内外研究现状

1.2.1 基于判别相关性滤波器的目标跟踪现状分析

1.2.2 基于深度学习的目标跟踪现状分析

1.2.3 目标跟踪数据集

1.3 论文的主要内容及结构安排

第2章 相关理论基础

2.1 孪生网络

2.2 卷积神经网络

2.2.1 卷积神经网络特征分析

2.2.2 卷积神经网络基本结构

2.3 长短期记忆网络（LSTM）与卷积长短期记忆网络（ConvLSTM）

2.3.1 长短期记忆网络(LSTM)

2.3.2 卷积长短期记忆网络(ConvLSTM)

2.4 本章小结

第3章 基于时空信息增强的目标跟踪算法

3.1 基于ConvLSTM改进的目标跟踪算法

3.1.1 网络结构

3.1.2 ConvLSTM单元初始化

3.1.3 损失函数定义

3.1.4 训练数据集与训练细节

3.1.5 在线跟踪流程

3.2 实验与分析

3.2.1 实验参数设置

3.2.2 在OTB100数据集上的实验与评估

3.3 本章小结

第4章 基于时空与多尺度信息联合学习的目标跟踪算法

4.1 基于区域生成网络改进的目标跟踪算法

4.1.1 区域生成网络

4.1.2 网络结构

4.1.3 损失函数定义

4.1.4 训练数据集与训练细节

4.1.5 在线跟踪流程

4.2 实验与分析

4.2.1 实验参数设置

4.2.2 在OTB100数据集上的实验与评估

4.3 本章小结

第5章 总结与展望

5.1 总结

5.2 展望

致谢

参考文献