基于外观特征和交互信息的多目标跟踪

摘要

现代社会，无处不在的摄像设备等使得视频数据急剧增加，依靠人工处理的方式已无法满足实际需求。如何采用机器处理的方式，高效、准确地从这些视频数据中获取需要的信息已成为计算机视觉领域重要的研究任务。而目标跟踪，尤其是多目标跟踪已成为这些任务中重要且基础的一个研究方向。在公共安全、智能交通等视频数据的处理时，都需要先获取监测到的各个目标的运行轨迹，再判断是否有公共事件的发生或判断交通违章情况。此外，在人机交互，自动驾驶等场景下，目标跟踪也有广泛的应用。
　　在对多个目标进行跟踪的时候，需要面对各种复杂的情况，比如需要在目标被遮挡、轨迹交叉、光照变化等情况下将不同的目标分辨开来，持续跟踪下去。现在最常用的多目标跟踪的方法是先检测后跟踪的方法。先采用检测算法对图像区域进行检测获取检测结果，再利用跟踪算法对目标进行持续的跟踪，将检测结果关联成不同目标的轨迹。在对目标进行跟踪的时候，需要利用目标的视觉信息，即目标的各种特征。对这些特征的要求首先是具有良好的分辨能力，能够很好的将属于不同目标的检测结果分辨开;同时还要求其具有连续性，即在不同帧的属于同一个目标的检测结果的特征要尽可能的相似。而现有的单一特征或单一种类特征的跟踪方法很难同时满足上述两点要求。在目标跟踪过程中也经常出现跟踪的目标被遮挡等情况，使目标的视觉特征无法获取，或目标外观发生变化等使单纯依赖视觉特征的跟踪无法继续。而在跟踪目标为人的时候，例如行人跟踪，多个目标之间的运动模式是相互影响的，周围目标的运动模式有助于对当前目标的跟踪，即目标的交互信息可以提高跟踪的性能。
　　针对以上分析，本文的主要研究内容和创新点主要有以下两点:
　　1.提出了一种基于全局和局部特征的实时多目标跟踪的方法。该方法是一种分两步的，分别利用了全局特征和局部特征的同时对多个目标进行跟踪的方法。全局跟踪阶段采用全局特征，即广泛应用的颜色直方图以满足对目标特征连续性的要求;局部跟踪阶段采用了一种改进的基于最大稳定极值区域的局部特征，满足对目标特征分辨能力的要求。这样便同时满足跟踪中对分辨能力和连续性的要求，且拥有比较低的计算复杂度，可以应用于实时跟踪。
　　2.提出了一种基于队列稳定性的多目标跟踪方法。在F-Formation的基础上提出了队列稳定性的概念并将队列稳定性用于提高半拥挤环境下多目标跟踪的性能，且将其嵌入传统跟踪框架中。在跟踪的过程中，在利用传统的视觉信息等之外，还需要保持两段轨迹片段在关联前后整个队列的稳定性，使其不发生大的变化，提高了跟踪的性能。

目录

声明

摘要

第1章 绪论

1．1 研究意义

1．2 国内外研究现状和发展趋势

1．2．1 无需检测的跟踪

1．2．2 基于检测的跟踪

1．3 研究内容和论文结构安排

第2章 多目标跟踪的常用模型介绍

2．1．2 局部特征：SIFT

2．1．3 局部特征：SURF

2．1．4 局部特征：最大稳定极值区域(MSER)

2．2 交互模型

2．3 本章小结

第3章 基于外观特征的实时多目标跟踪

3．1 基于全局特征和局部特征的实时跟踪流程

3．1．1 全局特征跟踪

3．1．2 置信度更新

3．1．3 目标轨迹的终止

3．1．4 新目标的出现

3．1．5 目标状态更新

3．2 局部特征：基于MSER的颜色直方图

3．2．1 检测结果的表示：基于MSER的颜色直方图

3．2．2 匹配度计算

3．2．3 基于局部特征的跟踪

3．3 实验结果

3．3．1 局部特征的分辨能力

3．3．2 整个系统的跟踪性能

3．3．3 运行速度

3．4 本章小结

第4章 基于队列稳定性的跟踪

4．1 总体跟踪规划

4．1．1 第—次关联

4．1．2 第二次关联

4．2 队列稳定性

4．3 实验结果

4．4 本章小结

第5章 工作总结与未来展望

5．1 工作总结

5．2 未来展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果