复杂场景下基于局部分块和上下文信息的单视觉目标跟踪

摘要

视觉目标跟踪是计算机视觉中最为重要的研究内容之一，并在视频监控、人机交互、增强现实、视觉导航、医学图像分析等领域有着深入的应用。通常，视觉目标跟踪被视为对目标状态的估计和判别。即在给定初始的目标状态（如位置、尺度等信息）下，视觉目标跟踪的目的是在连续的图像序列中估计或判别对象目标的状态。在过去的数十年里，视觉目标跟踪取得了显著的进展，特别是在有约束条件或相对简单的环境下，取得了较好的效果，如静态场景下对刚体目标的跟踪等。然而，在现实世界里，由于目标自身和背景环境的复杂性，实现鲁棒和准确的目标跟踪仍然是一个挑战性的问题。跟踪过程中，算法的性能和效果会受到各种因素的影响，如部分或全部遮挡、光照变化、平面内旋转、平面外旋转、背景杂乱、尺度变化和复杂运动等，这些复杂的因素会导致目标表观发生显著的变化。目前，已有或存在的跟踪方法仍然不能有效解决这些复杂的因素所带来的问题，视觉目标跟踪算法的性能还需要进一步的提高。在视觉目标跟踪过程中，如何有效地表征目标，往往对跟踪的结果和性能起着决定性的作用。此外，目标所处的环境因素对跟踪的结果和性能起着重要的影响。特别是在复杂的环境下，目标特征及目标上下文信息可以为跟踪提供重要的证据信息。因而，有效利用目标特征信息及上下文信息表征对象目标，是提高算法性能的重要途径之一。
　　本文在深入分析视觉目标跟踪工作机理的基础上，结合目标的结构化特征信息以及上下文信息，从构建鲁棒的目标表观模型角度出发，开展了相关的研究工作，并提出了一些新的思路。本文的主要工作及创新点包括:
　　(1)针对跟踪过程中表观发生剧烈变化的目标跟踪问题，本文提出了一种新的基于自适应分块表观模型的视觉目标跟踪方法。本文方法用一组空间上具有内在几何结构关系约束的局部图像块表征对象目标，以适应对象目标表观的剧烈变化。在跟踪过程中，对象模型的局部分块依据目标表观的变化实现在线自适应的更新（添加和删除）。本文方法充分利用了局部分块对表观变化适应上的灵活性，克服了传统算法不能及时更新表观模型的局限性。与此同时，本文方法利用颜色特征构建对象目标的全局概率模型，为局部块的更新提供了有效的先验信息，为表观模型提供了更加可靠、灵活的更新依据。实验结果表明，该方法能够较好的适应目标的表观变化，在目标发生剧烈的表观变化时能够有效的跟踪目标。
　　(2)为在复杂环境下实现鲁棒的目标跟踪，本文提出了一种基于局部表观模型和上下文信息的目标跟踪方法。在跟踪过程中，利用目标内部的局部图像块和目标的上下文联合表征对象目标，构建目标的表观模型。首先，将目标表征为一组栅格化的局部图像块，利用梯度和亮度信息描述局部图像块的特征。局部块的似然度由稳定性和可靠性描述，以评估跟踪过程中局部块的鲁棒性。本文方法通过局部分块的表征方式有效的保存了目标内部的空间结构信息，能在复杂环境下快速适应目标的局部表观变化。其次，为抑制跟踪过程中的漂移，目标由分别包含了前景和背景的上下文信息表征。通过在模型的构建过程中融合背景信息，有效的抑制了背景模糊和噪声对目标跟踪的影响。实验结果表明，该方法能有效的处理遮挡、快速运动和背景模糊等复杂情况。
　　(3)为有效表征对象目标，本文提出了一个层次化的表观模型，并在贝叶斯框架下构建了基于层次化模型的视觉目标跟踪方法。跟踪过程中，对象目标由局部层和全局层组成的层次化表观模型表征。局部层模型用一组局部分块描述对象目标，以适应由遮挡、形变等引起的局部表观变化。全局层模型用包含了前景和背景的目标上下文信息描述目标，以有效处理跟踪过程中出现的复杂背景、运动模糊等情况导致的影响。该方法通过局部层、全局层的联合表征方式，能够有效提升目标表征的准确性，能够有效抑制各种复杂情况对跟踪结果的影响。实验结果表明，该算法具有较高的效率、鲁棒性和准确性，在各种复杂环境下均取得了较高的目标跟踪性能。
　　(4)为获取鲁棒、准确的跟踪性能，本文将相干滤波引入到目标跟踪框架中，基于相干滤波、局部分块模型和上下文信息提出了一种协同视觉目标跟踪方法。为提高目标跟踪的准确性，本文方法采用粗到细的跟踪策略。在粗跟踪阶段，目标由多个由随机采样获取的局部图像块表征，每个局部块独立的执行跟踪任务，目标状态由各个局部图像块的状态预测经过加权后初步确定。在细跟踪阶段，目标由包含了背景和前景的双矩形框联合表征。通过在跟踪过程中融入上下文信息，在贝叶斯推理框架下基于细搜索策略精确估计目标的位置。此外，为在长期的目标跟踪中获取鲁棒的跟踪效果，我们基于局部图像块的置信度来处理跟踪过程中发生的遮挡。跟踪过程中，本文方法将生成模型和判别模型相融合，实现了两种模型的优势互补;通过将基于局部模型的跟踪方式和基于全局模型的跟踪方式相融合，实现了协同的目标跟踪。实验结果显示，本文方法相比已有的常规算法，具有较高的效率、准确性和鲁棒性。

目录

声明

摘要

图目录

表目录

第1章 绪论

1．1 研究背景

1．2 视觉目标跟踪的国内外研究现状

1．2．1 发展概况

1．2．2 国内外研究现状综述

1．3 存在的问题及本文拟解决的问题

1．3．1 目标跟踪存在的问题

1．3．2 本文拟解决的问题

1．4 本文的研究方法、研究内容及研究意义

1．4．1 研究方法

1．4．2 研究内容

1．4．3 研究意义

1．5 论文的内容安排

第2章 基本概念与相关理论方法

2．1 视觉目标跟踪的基本概念

2．1．1 视觉表征

2．1．2 观测模型

2．1．3 运动模型

2．1．4 目标定位

2．1．5 模型更新

2．2 视觉目标跟踪的相关理论方法

2．2．1 贝叶斯滤波

2．2．2 粒子滤波

2．2．3 相干滤波

2．3 数据集以及评价方法

2．3．1 数据集

2．3．2 评价方法

2．4 本章小结

第3章 基于局部分块模型的视觉目标跟踪

3．1 引言

3．2 基于局部分块模型的目标跟踪方法描述

3．2．1 基于贝叶斯框架的目标跟踪方法

3．2．2 模型的建议函数和采样模型

3．2．3 局部分块模型

3．3 基于局部分块模型的目标跟踪方法的实现过程

3．3．1 算法实现步骤

3．3．2 目标的跟踪过程

3．4 实验结果及分析

3．4．1 实验设置

3．4．2 实验结果与分析

3．5 本章小结

第4章 基于局部表观模型和上下文的视觉目标跟踪

4．1 引言

4．2 基于局部表观模型和上下文的跟踪算法描述

4．2．1 目标模型定义

4．2．2 基于贝叶斯滤波的目标跟踪框架

4．2．3 似然函数设计

4．3 基于局部表观模型和上下文的目标跟踪过程

4．3．1 模型更新

4．3．2 目标跟踪的具体实现步骤

4．4 实验结果及分析

4．4．1 定性分析

4．4．2 定量分析

4．5 本章小结

第五章 基于层次化表观模型的视觉目标跟踪

5．1 引言

5．2 贝叶斯目标跟踪框架

5．3 层次化表观模型定义

5．3．1 局部模型

5．3．2 全局模型

5．4 基于层次化表观模型的目标跟踪过程

5．4．1 目标定位

5．4．2 模型更新

5．4．3 遮挡处理

5．5 实验结果及分析

5．5．1 实验设置

5．5．2 定性分析

5．5．3 定量分析

5．5．4 基于OTB-50的测试和分析

5．6 本章小结

第6章 基于相干滤波的协同目标跟踪

6．1 引言

6．2 目标表征方式和搜索策略

6．2．1 表征方式

6．2．2 搜索策略

6．3 基于相干滤波的协同目标跟踪算法描述

6．3．1 基于局部分块的目标跟踪

6．3．2 基于目标上下文信息的跟踪

6．4 基于相干滤波的协同目标跟踪过程

6．4．1 目标定位

6．4．2 模型更新

6．4．3 遮挡处理

6．5 实验结果及分析

6．5．1 实验设置

6．5．2 定性分析

6．5．3 定量分析

6．5．4 基于OTB-50的测试和分析

6．6 本章小结

第7章 总结和展望

7．1 总结

7．2 展望

参考文献

致谢

在读期间完成的学术论文与取得的研究成果