基于检测的数据关联多目标跟踪算

摘要

视频序列的多目标跟踪研究是计算机视觉领域的一个重要内容，已经广泛应用于国防、视频监控、智能导航/辅助驾驶、智能机器人、行为分析、视频检索、生物医学等领域。视频多目标跟踪的目的是在视频序列中标定出各个目标的运动轨迹。然而，受成像质量下降、噪声和背景干扰、目标外观和运动模式的变化、被跟踪目标数目的不确定性、复杂多变的遮挡等诸多因素的影响，多目标跟踪算法研究是一个颇具挑战性的课题，还面临大量的理论和技术问题有待解决。近十年来，随着目标检测器性能的不断提升，基于检测的目标跟踪方法引起了广泛的关注，已成为当前主流的多目标跟踪方法。这类方法将检测器输出的检测响应作为输入，通过数据关联技术将属于同一目标的检测响应逐一连接、最终获得各个目标的运动轨迹。关联模型设计是基于检测的数据关联技术的关键，一个好的关联模型应该尽可能的融合那些反映目标轨迹内在属性的观测信息，在噪声和复杂场景下提供可靠的轨迹关联。
　　本研究主要内容包括：⑴在逐级关联框架下，提出了一种基于霍夫森林分类器的多目标跟踪算法。首先通过保守关联算法生成可靠的短小轨迹片；随后以逐级处理方式从迹片集上提取具有判别性能的外观和运动特征，生成训练样本并构建霍夫森林；在测试阶段，利用森林叶子节点中存储的有效码元信息去估计轨迹片间的连接概率，最终将轨迹关联转化为最大后验概率准则（Maximum-A-Posterior，MAP）下的求解问题。实验证明了基于霍夫森林的轨迹片关联模型的有效性：与一些国外同行的近期算法相比较，该方法取得了与之相当的跟踪效果。⑵由于运动场景的复杂性、频繁发生的遮挡等，即便是目前最先进的检测器也存虚检、漏检、检测不精确等问题；可靠轨迹片生成阶段所采取的保守关联策略也会遗漏一些检测响应。上述问题都将导致在最后的跟踪结果中，出现不能和任何轨迹相关联的孤立响应点，从而使得目标轨迹间隙增大、平滑性下降。针对此问题，本文提出一种新的遮挡推理模型，以此推断出遮挡目标的被遮挡区域和非遮挡区域；在此基础上设计被遮挡目标的融合特征描述，提出孤立响应点与目标轨迹间的匹配策略，有效解决了孤立响应点的目标归属问题。作为一种填补轨迹间隙的后处理技术，本章方法对于采用轨迹片关联的跟踪算法具有普适性。⑶提出霍夫森林条件随机场模型（Hough Forest Conditional Random Field, HFRF），该方法通过SW-cuts算法计算MH跳转接受概率以实现状态推理求解，而利用霍夫森林提供CRF推理所需要的概率参数；HFRF将CRF模型参数学习和推理嵌入到同一个框架中，从而规避了传统CRF跟踪方法中的难题。此外，与传统的CRF图模型不同，HFRF对每条边额外定义了一个二元指示隐变量，将传统CRF中的二元组结构关系扩展到三元，可以考虑更多运动目标的时空域关系，利用该三元组结构有助于跟踪算法的优化和性能提升。⑷在传统CRF图模型下，提出了一种基于数据联合分布建模的多目标跟踪算法。该方法构造二元势函数表征轨迹片间的相关性，构造高阶类别损失函数（正则项）用以约束求解的目标个数，在此基础上得到代价方程，最终通过代价最小化实现CRF模型下的类别标定。其中轨迹片间的势函数建模为两个假设条件下的数据联合分布，通过建立关联数据的相容性、相斥性概率，完成CRF模型的推理过程。该方法另一个特点是利用霍夫森林叶子节点间存储的样本类别的分布特性，以无参的形式实现两个假设条件下数据联合分布概率的估计。在多个数据库上进行的仿真实验证明了本文方法的有效性；该方法所提出的关联数据相容性、相斥性建模思想，为多目标跟踪算法设计提供了一种新的途径。

目录

封面

声明

中文摘要

英文摘要

目录

主要符号对照表

1 绪论

1.1 研究背景及意义

1.2 多目标跟踪算法难点

1.3 多目标跟踪算法研究现状

1.4 课题来源及内容安排

2 基于霍夫森林的多目标跟踪算法

2.1 引言

2.2 基于分层逐级关联的多目标跟踪框架

2.3 霍夫森林

2.4 实验结果与分析

2.5 本章小结

3 基于遮挡推理模型的孤立响应点匹配

3.1 引言

3.2 遮挡推理建模

3.3 相似性度量与融合特征

3.4 孤立响应点与轨迹集的匹配

3.5 实验结果与分析

3.6 本章小结

4 基于霍夫森林条件随机场的多目标跟踪方法

4.1 引言

4.2 HFRF模型及其基本思想

4.3 基于HFRF的多目标跟踪问题描述――图模型的建立

4.4 基于HFRF模型的CRF推理求解

4.5 霍夫森林和相关概率参数的估计

4.6 实验结果与分析

4.7 本章小结

5 联合特征表达框架下多目标跟踪方法研究

5.1 引言

5.2 基于CRF模型的问题描述

5.3 波特系数建模

5.4 类别代价

5.5 CRF求解

5.6 实验结果与分析

5.7 本章小结

6 总结与展望

6.1 工作总结

6.2 主要创新点

6.3 展望

致谢

参考文献

附录1 攻读学位期间发表论文目录

附录2 公开发表的学术论文与博士学位论文的关系

附录3 攻读博士学位期间申请的发明专利和其他成果

附录4 攻读博士学位期间参与的科研项目