基于序贯贝叶斯方法的视频目标跟踪与行为识别

摘要

视频目标的跟踪与行为分析是计算机视觉领域的一个重要问题,并且被广泛应用于监控、人机交互界面、机器人学、视频检索、数码娱乐、基于对象编码等诸多领域。但是,在视频序列中实现稳定鲁棒的跟踪,并智能准确地分析目标运动隐含的语义信息仍然是极具挑战的课题。针对这些问题,本文以序贯贝叶斯理论为基本框架,完成了以下几个方面的探索性工作：1.目前流行的视频目标跟踪算法,无论是粒子滤波还是mean shift,都无法达到准确度和高效性之间的平衡,这制约了它们在高复杂环境下的实时跟踪应用。针对这两种方法各自的优势,本文提出了一种新算法：CamShift引导的粒子滤波(CAMSGPF),来同时提高跟踪鲁棒性和计算效率。CAMSGPF把CamShift作为一个重要性采样密度的优化机制,结合到粒子滤波的概率框架里。同时,在粒子滤波的支持下,CamShift有了更精确的尺度调节能力,并能够以一种简化的形式进行运算,而不牺牲性能。2.在很多监控应用中必须考虑目标数量多且活动范围大等复杂情况,而多目标和主动视觉跟踪技术目前仍主要停留在理论探索阶段。根据实际应用的需要,在本文的第二个工作中设计并实现了一个在复杂背景下的多目标、主动式实时跟踪检测系统。其中,多个相关目标间的互动用马尔可夫随机场进行模拟,保证了相似目标发生遮挡情况下不发生目标混淆。对相机姿态进行线调整,保持摄像机对目标的稳定迅速跟随。另外,在对目标形态进行描述时融合了颜色、Gabor小波和运动信息等多种特征,进一步提高了跟踪鲁棒性。3.视频跟踪的目的是为后续目标行为的智能分析提供底层信息。在现有的时序行为概率模型中,大部分都依赖于平稳时间序列的假设,这个与现实世界不符的假设加大了统计特征与抽象概念间的语义缺口,导致模型无法准确描述行为模式的时域演化。本文对传统隐马尔可夫模型进行推广,提出了一个新的非平稳时间序列模型：时变隐马尔可夫模型(TVHMM)。其中的状态转移密度随状态持续时间而变化,并且在时域上具有连续性,以分级Dirichlet分布进行模拟,从而避免了模型的过拟合。模型的最大后验参数估计则通过马尔可夫链蒙特卡罗(MCMC)采样得到。上述工作在各种视频序列、仿真数值、模拟环境下进行了系统的测试。实验结果表明,CAMSGPF算法在鲁棒性和计算效率上都优于一般的粒子滤波及mean shift跟踪方法；所建立的主动跟踪系统可以在运动迅速、暂时遮挡、目标数量多等各种高难度条件下实现稳定跟踪；所提出的TVHMM模型表现出远优于现有时序模型的识别性能,在走、跑、跳等基本人体活动的识别率上有显著提升。

目录

摘要

ABSTRACT

第一章 绪论

1.1 本课题的研究目的和意义

1.2 视频目标跟踪与行为识别的研究现状

1.2.1 运动目标的跟踪

1.2.2 运动模式的识别

1.3 本文工作与章节安排

第二章 目标跟踪与行为识别综述

2.1 目标跟踪的主要方法

2.1.1 基于特征的跟踪方法

2.1.2 基于动态轮廓的跟踪方法

2.1.3 基于区域的跟踪方法

2.1.4 基于模型的跟踪方法

2.2 行为识别的主要方法

2.2.1 一般数学工具

2.2.2 行为识别算法

2.2.3 语义描述

2.3 本章小结

第三章 融合CamShift和粒子滤波的跟踪算法

3.1 目标跟踪的动态贝叶斯网络框架

3.2 粒子滤波跟踪算法

3.2.1 序贯重要采样

3.2.2 改进的粒子滤波算法

3.3 Mean Shift和CamShift跟踪算法

3.3.1 Mean Shift过程

3.3.2 Mean Shift在图像跟踪上的应用

3.3.3 CamShift跟踪算法

3.4 结合CamShift和粒子滤波的跟踪算法

3.4.1 算法融合框架

3.4.2 粒子尺度自适应调整

3.4.3 算法效率改进

3.4.4 粒子多样性提高

3.5 实验结果与分析

3.5.1 粒子滤波算法的实现和分析

3.5.2 Mean Shift的程序和分析

3.5.3 CAMSGPF的实验结果和分析

3.6 本章小结

第四章 基于马尔可夫随机场的多目标主动跟踪系统

4.1 系统概述

4.2 目标检测

4.3 目标观测模型

4.3.1 颜色直方图

4.3.2 Gabor小波网

4.3.3 运动补偿差

4.3.4 特征的组合

4.4 目标动态模型

4.4.1 全局运动估计

4.4.2 GWN空间的动态模型

4.5 马尔可夫随机场多目标互动模型

4.5.1 多目标分布概率模型

4.5.2 多目标粒子滤波器

4.6 摄像机控制算法

4.6.1 单步式摄像机姿态调整

4.6.2 连续速率摄像机姿态调整

4.7 实验结果与分析

4.7.1 目标检测

4.7.2 目标跟踪

4.7.3 摄像机调整

4.8 本章小结

第五章 时变网络模型及其在运动目标行为识别中的应用

5.1 隐马尔可夫模型

5.1.1 模型表示

5.1.2 模型学习

5.1.3 模型估计

5.2 动态贝叶斯网络

5.2.1 模型表示

5.2.2 基于完整数据的模型学习

5.2.3 基于缺失数据的模型学习

5.3 非平稳模型扩展

5.3.1 分级Dirichlet分布

5.3.2 隐变量

5.3.3 Dirichlet过程

5.4 时变隐马尔可夫模型

5.4.1 时变转移密度

5.4.2 分级Dirichlet先验分布

5.4.3 DBN等价表示

5.4.4 基于MCMC采样的最大后验估计

5.5 实验结果与分析

5.5.1 数值仿真

5.5.2 人体运动识别

5.5.3 行人

5.5.4 网络时变结构仿真

5.6 本章小结

第六章 结论

6.1 本文主要工作总结

6.2 后续研究方向展望

参考文献

附录A 符号与标记

附录B 公式推导

攻读硕士学位期间已发表或录用的论文

攻读硕士学位期间参与的科研项目

致谢