基于条件随机场模型的视频目标分割算法研究

摘要

视频目标分割是计算机视觉领域的一个热点问题，它是视频监视、人机交互以及视频编辑等众多应用系统的基础，高效准确的视频目标分割算法可以大大降低后继应用的处理难度。视频目标分割算法有自动视频目标分割算法和交互式视频目标分割算法两种，其中自动视频目标分割算法的应用比较广泛，本文的视频目标分割算法都属于自动视频目标分割算法。自动视频目标分割算法按对视频序列的处理层次可以分为低级层次的分割算法、中级层次的分割算法和高级层次的分割算法，我们在这三个层次上分别提出了相应的分割算法。本文的第一章为研究背景，第二章提出了一种基于加权模型的前景和阴影概率模型，第三章提出了一种基于二维条件随机场模型的视频阈值化方法，在第四章中提出了基于分层条件随机场模型的视频目标分割算法，在第五章中我们提出了一种融合目标识别信息的多目标视频分割算法，在第六章中给出了一个视频交通流量统计系统。 本文取得的研究成果和创新点主要表现在以下几个方面： 1)提出了一种基于加权模型的阴影和前景的建模方法低级层次的分割算法一般在像素级别上对视频序列的背景、阴影以及前景进行建模实现分割。活动阴影是影响视频目标分割算法效果的一个重要的因素，有效地处理活动阴影可以提高分割的质量。本文的第二章提出了一种基于加权模型的阴影和前景的建模方法，它可以处理室内户外多种环境中的活动阴影。阴影模型在像素级别上对视频序列中的活动阴影建模，并计算出分布概率。前景模型通过加权的方法对视频序列中的前景目标进行建模获得它们的分布概率。这些模型的分布概率可以为后继章节中更高层次的分割算法提供必需的数据。 2)提出了一种基于二维条件随机场模型的视频阈值化方法一般情况下，低级层次的分割算法的分割结果中会出现许多误分类，而中级层次的分割算法中，这些误分类可以通过融合视频序列的邻域关系得以纠正。在第三章中，我们提出了一种基于二维条件随机场模型的视频阈值化方法，它属于中级层次的分割算法。这种方法根据第二章中的背景、阴影和前景的分布模型以及视频序列的邻域关系定义相应的特征函数，同时构造了一个二维条件随机场模型，利用这个模型对这些特征函数进行约束建模，通过推断算法求出全局最优解获得最终的分割结果。 3)提出了一种基于分层条件随机场模型的视频目标分割算法基于二维条件随机场模型的视频阈值化方法可以消除像素级别的分割算法所产生的误分类问题。但是当误分类的像素块尺寸比较大时，仅仅依靠二维条件随机场模型对视频序列的时空域邻域关系的约束是无法纠正的。为了解决这个问题，我们在第四章中引入了视频序列的局部邻域关系和全局邻域关系，并对隐条件随机场模型进行扩展，构建了一个分层条件随机场模型。利用分层条件随机场模型对视频序列的局部邻域关系和全局邻域关系进行约束，可以纠正尺寸比较大的像素块误分类。。 4)提出了一种融合目标识别信息的多目标视频分割算法在视频监视领域，常用的基于背景建模的分割方法存在一些局限性，比如需要视频序列的背景相对固定、需要对活动阴影进行特别处理以及多目标分割的困难性。在第五章中提出了一种融合目标识别信息的多目标视频分割算法，它属于高级层次的分割算法，算法可以对视频中包括相互遮挡以及残缺不全等多种特殊的目标进行分割。融合目标识别信息的多目标视频分割算法由训练部分和分割部分组成。在训练部分中通过对训练数据集的学习构建特征字典，并获得分层条件随机场模型的参数。在分割部分利用分层条件随机场模型对特征函数进行约束求解，可以获得一个融合自顶向下信息和自底向上信息的分割结果。 5)视频交通流量统计系统的初步研究基于视频的交通流量统计方法是近几年提出来的新方法，它与一些传统的方法相比具有很多的优点。 第六章给出了一种基于视频目标分割算法的视频交通流量统计系统，整个系统主要由目标分割和目标跟踪两部分组成。在目标分割部分中，系统根据不同的应用环境选择不同的分割算法。目标跟踪部分是在目标分割部分的基础上通过搜索相邻视频帧之间目标的最短帧间距离来实现，并把颜色特征作为跟踪的辅助信息。我们实现了视频交通流量统计系统的原型，它可以用来对车辆流量的统计，并可以根据流量信息估计出交通繁忙等级。

目录

文摘

英文文摘

论文说明:图表目录

第1章绪论

1.1课题背景

1.1.1研究对象和研究内容

1.2相关工作

1.2.1自动视频目标分割算法

1.2.2交互式视频目标分割算法

1.3本章小结

第2章基于加权模型的视频阴影和前景建模方法

2.1绪论

2.1.1相关工作

2.2高斯混合模型

2.3基于高斯混合模型背景建模方法

2.4基于加权模型的阴影建模方法

2.5基于加权模型的前景建模方法

2.6视频阴影与前景分割流程

2.7视频阴影与前景目标的分割结果

2.8本章小结

第3章基于二维条件随机场模型的视频阈值化方法

3.1绪论

3.1.1相关工作

3.2一维条件随机场模型

3.2.1概率图模型

3.2.2一维条件随机场

3.2.3使用条件随机场对序列进行标签

3.3基于二维条件随机场的视频分割

3.3.1二维条件随机场模型

3.3.2视频分割的特征函数

3.3.3模型推断

3.4实验结果

3.5本章小结

第4章基于分层条件随机场模型的视频目标分割算法

4.1绪论

4.1.1相关工作

4.2隐条件随机场模型

4.3基于分层条件随机场模型的视频目标分割

4.3.1视频帧中超像素的计算

4.3.2分层条件随机场模型

4.3.3特征函数

4.3.4模型推断

4.4实验结果

4.5本章小结

第5章融合识别信息的多目标视频分割算法

5.1绪论

5.1.1相关工作

5.2分割算法

5.2.1特征字典

5.2.2分层条件随机场模型

5.2.3算法流程

5.3实验结果

5.4本章小结

第6章应用系统

6.1视频交通流量统计系统

6.2视频目标分割

6.2.1高速公路

6.2.2街道道路

6.3车辆目标跟踪

6.4视频交通流量统计流程

6.5本章小结

第7章总结与展望

7.1论文工作总结

7.2未来工作展望

参考文献

攻读博士学位期间主要的研究成果

致谢