视频时空联合模型与去噪研究

摘要

视频信号是客观事物连续采样的结果，相邻视频像素间具有很强的相关性，利用这种相关性可以为视频处理带来性能的提升。为分析视频语义，提升视频处理的效果，人们引入时空联合来描述这种复杂的时域与空域的相关性。随着视频信号处理技术的发展，时空联合方法已经成为发掘视频信号中的潜在信息的重要途径。传统的信号模型将视频信号视为随机变量，时域关系与空域关系通常被分离，相应地时域处理与空域处理只能独立进行，时空联合处理一般都是在处理结果上进行联合。要提升视频处理的时空联合程度，必须建立反映视频时空特性的视频模型。本文围绕时空联合处理的问题，对时空联合视频信号建模、时空联合去噪、基于时空联合模型的对象检测与跟踪等问题进行了研究，主要获得了以下几方面成果：
　　 1、提出了视频刚体模型。视频刚模型以只存在平移、缩放和旋转三种运动的刚体区域分解视频对象区域，以刚体区域的运动表达视频信号的时域关系，以刚体区域及其层次关系表达视频信号的空域关系。刚体模型的获取包括区域划分、区域匹配、层次判定、运动估计和区域再划分等过程：刚体区域可以通过颜色区域分割得到初步结果，区域间通过边缘句法进行匹配，区域层次则通过相互遮挡关系进行判定，区域间的运动关系可以通过区域的边缘转折点进行最小二乘估计，当估计误差较大时，对区域进行重复划分，直到所有对应像素的颜色绝对差值和进行许可范围。
　　 2、提出了视频流体模型。流体模型将同一对象区域在视频中不同时刻的成像视为一个整体，使用视频流线表示对象的质心运动，视频流纹表示对象的质点运动，视频流线在时域上光滑，视频流纹在空域与时域上均光滑。视频流纹可以通过切出线、补入线、旋转子和平移子描述其变化，进行简化表示。流体模型的获取过程包括区域划分、流线计算、流纹计算等过程：流体的初始区域可以通过颜色区域分割获得，流线可以先通过其时域上的光滑性预测、然后用对应区域的质心校正，流纹可以利用其上对应像素颜色不变以及流纹在流体区域内光滑、在时域上光滑等条件进行严格计算，也可以使用等色线进行估计，根据流纹的空域光滑性情况，还可以对流体区域进行合并或再划分。
　　 3、研究了基于时空联合模型的视频去噪方法。基于刚体模型的中值去噪方法以刚体的时空关系决定邻域，根据污染程度判断像素的参考价值，能适应高椒盐噪声去噪的需要。基于流体模型的中值去噪根据流纹的时域、空域光滑性判断像素的污染程度与去噪参考价值。基于刚体模型的插值去噪算法通过插值恢复视频在刚体区域内的光滑性。基于流体模型的插值去噪算法通过插值恢复流纹的光滑性。基于时空联合模型的视频去噪方法的去噪效果明显优于单纯的时域或空域去噪算法，也超过了基于运动补偿的时空联合去噪方法。
　　 4、提出了一种利用几何均值联合时、空结果的视频去噪方法。该方法以卡尔曼滤波进行时域滤波，以中值滤波进行空域滤波，根据时域与空域的污染程度计算结果的可靠性，以时域去噪结果与空域去噪结果的几何均值作为最终去噪的结果。基于卡尔曼滤波与中值滤波的去噪方法去椒盐噪声效果超越了以往的各种时空联合去噪方法。
　　 5、将时空联合模型应用到钢管生产过程视频监测的问题中，提出了基于视频流体模型的目标检测与跟踪方法。基于流体模型对钢管视频建模，可以较容易获得各视频对象的流纹特征，结合视频帧内的空域关系，容易识别钢管生产视频中的人、钢管、设备与地面等不同的对象。基于流体模型的钢管目标跟踪通过流线与流纹的时域光滑性进行预测，通过流纹的空域光滑性进行位置校正。根据钢管生产过程视频监测的需要，本文还建立了基于流体标记的多镜头跟踪与视频联动机制。实验结果表明，基于流体模型的目标检测方法能准确地检测出完整的钢管目标，基于流体模型的跟踪方法误差较小，运算速度较快，能适应适时、精确跟踪的需要。

目录

文摘

英文文摘

声明

第1章绪论

1.1引言

1.2发展历史与研究现状

1.2.1视频信号模型

1.2.2视频去噪

1.2.3目标跟踪

1.3课题的主要研究内容与本文组织结构

第2章基于几何均值的时空联合去噪

2.1时空联合去噪的流程

2.2快速自适应运动估计

2.3自适应时空中值滤波

2.4卡尔曼滤波器的设计

2.5时空滤波结果的结合

2.6实验结果

2.7小结

第3章视频时空联合模型研究

3.1视频刚体模型

3.1.1刚体模型的建立

3.1.2刚体模型的获取

3.1.3刚体模型的性能分析

3.2视频流体模型

3.2.1流体模型的引入

3.2.2流体模型的简化

3.2.3流体模型的获取

3.2.4基于流体模型的视频处理框架

3.2.5流体模型的性能分析

3.3小结

第4章基于时空联合模型的中值去噪

4.1中值滤波算法的研究与改进

4.1.1快速中值计算方法

4.1.2自适应中值去噪算法

4.2基于刚体模型的中值去噪方法

4.2.1刚体模型与中值滤波

4.2.2滤波像素集的选取

4.2.3自适应中值策略

4.2.4实验结果

4.3基于流体模型的中值去噪方法

4.3.1流体模型与中值滤波

4.3.2基于流体模型的参考像素选择

4.3.3自适应中值滤波策略

4.3.4实验结果

4.4小结

第5章基于时空联合模型的插值去噪技术

5.1插值去噪算法研究

5.2基于刚体模型的插值去噪方法

5.2.1刚体模型与插值去噪

5.2.2插值参考像素的选择

5.2.3实验结果

5.3基于流体模型的插值去噪方法

5.3.1流体模型与插值

5.3.2插值方法

5.3.3实验结果

5.4小结

第6章视频时空联合模型在钢管跟踪中的应用

6.1钢管生产视频的时空建模

6.1.1钢管生产视频内容分析

6.1.2钢管视频的刚体模型

6.1.3钢管视频的流体模型

6.2基于流体模型的钢管视频去噪处理

6.3基于流体模型的钢管跟踪

6.3.1基于流体模型的钢管检测与跟踪

6.3.2基于流体模型的多镜头联动

6.4实验结果

6.5小结

总结与展望

致 谢

参考文献

附录1中英文对照及缩写术语表

攻读博士学位期间发表论文