基于视差分析的立体视频对象分割

摘要

随着通信和信息处理技术的发展，大量数字化的视频服务需求不断涌现，如：数字电视、远程会议、视频电话和交互式多媒体等。这些伴随着大数据量的应用和服务需要更先进的数字信号处理技术，以进行更高效的传输和存储。视频对象分割就是其中一种技术。 现有的基于时域和基于时空的视频对象分割技术，还不能对语义对象进行精确分割。而在立体视频序列中，可以获得接近于语义对象定义的深度(视差)信息，十分适合用来分割视频对象。 本文在对各种视差估计方法研究的基础上，提出一种基于边缘信息的二级立体匹配方法，根据对象边缘特征在匹配过程中选择适当尺寸的匹配窗口，并对匹配搜索过程进行优化。此外，针对视差估计过程中的遮挡问题，本文提出一种基于运动信息的遮挡补偿法，利用相邻帧之间对象运动与遮挡的关系对遮挡区域的视差进行补偿，最终得到较精确的视差场。该视差场是进行视频对象分割的重要中间信息。 通过视差场分割，可大致获得视频对象，但由于视差场分割结果一般在对象边界处不够精确，需要依靠时空分割结果进行修正。本文提出的变化检测算法在检测过程中根据已获得的视差场分割结果，在相邻帧中把对应于各个视差分割对象的区域单独进行运动变化检测。然后，再融合边缘检测对视差场分割结果进行修正。实验结果表明，上述算法得到较精确的视频对象。

目录

文摘

英文文摘

原创性声明及本论文使用授权说明

第一章绪论

1.1图像及视频分割研究目的和发展概况

1.1.1图像分割

1.1.2视频分割

1.2立体视觉及其研究概况

1.2.1立体视觉

1.2.2立体视觉技术发展概况及前景

1.3论文选题依据

1.4论文主要工作

1.5论文结构

第二章立体成像原理及视差分析

2.1双目摄像系统及视差

2.2平行双目摄像系统的原理分析

2.3视差特性分析

2.3.1视差与深度的关系

2.3.2视差与遮挡

2.3.3视差与基线大小的关系

2.4本章小结

第三章立体视差估计

3.1引言

3.2视差估计过程中的基本约束

3.3立体匹配方法综述

3.3.1基于灰度的匹配法

3.3.2基于特征的匹配法

3.3.3几种基于灰度的匹配法分析

3.3.4多分辨率匹配法

3.4基于边缘信息的二级匹配法

3.4.1算法描述

3.4.2匹配搜索过程优化

3.4.3实验结果

3.5基于运动信息的遮挡补偿法

3.5.1遮挡检测

3.5.2遮挡补偿

3.5.3实验结果

3.6本章小结

第四章视频对象分割基础

4.1引言

4.2静态图像分割技术

4.2.1区域分割技术

4.2.2边缘检测

4.3视频分割技术

4.3.1视频分割算法介绍

4.3.2变化检测

4.4数学形态学处理

4.4.1形态学基本运算

4.4.2形态学图像处理

4.5本章小结

第五章立体视频对象分割

5.1引言

5.1.1立体视频对象分割方法概述

5.1.2混合分割算法的框架

5.2视差图分割

5.2.1分裂合并

5.2.2数学形态学处理

5.3时空分割

5.3.1变化检测

5.3.2边缘检测

5.3.3时空分割

5.4视差分割与时空分割的融合

5.4.1算法描述

5.4.2实验结果与讨论

5.5本章小结

第六章论文总结及工作展望

6.1论文总结

6.2进一步的工作展望

参考文献

攻读硕士学位期间公开发表的论文

致谢