基于图像分割与平面一致性约束的立体匹配方法研究

摘要

传统的视觉媒介只能提供两维视觉信息,三维立体视频系统的出现对景物具有更强、更全面的解释能力。三维立体视觉的实现基本原理在于多出了一个维度的信息,即深度信息。深度信息的获取有两种方法,一是通过像点获取对应点深度信息,也就是立体图像视差匹配;二是通过深度传感器直接测量自然景物的深度信息。
　　立体图像视差匹配是一个病态的数学问题。近几年,关于图像分割进行视差优化的方法开始引人关注,处于同一分割平面的视差有很强的相关性。本文基于视差在分割区域平面一致性假设,提出了一种基于分割的可信视差拟合算法(Segment Based Reliable Disparity Fitting, SBRDF):首先利用两种简单的局部算法得到的视差图,通过左右一致性检测与交叉一致性检测获取图像的可信视差,结合图像分割结果,再定义分割平面的中心视差,最后用最小二乘法进行平面拟合得到最终视差结果。与传统根据图像分割求视差算法相比,该算法没有视差优化的步骤,不依赖视差平面参数迭代优化,实验结果表明在保证立体视差匹配精度下,可有效提高算法的效率。
　　图割算法是视差匹配中较常用的全局优化算法,创建基于不同数学模型建立的能量函数是图割算法的核心思想。传统图割算法的能量函数有两项,第一部分是局部算法所建立数据项,第二部分是邻域像素之间视差差值的平滑项。但是局部算法数据项由于遮挡等原因的影响会形成比较大的误差,而且遮挡区域的平滑性假设经常不成立,所以在某些遮挡区域会造成视差误匹配。SBRDF算法能够有效抑制误差在图像边缘的扩散,所以在图像边缘区域视差轮廓比较清晰。通过SBRDF算法所得视差建立新的能量函数,提出了平面约束项的图割算法(P lane Constraint Graph Cut, PCGC)。由于图割算法较强的容错能力,该算法消除了SBRDF部分视差误匹配,与传统图割算法相比精度亦有所提高。
　　最后,我们分析了KINECT深度图像的特点。针对KINECT深度图形成噪声的原因,我们提出了分割平面一致性约束修补(S egment P la ne Consistency Inpainting, SPCI)算法对KINECT深度图的孔洞区域进行修复。KINECT可同时提供了场景的彩色图像和对应的深度图像。由于视差图与深度图在已知相机参数的情况下可以相互转化,基于同一个分割平面内以及相邻的分割平面深度有很强的相关性,对深度图像逐步修复。由于该算法是基于分割区域的填补算法,所以修补以后的图像轮廓清晰,取得了比较好的实验结果。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 引言

1.3 国内外研究现状

1.4 本文的主要研究内容

第二章 立体匹配基本原理

2.1 立体视觉基本原理

2.2 立体匹配约束条件

2.3 立体匹配的评价标准

2.4 局部立体匹配算法分类

2.5 全局立体匹配算法分类

2.6 本章小结

第三章 基于分割的可信视差拟合算法

3.1 引言

3.2 图像分割与平面拟合

3.3 基于分割的可信视差拟合

3.4 实验结果与分析

3.5 本章小结

第四章 平面约束项的图割算法

4.1 引言

4.2 图割算法简介

4.4 实验结果与分析

第五章 基于视差平面KINECT深度图修补算法

5.1 KINECT深度图介绍

5.2 分割平面一致性修补算法

5.3实验结果比较

5.4 本章小结

第六章 全文总结

6.1 主要结论

6.2 研究展望

参考文献

附录

致谢

攻读硕士学位期间已发表或录用的论文