计算机视觉中深度信息估计算法的研究

摘要

作为一个多学科交叉的领域，计算机视觉的理论研究和实际应用都取得了飞速发展。深度图像作为视觉信息系统输入的研究已成为计算机视觉研究的一个热点，如何有效地从二维图像中进行深度信息估计更成为研究的重点问题。利用单视点图像或多视点图像进行深度信息估计，所提取的深度图不仅可以生成立体图像，还可以实现基于图像的渲染和三维模型的重建，成为利用计算机模拟人类视觉的基础。而随着相关技术的广泛应用，对深度信息估计的准确度、计算效率以及对于复杂场景下的处理能力都提出了更高的要求。因此，本文对单视点视图深度信息估计、基于双目立体匹配的深度信息估计中的关键问题进行了深入研究。 (1)针对单视点图像恢复场景深度信息算法中采用图像高层次线索复杂度高，计算量大的情况，本文提出了一种应用低层次图像线索轮廓锐度信息的单视点图像深度信息提取的算法。将模糊信息作为深度提取的约束条件，应用边缘轮廓锐度信息，建立改进的轮廓跟踪模型，实现图像轮廓提取。利用先验假设轮廓深度图，提取景物深度信息，并采用交叉双边滤波方法对深度图进行了优化。经对大量图像进行对比实验，实验结果表明算法简单、实用，可以有效地实现了单视点图像深度信息的提取。为了提高算法的实用性，在FPGA上实现了本算法的IP核设计。 (2)为降低传统Census变换在视差不连续区域和噪声干扰情况下误匹配率，本文提出了一种利用邻域相关信息的改进Census变换立体匹配算法。根据邻域像素的相关信息，将传统的Census变换中像素与邻域像素的差异应用2位信息表示，使变换后的图像在视差不连续区域的信息表示更为丰富，有效地区分位于弱纹理区域和视差不连续区域的像素与中心像素的不同，同时减少噪声对匹配质量的影响。通过稀疏汉明距计算得到初始匹配代价，应用权重代价聚合提高匹配精度，经亚像素插值、左右一致性检测和遮挡区插值等视差图后处理，最终得到了稠密视差图。经Middlebury立体图片测试表明，该算法结构简单，复杂度低，具有较高的鲁棒性，有效地提高了匹配精度。为提高算法的实用性，本文在FPGA平台上，应用并行化技术，采用流水线的设计方法，给出了算法的硬件并行化加速方案，提升了系统的处理能力。 (3)针对代价聚合运算量大、执行速度慢，严重影响立体匹配算法实时性能的缺点，本文首先提出了一种层次化代价聚合算法，通过对代价体建立金字塔结构实现多层次划分，采用自适应权重计算实现分层次代价聚合计算。利用具有边缘保持特性的分段线性逼近上采样方法实现了由粗层次向精细层次的代价聚合恢复，提高视差不连续区域的代价聚合不同层次间恢复的准确度，从而达到在保证匹配质量的同时加速代价聚合的目的。实验表明，该算法在提高立体匹配算法处理速度的同时，具有良好的匹配效果。其次，提出了适于硬件实现的自适应权重代价聚合算法，采用权值近似计算对传统的自适应权重代价聚合算法进行了改进，降低计算复杂度。同时在硬件实现过程中以移位操作替代乘法操作，采用流水线缓存方式和双通道代价聚合方法，提高了代价聚合的速度。 (4)针对立体匹配算法在倾斜平面及非前向平行平面视差值估计误匹配高的问题，本文提出了一种基于Patchmatch和切片采样粒子置信度传播的立体匹配算法。算法应用具有边缘特性的Patchmatch相似性函数，建立基于Patchmatch的非前向平行平面视差平面估计模型。利用粒子置信度传播代替原有的最近邻搜索，用较少的粒子近似目标分布。为解决粒子置信度传播过程中粒子重采样更新问题，采用切片采样马尔可夫链蒙特卡罗方法提高粒子重采样的有效性，提高匹配精度。实验表明，该算法能够降低视差不连续区域的误匹配，有效地提高了倾斜平面及非前向平行平面图像的匹配精度。

目录

声明

摘要

第1章 绪论

1．1 课题背景及意义

1．2 深度信息估计

1．2．1 单视点图像深度信息估计

1．2．2 双目立体匹配深度信息估计

1．3 本文的研究内容及国内外研究现状

1．3．1 单视点图像深度信息估计

1．3．2 基于区域的双目立体匹配算法

1．3．3 双目立体匹配的快速代价聚合算法

1．3．4 针对倾斜平面及非前向平行平面的视差估计算法

1．4 本文的主要工作

1．5 本文组织结构

第2章 基于轮廓锐度信息的单视点图像深度信息提取算法研究

2．1 基于边缘轮廓的单视点图像深度信息提取算法

2．1．1 单视点图像的边缘轮廓与深度信息

2．1．2 相关算法

2．2 基于轮廓锐度信息的单视点图像深度信息提取算法

2．2．1 模糊信息估计特征——轮廓锐度

2．2．2 基于轮廓锐度的轮廓提取算法

2．2．3 深度分配与优化

2．2．4 算法描述

2．3 实验结果与分析

2．3．1 轮廓锐度信息对深度信息提取的影响

2．3．2 深度图优化

2．3．3 深度信息提取性能比较

2．4 基于FPGA的IP核设计

2．4．1 轮廓跟踪提取模块

2．4．2 深度图像生成模块

2．4．3 深度图优化滤波模块

2．4．4 硬件IP核连接

2．4．5 总体实现及测试

2．5 本章小结

第3章 基于邻域相关信息的改进Census变换的双目立体匹配算法

3．1 基于区域匹配的双目立体匹配算法

3．1．1 基于区域匹配的双目立体匹配算法原理

3．1．2 非参数变换

3．1．3 基于Census变换的立体匹配算法

3．2 基于邻域相关信息的改进Census立体匹配算法

3．2．1 基于邻域相关信息的改进Census变换

3．2．2 基于改进Census变换的立体匹配算法

3．2．3 算法描述

3．3 实验结果

3．3．1 Census变换窗口对匹配效果的影响

3．3．2 算法匹配性能评估

3．4 基于FPGA的硬件架构

3．4．1 改进Census变换模块

3．4．2 匹配及代价聚合模块

3．4．3 后处理模块

3．4．4 性能评估

3．5 本章小结

第4章 立体匹配中快速代价聚合算法的研究

4．1 基于层次化算法的立体匹配算法

4．1．1 层次化块匹配立体匹配算法

4．1．2 层次化代价聚合算法

4．2 快速层次化代价聚合的立体匹配算法

4．2．1 代价体金字塔结构

4．2．2 层次化代价聚合

4．2．3 具有保边特性的上采样

4．2．4 层次化代价聚合的立体匹配算法描述

4．2．5 实验结果

4．3 适于硬件实现的自适应权重代价聚合算法

4．3．1 适于硬件的自适应权重算法改进

4．3．2 适于硬件实现的自适应权重立体匹配算法描述

4．3．3 算法的硬件实现

4．3．4 实验结果及分析

4．4 小结

第5章 改进Patchmatch和切片采样粒子置信度传播的视差估计算法研究

5．1 基于Patchmatch和粒子置信度传播的视差估计算法

5．1．1 基于Patchmatch的视差估计

5．1．2 置信度传播视差估计算法

5．1．3 基于Patchmatch和粒子置信度传播的视差估计算法

5．2 改进Patchmatch和切片采样粒子置信度传播的视差估计算法

5．2．1 具有边缘特性的改进Patchmatch算法

5．2．2 切片采样粒子置信度传播

5．2．3 算法描述

5．3 算法实验结果的评估与分析

5．3．1 切片重采样粒子置信度传播性能估计

5．3．2 经典测试图算法性能分析比较

5．3．3 倾斜平面及非前向平行平面测试图的性能分析

5．4 小结

6．1 工作总结

6．2 展望

参考文献

致谢

攻读博士期间发表和录用的学术论文

攻读博士学位期间参加的主要科研项目