融合立体视觉与深度传感器的三维重建算法

摘要

计算机视觉技术快速发展，在很多领域都受到关注，其中三维重建技术，更是视觉研究中的热点问题，应用在计算机动画、医学图像处理、虚拟现实和航天等领域。深度获取是三维重建的一个前提，而在一些对精度要求高的应用中，则需要更加精确的深度信息。
　　目前，深度获取的方式主要分两种：被动获取方式和主动获取方式。被动获取方式主要是通过多摄像机同时获取场景的多幅图片，通过立体匹配来获取场景中物体的深度信息。主动的方式通过深度相机对场景主动照明，投射特殊光线来获取深度信息。被动立体匹配方式获取深度的效果受场景影响较大，在图像弱纹理区域和遮挡区域得不到准确的深度信息。而主动深度传感器方式获取的深度图不受这些场景因素的影响，在这些特殊区域能有良好的表现，但深度传感器也有自身的缺点，如得到的深度图高噪音，分辨率低，而且在透明区域和特殊材料物体处的效果也非常受限。本文采用联合被动和主动获取深度信息的方式，融合立体视觉与深度传感器获取高精度的深度图，并以这融合后的深度图来进行三维重建。
　　（1）为了能更好融合立体匹配和深度传感器的深度信息，需要对多相机系统进行联合标定。先分析了相机的成像模型，研究了相机标定的原理，然后采用经典的基于平面棋盘的标定方法对相机系统进行标定。
　　（2）研究了立体匹配的原理，对立体匹配的一般过程进行了总结，重点研究了基于马尔科夫的置信传播算法，为深度融合做准备。
　　（3）融合立体匹配和深度传感器信息，将这些信息整合到基于马尔科夫求取最大后验概率框架(MAP-MRF)下进行建模和最优化计算，把高精度深度图求取问题建模成能量函数最优化问题，通过置信传播优化能量函数来实现高精度深度图融合。
　　（4）以融合后的高精度深度图为基础，采用平面投影法进行三维重建，用OpenGL图形库进行绘制显示，得到具有真实感的三维重建场景。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 选题背景与意义

1.2 国内外研究现状

1.3 本文研究内容及组织结构

2 相机标定

2.1 联合Kinect和立体相机的重建系统构建

2.2 相机标定

2.3 标定实验与结果分析

2.4 本章总结

3 立体匹配的基本理论和置信传播算法研究

3.1 极线校正

3.2 双视点立体匹配模型

3.3 立体匹配算法一般步骤

3.4 常见立体匹配算法

3.5 基于置信传播算法

3.6 本章总结

4 深度图融合

4.1 基于MAP-MRF的高精度深度图重建原理

4.2 深度传感器与立体相机间的转换关系

4.3 多传感器高精度深度图融合算法实现

4.4 实验效果与分析

4.5 本章小结

5 三维重建

5.1 三角网格剖分理论基础

5.2 经典的三角剖分算法

5.3 空间三维点集的Delaunay三角剖分算法

5.4 基于深度图像的三维重建流程

5.5 实验结果与分析

5.6 本章总结

6 总结与展望

6.1 工作总结

6.2 工作展望

参考文献

致谢

个人简历、在学期间发表的学术论文与研究成果