结合TOF相机和立体相机的3D立体成像系统研究

摘要

3D立体成像是当前3D立体视觉领域研究中最为基础的一个环节。在3D立体成像过程中，如何获取场景的真实深度信息是关键。基于所获得的场景深度信息，结合该场景的彩色图像，经过恰当的2D转3D方法进行图像处理就能得到可以被人眼通过相应的观看方式感知到3D立体效果的图像。当前研究领域对场景深度信息的获取主要有两种方法：一种是使用立体相机或多视角相机群获取到场景的多角度彩色图像，再采取立体匹配算法进行不同视图的视差图估计，得到的视差图间接地反映了深度信息；另一种是利用深度相机获取场景的深度图像，得到的深度图直接地反映深度信息。然而就获得的深度图像质量而言，目前应用较为广泛的深度相机和立体相机有着各自的优缺点：深度相机得到的深度图精确度相对较高但分辨率较小，立体相机获得的彩色图像组经立体匹配算法估计得到的视差图分辨率相对较高但误匹配率较大。因此，如何获取场景的真实深度信息并同时保证其质量和分辨率便于其他研究算法的应用，成为相机成像系统的主要研究目标。
　　本研究主要内容包括：⑴结合深度相机Time-of-Flight(TOF)和三目相机，搭建相机软硬件平台。启动相机并分别对各个相机进行相机坐标系与世界坐标系之间的单独标定，以及TOF相机与三目相机之间的立体标定，实现将两个相机的成像投影到同一个图像平面。⑵搭建一个基于快速WMF算法的S3D成像系统。在相机标定的基础上，为了匹配立体相机获取的高分辨率彩色图像 R，首先对TOF获取的低分辨率深度图像D进行双三次内插法上采样得到Du，其次对存在一定噪声和由相机标定参数误差引起的无深度值区域的Du进行合理截图得到Dcrop，然后将Dcrop结合R进行快速加权中值滤波得到分辨率较高且质量较好的Dref，最后将滤波后的Dref与彩色图像R作为输入，经过DIBR算法渲染可在几秒的时间内生成当前场景的S3D红蓝视图。由于TOF相机性能特点，系统获取到的Dref依然存在些许细微噪声以及某些特殊场景下的反光平面、超出TOF相机测量区域的深度值存在斑状不平滑的情况，因此设想利用三目相机得到该场景的视差图，再将其与深度图进行合理的图像融合以得到更高质量的深度图，进而得到能带来更好3D体验的立体3D图像。⑶提出一种利用确定性区域检测和自适应视差调整的保护边缘的立体匹配方法，此方法主要贡献是针对误匹配的区域进行确定性检测和视差调整，以得到高质量的视差图。首先对左右视图进行采用均值漂移算法进行分割图像，其次参照图像的分割信息分别估计左右视图的视差值，然后对左右视差图进行区域确定性检测并标记，最后利用每个像素的颜色相似度、空间距离和所在区域所标记的确定性信息设定一个自适应权重，对视差的精确度进行调整。实验证明该方法能够有效地保存物体边界处的视差不连续性，从而得到高质量的视差图。

目录

封面

声明

英文摘要

中文摘要

Illustrations Index

Tables Index

Symbols Table

Abbreviations Table

目录

Chapter 1 Introduction

1.1 Background

1.2 Main contribution

1.3 Thesis organization

Chapter 2 Related works

2.1 3D imaging system

2.2 Depth upsampling

2.3 Stereo matching

Chapter 3 TOF-Based Depth Imaging System Using Fast Weighted Median Filtering

3.1 Introduction

3.2 Related works

3.3 Camera calibration

3.4 Depth upsampling

3.5 S3D image generation

3.6 Experimental results

3.7 Conclusion and future work

Chapter 4 Boundary-Preserving Stereo Matching with Certain Region Detection and Adaptive Disparity Adjustment

4.1 Introduction

4.2 Related works

4.3 Segmentation-based disparity estimation

4.4 Certain region detection

4.5 Adaptive disparity adjustment

4.6 Experimental results

4.7 Conclusion and future work

Chapter 5 Summary and Future Plans

5.1 Summary

5.2 Future plans

参考文献

致谢

Biography