基于卷积神经网络和融合ToF与立体数据的高质量深度图获取算法研究

摘要

场景深度信息的估计是计算机视觉的一个基本问题，并具有多种应用如机器人视觉、自动导航、目标跟踪，以及动作识别等。到目前为止，研究人员已经提出了许多场景深度信息的估计方法，主要分为主动式深度信息估计和被动式深度估计。主动式深度估计包括利用ToF(Time“Flight)相机或Kinect相机这样的主动装置获取深度。被动式深度估计主要利用双目相机进行立体匹配从而通过估计的视差来获取场景的深度信息。被动立体匹配在具有较多纹理信息的场景上具有很好的效果，可以提供高分辨率的场景深度图估计，但是在具有重复模式纹理或图像平滑区域将很难对深度进行估计。主动方式如利用ToF相机和Kinect相机在进行深度估计时则不受场景表面纹理的影响。然而，获取的深度图的分辨率很低，同时会产生系统误差，如在深度不连续边界区域的深度交错、物体不同反射率引起的噪声和飞行像素，尤其是在低反射率区域，出现系统误差的概率会大大增加。因此，获取高质量的深度信息可以通过三个方面着手包括：1．通过对低分辨的ToF相机获取的深度图像进行超分辨重建和去噪。2．通过设计更鲁棒的立体匹配算法，解决传统立体匹配算法在光滑和纹理重复区域深度难以估计的问题。3．利用ToF相机和立体匹配深度获取方式的互补性，将ToF和立体匹配数据进行融合从而产生高质量的深度图。针对这三种方式，我们在前人研究的基础上提出了自己的深度图像增强算法。本文的主要工作如下： 1．提出了一种新的基于边缘引导的单幅深度图的超分辨率算法。该算法首先利用三次插值对深度图进行初步上采样，然后提取上采样后深度图的边缘，该边缘是低质量的。随后利用深度卷积神经网络(CNN)将低质量边缘转化为高质量的边缘。最后在高质量边缘图的引导下，采用总变分(TV)模型对初始深度图进行上采样。利用高质量边缘作为引导将可以避免直接通过深度数据进行估计带来的伪影误差，而且可以去除边缘的阶梯效应，获取锐利的边缘。 2．提出了一种基于3D卷积神经网络的立体匹配算法(3DCNN)。传统的深度立体匹配总是依靠暹罗网络提取左右对应图像块的特征，确定图像块匹配与否从而获取视差信息。但是这种方式很难处理遮挡和表面光滑的场景。本文提出了一个新的算法，利用3D卷积提取场景的颜色特征和视差特征。将该问题转化为多分类问题，分类的个数是视差的取值范围。同时本文提出了一种新的彩色图像引导滤波器来对图像进一步处理，进一步提高了算法的准确度。 3．基于本文设计的边缘选择联合滤波器，通过融合ToF相机获取的深度图和立体匹配视差图获得高质量的深度图。利用边缘选择联合滤波器，可以从低分辨的ToF深度图、场景的色彩图和立体匹配的视差图获得对应的高质量的边缘图。同时分别对ToF深度图和立体匹配深度图的置信度进行估计，最终利用提出的总变分模型，将获得的边缘图像作为数据平滑项的权值，成功地融合了ToF和立体匹配深度图，在保留深度图边缘的同时消除了深度图的噪声。

目录

第一个书签之前

ABSTRACT

?aòa

Illustrations Index

List Index

Symbol Table

Abbreviations Table

Chapter 1Introduction

1.1Depth map acquired by ToF camera

1.1.1Principle of ToF camera

1.1.2Properties of TOF camera

1.2Depth map acquired by stereo matching

1.2.1principle of stereo matching

1.2.2Properties of stereo matching

1.3Fusion ToF depth map and stereo matching

1.4Contributions and Overview

Chapter 2Related Work

2.1TOF depth image super resolution

2.2stereo matching

2.3Fusion of TOF depth data and stereo data

Chapter 3Single Depth Image Superresolution Using Convolutional Neural Networks

3.1Introduction

3.2Proposed Method

3.2.1Create Training Dataset

3.2.2Progressive Deep convolution Neural Network

3.2.3Edge Map Refinement

3.2.4Variation synthesis

3.3Experimental Results

3.4Conclusions

Chapter 4Patch-Based Stereo Matching Using 3D Convolutional Neural Networks

4.1Introduction

4.2Proposed Method

4.2.1Creating Dataset

4.2.2Architecture of 3D CNN

4.2.3Color image guided filter

4.3Experimental Results

4.4Conclusions

Chapter 5Variational Fusion of Time-of-Flight and Stereo Data Using Edge Selective Joint Filtering

5.1Introduction

5.2Proposed Method

5.2.1Pre-processing

5.2.2Edge Selective Joint Filtering

5.2.3Variational Fusion

5.3Experimental Results

5.4Conclusions

Chapter 6Summary and future work

6.1Summary

6.2Future Work

Reference

Acknowledgment

Biograph