基于卷积神经网络的光场图像的深度估计及超分辨的研究

摘要

光场相机例如Lytro公司生产的光场相机以先拍照后聚焦而闻名.光场相机可以在一次拍照的过程中同时获得空间信息和角度信息,它可以记录光传播的方向.由于光场相机可以拍摄丰富的信息,使得它在重聚焦、深度估计、图像显著性检测、材料识别和显微镜下恢复透明物体方面展现突出的优势.虽然用光场数据进行的深度估计比基于双目立体视觉系统的深度估计更简单,更有效,但光场的深度估计仍然存在一些挑战性的问题.它的准确度仍然受到遮挡和噪声的影响.而且,当使用卷积神经网络进行对光场数据进行深度估计的时候,光场数据的数目不足以达到用卷积神经网络来模拟光场数据和相对应的深度关系时所需要的数目.光场数据还有一个自身的缺点就是光场的传感器的数量是一定的,所以光场的分辨率是受传感器及微透镜阵列所限制的.和传统的相机所拍摄的图像的分辨率相比光场某一视角的图片的分辨率要低得多,这使得光场的适用范围受到限制. 这篇论文的主要目的就是光场的深度估计和光场的超分辨.基于这个目标,首先采用支持向量机和以分割为引导的双边滤波来解决深度估计中的遮挡问题,其次用滤波的结果来产生网络训练所需的数据的深度的真实值,然后采用网络来估计光场的深度.最后,提出了一种以视差为补偿的光场的超分辨方法.论文的主要工作如下: 1.提出了基于光场图的采用以分割为引导的双边滤波的深度估计.首先,通过对获得的光场数据进行虚拟的重聚焦来获取不同聚焦深度的图片.其次,采用支持向量机(SVM)来区分受遮挡的像素点和没有被遮挡的普通的像素点,对这两中不同的像素点采用不同的方法来计算深度代价.最后,对光场图的中心图像进行分割以分割的结果作为双边滤波的引导来对获得的深度图进行保边平滑.实验结果表明本算法在遮挡的处理和保边的处理都能取得较好的结果. 2.为了解决光场训练数据集的不足的问题,提出的像素级的光场的深度估计方法.此外,为了从有限的光场数据集中学习到很好的深度,根据光场的数据和深度的真实值生成了一组数据集.提出了一种基于卷积神经网络的光场的深度估计方法.首先,计算出不同聚焦的图像并把它们按顺序组合成一个多维图像.其次,训练卷积神经网络学习多维图像和深度图之间的关系.然后,采用马尔科夫随机场(MRF)和网络输出结果的置信度来细化估计的深度.最后,用L0梯度最小化来消除由MRF而引起的低振幅的结构.实验结果表明我们的算法在遮挡的处理和深度图边缘的保存方面优于其它先进的算法. 3.提出了基于视差补偿预测光场图像的超分辨方法.采用卷积神经网络直接学习出了低分辨率的光场数据和高分辨的新视角的之间的映射关系.为了实现虚拟视角的合成,采用基于互相关层的偏移的模型来更好的捕捉不同图像间的关系.首先,用视差估计网络估计出水平视差和垂直视差.然后,根据估计到的视差实现对低分辨率的输入图像进行偏移到估计的视角的位置产生低分辨率的新视角图.最后,采用高效的亚像素卷积网络对新视角图进行超分辨.实验结果表明提出的方法和真实值更接近和其他方法相比在PSNR和SSIM指标上高于其他算法.

目录

第一个书签之前

ABSTRACT

?aòa

Illustrations Index

List Index

Symbol Table

Abbreviations Table

Chapter 1Introduction

1.1Light Field Camera

1.1.1Light Field

1.1.2Light Field Camera

1.2Light Field Data

1.3Overview of Light Field Depth Estimation

1.4Overview of Light Field Super-resolution

1.5Contribution and Overview

1.5.1Contribution

1.5.2Overview

Chapter 2Background

2.1Computational Photography

2.2Light Field Refocus

2.3Light Field Zoom

2.4Light Field Depth Estimation

2.4.1Epipolar Plane Image

2.4.2Depth From Defocus

2.4.3Depth From Correspondence

2.5Convolution Neural Networks For Super-Resolution

2.6Bilateral Filter and Joint bialteral filter

Chapter 3Occlusion Robust Light Field Depth Estimation Using Segmentation Guided Bilateral Filtering

3.1Introduction

3.2Proposed Method

3.2.1Refocus

3.2.2SVM Classification

3.2.3Occlusion Robust Depth Estimation

3.2.4Segmentation Guided Bilateral Filtering

3.3Experimental Results

3.4Conclusions

Chapter 4Light Field Depth Estimation Based on Convolutional Neural Network

4.1Introduction

4.2Proposed Method

4.2.1Training Data Regeneration

4.2.2CNN Architecture

4.2.3Data Augmentation

4.2.4Depth Prediction

4.2.5Denoising in Depth

4.3Experimental Results

4.3.1Quantitative Evaluation

4.3.2Qualitative Evaluation

4.3.3Limitation and future work

4.4Conclusion

Chapter 5Light Field Image Super-resolution Based on Disparity Compensated Prediction

5.1Introduction

5.2Proposed Method

5.2.1Disparity Estimation

5.2.2View Synthesis

5.2.3Light Field Super-resolution

5.2.4Loss Function

5.3Experimental result

5.4Conclusion

Chapter 6Summary and Future Work

6.1Summary

6.2Future Work

Reference

Acknowledgment

Biograph