基于微透镜阵列的光场图像深度估计研究

摘要

从图像和视频中恢复真实的深度信息是计算机视觉领域的经典问题，在机器人学、目标跟踪、场景理解和三维重建中发挥重要作用。传统相机仅部分记录了真实世界在二维平面上的投影，难以反映实际场景的三维结构，从而阻碍了图像和视频的深层次应用。Lytro是一种新型的微透镜阵列光场相机，同时捕获光线的位置信息和角度信息，经一次曝光可得到场景的多个视角、多组焦平面图像。光场相机由于其易操作性、稳定性、保留图片的重塑性等特点被广泛应用在图像深度估计领域。
　　光场是空间中任意点发出的任意方向的光线的集合。Lytro光场相机相较于传统相机，在主透镜和传感器中间插入一片微透镜阵列。来自物体上一点的光线通过主透镜聚焦于某个微透镜，而后经该微透镜分散出强度和方向分量，从而能记录整个光场，将传统的二维图像扩展到四维。然而Lytro相机设计者为了增大捕光率，将微透镜元件按照六边形排列，导致后期处理受到码间串扰的影响，大大增加了提取子孔径图像和进行数字重聚焦的难度，因此对原始光场图像进行校正是十分有必要的。
　　根据以上问题，本文重点研究Lytro图像的正交变换，继而探讨场景深度估计算法。本文主要研究内容如下:
　　(1)深入研究Lytro光场相机的硬件组成和成像机理，结合图像处理知识，针对微透镜元件的特殊排列方式，提出六边形到正交排列的校正算法。将微透镜与其覆盖的传感器像素对应起来，从原始二维传感器数据解码得到四维光场数据，以减少后期数据处理过程中码间串扰的影响，并对算法从理论与实验两方面进行验证。
　　(2)根据“自由光场”与“像素光场”之间的转换关系，提出基于“像素光场”的图像重聚焦算法，在提高算法效率的同时减少操作的复杂性。利用Lytro光场相机数字重聚焦特性，结合可变窗口的清晰度评价函数，提出基于聚焦线索的光场图像深度估计算法。最后通过仿真实验证明了该算法的有效性和正确性。
　　(3)利用Lytro光场相机子孔径图像之间的视差信息，结合引导滤波和图像分割工具箱，提出基于亚像素精度的子孔径图像立体匹配算法。同时保证了最终深度图的视觉效果和精度，并对算法从理论和实验两方面进行验证。
　　(4)针对算法(2)中由于窗口大小和位置导致的算法不稳定性，结合算法(3)获得的视差图，提出聚焦线索和视差线索相融合的光场图像深度估计算法，提高了算法的稳定性和鲁棒性。最后通过仿真实验证明了该算法的有效性。

目录

声明

摘要

1 绪论

1．1．2 研究背景及意义

1．2 国内外研究现状

1．2．1 光场成像技术研究现状

1．2．2 光场图像深度估计研究现状

1．3 本文主要研究内容及安排

1．3．1 主要研究内容

1．3．2 论文组织结构

1．4 本章小结

2 Lytro光场相机成像机理及校正算法研究

2．1 Lytro相机成像机理

2．1．1 光场及光场参数化

2．1．2 Lytro相机成像原理

2．1．3 Lytro图像的文件分析

2．2 Lytro原始图像校正

2．2．1 白色校正图像

2．2．2 建立微透镜网格模型

2．2．3 解码raw图像

2．3 本章小结

3 基于光场数字重聚焦的深度估计算法

3．1 光场数字重聚焦技术

3．1．1 光场相机数字重聚焦原理

3．1．2 像素光场重聚焦

3．2 目标聚焦度测量

3．2．1 基于拉普拉斯算子的聚焦度测量

3．2．2 基于索贝尔算子的聚焦度测量

3．2．3 基于图像灰度方差的聚焦度测量

3．2．4 聚焦度曲线高斯插值

3．3 仿真实验结果对比及分析

3．4 本章小结

4 基于亚像素精度的子孔径图像立体匹配算法

4．1．2 Lytro相机子孔径图像提取

4．1．3 光场极平面图(EPI)

4．2 基于子孔径图像的亚像素精度立体匹配算法

4．2．1 子孔径图像多标签亚像素偏移

4．2．2 立体匹配代价计算

4．2．3 聚集代价计算

4．2．4 优化及求精

4．3 仿真实验结果对比及分析

4．4 本章小结

5 基于多线索融合的光场图像深度估计算法

5．1 光场多深度线索分析

5．2 多线索融合的深度估计算法

5．3 实验结果对比及分析

5．4 光场图像深度估计系统

5．4．1 深度估计系统总体设计

5．4．2 原始图像校正模块

5．4．3 深度估计模块

5．4．4 系统实现

5．5 本章小结

6．1 本文的工作总结

6．2 未来工作展望

参考文献

攻读硕士学位期间发表的论文及所取得的研究成果

致谢