基于非局部联合局部信息的深度图像质量提升

摘要

随着影像技术的飞速发展以及人们对机器视觉要求的不断增加，传统基于彩色图像的机器视觉已经不能满足现实中各类基于三维影像的应用。与光学彩色图像相比，深度图像包含了场景中物体表面从某视点观察的距离信息，即深度信息，由于其不受场景、物体表面反射特性和光照的影响，可以更准确地表示物体表面的三维信息。借助深度图像，可以弥补传统光学图像在表征三维信息能力方面的不足。当前，深度图像在计算机视觉、模式识别、人机交互等领域有着广泛的应用。
　　深度图像获取技术可分为被动式与主动式两种方式。被动式方法目前主要有基于单目、双目及多目等方法。而立体匹配技术，其通过对两幅校正的图像确定基准图像中每个像素的视差值，是双目立体视觉中的关键步骤，由于匹配的精度直接影响深度图像的质量，多年来一直是研究者们研究的重点，然而目前立体匹配技术在匹配的精度方面离实际应用仍有差距，研究一种具有较高精度的立体匹配方法有着重要的理论意义和实际价值。另外，激光雷达、TOF相机、基于结构光的 Kinect等这类主动式深度传感器由于其自身深度传感方法的缺陷，所获取深度图像往往存在分辨率低、空洞、噪声等问题，为了得到高质量的深度图像，需要对其进一步进行增强处理，从而提高其实用价值。本文着眼以上两点，基于深度图像的非局部与局部特征，开展了以下2项工作：
　　1.提出了一种非局部联合局部像素代价聚合的立体匹配方法。该方法基于修正的非局部均值滤波器，将高权值的像素引入了传统基于自适应权重的代价聚合，拓展了代价聚合所选取的像素范围。另外，在对初始视差图进行精化后处理时采取了像素分类以及二次代价聚合策略来生成最终视差图。利用 Middlebury平台所提供的测试图像与实拍图像进行测试所得到的实验结果表明，相比基于自适应权重的代价聚合方法，该方法能够一定程度上改善物体边缘附近像素视差的估计。同时，对遮挡像素视差的估计也有一定改善。提高基于双目立体视觉法所获取的深度图像的质量。
　　2.提出了一种基于低秩与二阶平滑正则项的深度图像增强模型。该模型结合与深度图像对准的彩色图像，综合考虑了深度图像非局部相似块的深度相关性及局部深度的二阶平滑性。为了求解该模型的最优解，本文利用交替方向乘子法(ADMM)将原问题拆分为2个子问题交替进行求解。通过模拟仿真实验与 Kinect实际图像实验证明，与基于传统局部滤波器的方法相比，本模型能够克服其所可能出现的深度突兀与伪纹理现象。

目录

封面

声明

中文摘要

英文摘要

插图索引

表格索引

缩略语对照表

目录

第一章 绪论

1.1 研究背景与意义

1.2 深度图像获取技术国内外研究现状

1.3 论文内容与结构

第二章 深度图像的获取与增强

2.1 双目视觉原理

2.2 双目视觉中的立体匹配

2.3 主动式深度图像获取与增强

2.4 本章小结

第三章 基于非局部联合局部代价聚合的立体匹配

3.1 引言

3.2 自适应权重代价聚合原理

3.3 非局部均值滤波器的权重

3.4 基于非局部联合局部代价聚合的立体匹配

3.5 实验结果与分析

3.6 本章小结

第四章 基于低秩与二阶平滑正则项的深度图像质量提升

4.1 引言

4.2 图像的低秩表示理论

4.3 基于低秩与二阶平滑正则项的深度图像质量提升

4.4 实验结果与分析

4.5 本章小结

第五章 总结与展望

5.1 本文工作总结

5.2 工作展望

参考文献

致谢

作者简介