基于非参数化学习的单目深度估计与分辨率增强方法研究

摘要

随着计算机视觉的发展，越来越多的研究不再局限于场景的二维平面信息，转向更加真实的三维空间信息，深度信息的获取和处理已成为研究的热点方向。深度图像在三维重建、图像重聚焦、机器人导航、2D-3D视频转换等领域有着广泛的应用。本文以场景深度的获取为切入点，关注于单目深度估计这种相对复杂的深度获取技术，针对现有方法中存在的问题，提出了改进措施;同时针对深度图像分辨率增强，目前方法中忽略的情形，提出了一种以低分辨率彩色图像为指导的深度图像分辨率增强算法，取得了较好的实验效果。
　　本文的主要工作包括以下三个方面:
　　(1)针对单目图像深度估计方法进行了总结和分析。本文在梳理各种用于深度估计的深度线索之后，详细介绍了两种常用的基于深度线索的单目深度估计方法:基于线性透视的方法和基于运动视差的方法，分别介绍了算法的原理和步骤。之后介绍了两种基于机器学习的深度估计方法:参数化学习方法和非参数化学习方法，以便为后面改进方法的介绍做铺垫。
　　(2)改进了一种基于非参数化机器学习的深度图像生成方法。该方法首先以特征词袋模型与HOG特征组成的联合特征向量，作为衡量彩色图像与深度图像结构一致性的标准，从训练集中选出与待估计图像结构相似的彩色图像-深度图像样本对，对样本对中的深度图像基于高斯权值进行融合，再对融合后的深度图像施加联合滤波，最终获得待估计彩色图像对应的深度图像。相比之前的方法，从定量和定性两方面都有效提高了生成深度图像的质量。
　　(3)提出了一种以低分辨率彩色图像为指导的深度图像分辨率增强方法。该方法首先采用不同类别的图像分辨率增强算法对输入彩色图像上采样，得到高分辨率彩色图像并以此作为参考图像，采用基于二阶总广义变分方法，将低分辨率彩色图像增强得到的图像作为正则约束项，添加图像边缘信息，构建目标函数，将深度图像分辨率增强转化为最优求解问题，再通过原-对偶方法求解，最终得到高分辨率深度图像。本文探讨了之前被相关方法所忽略的情形，所提出的方法可以适用于任意分辨率的彩色指导图像。通过相关发现，低分辨率彩色图像放大后指导深度图像分辨率重建，可以得到与使用高分辨率彩色指导图像相近甚至更好的结果，这一结论对相关问题的研究和应用具有一定参考意义。

目录

声明

致谢

摘要

第一章 绪论

1．1 研究背景和意义

1．2 国内外研究现状

1．2．1 基于图像的深度估计

1．2．2 深度图像分辨率增强

1．3 研究内容和组织结构

1．3．1 研究内容

1．3．2 组织结构

第二章 经典的单目图像深度估计方法

2．1 基于深度线索的深度估计算法

2．1．1 基于线性透视的深度估计算法

2．1．2 基于运动视差的深度估计算法

2．2 基于机器学习的深度估计算法

2．2．1 基于参数化学习的深度估计算法

2．2．2 基于非参数化学习的深度估计算法

2．3 本章小结

第三章 基于非参数化学习的单目深度估计算法

3．1 引言

3．2 联合词袋模型和HOG特征的图像检索方法

3．2．1 SIFT特征和HOG特征

3．2．2 特征词袋模型

3．2．3 图像检索

3．3 基于高斯权值的深度图像融合方法

3．4 基于联合双边滤波的深度图像优化方法

3．5 实验结果

3．6 本章小结

第四章 深度图像分辨率增强算法

4．1 引言

4．2 以低分辨率彩色图像为指导的深度图像分辨率增强算法

4．2．1 算法框架

4．2．2 彩色图像分辨率增强

4．2．3 以高分辨率彩色图像为指导的深度图像分辨率增强

4．3 实验结果

4．3．1 Middleburg数据集

4．3．2 ToFMark数据集

4．4 本章小结

第五章 总结与展望

5．1 论文总结

5．2 论文展望

参考文献

攻读硕士学位期间的学术活动及成果情况