基于三维模型匹配的单张图像物体深度恢复

摘要

从视频和图片中恢复三维信息是计算机视觉领域里的一个基本问题，有着广泛的应用。例如，高质量的深度信息不仅可以直接用来重建场景的三维结构、辅助机器人导航，而且还能帮助计算机更好地识别和理解图像中的物体和场景。特别是随着机器人、虚拟现实和增强现实等应用的兴起，如何让计算机更好地根据所拍摄的图像或视频去分析和理解三维世界变得越来越重要。由于很多时候，我们只能获取单张图像，因此如何为单帧图像恢复深度具有重要的理论研究意义和应用价值。随着三维模型数据集的快速增长，许多研究人员开始尝试利用这些先验模型来进行单帧图像的物体深度恢复。但是，现有的方法一般要求输入图片与训练集中的数据有较高的匹配度，难以处理输入图片中的物体与模型库中的三维模型差异较大的情况;而且，很多方法要求物体的分割信息作为物体深度恢复的先验信息，这很大程度上限制了算法的应用场景。
　　本研究提出了一个无需预先分割的单张图像物体自动深度恢复方法。首先，将图片与训练集中的数据进行图片匹配，求得候选集，并根据候选集图片的结构特征进行自适应分块，在此基础上进行分块匹配，将分块匹配的结果作为深度预测的依据，有效解决了输入图片与数据集中的三维模型无法很好匹配的情况。其次，基于分块匹配的结果对物体进行自动分割，实现了高质量的物体自动分割和深度估计。再次，针对通过匹配得到的深度在物体不连续边界区域比较粗糙的情况，提出使用改进的分割结果来进行约束，对空洞区域进行深度补全，并进行双边滤波使得深度平滑化，从而有效提高了深度恢复的质量。一系列的实验结果和与其它方法的对比证明了所提方法的有效性。

目录

声明

摘要

图目录

表目录

第1章 绪论

1．1 课题背景

1．2 相关工作

1．2．1 场景深度恢复

1．2．2 物体深度恢复

1．2．3 物体分割

1．3 本文的研究内容和贡献

1．4 总结

第2章 分块匹配

2．1．2 视角判断

2．1．3 HOG特征

2．1．4 LDA模型

2．1．5 图片匹配算法

2．2 分块匹配

2．2．1 问题描述

2．2．2 自适应分块

2．2．3 分块匹配算法

2．2．4 全局优化

2．3 选框调整

2．3．1 问题描述

2．3．2 RANSAC自适应选框调整

2．4 姿态调整

2．4．1 问题描述

2．4．2 仿射变换

2．5 本章总结

第3章 基于分割信息的深度恢复

3．1 前景分割

3．1．1 问题描述

3．1．2 物体分割

3．2 深度融合

3．2．1 问题描述

3．2．2 深度融合与优化

3．3 本章总结

第4章 实验结果

4．1 训练集构建及预处理

4．1．1 问题描述

4．1．2 数据库构建

4．2 与构造的数据比较

4．3 与Thomas et al．文献[1]比较

4．4 与Kar et al．文献[2]比较

4．5 与Su et al．文献[3]比较

4．6 本章总结

第5章 总结

参考文献

致谢