基于多模态深度神经网络的深度恢复

摘要

深度恢复是计算机视觉领域的一个经典问题。近年来，基于深度神经网络的单视图深度恢复受到了学术界广泛关注。然而基于深度神经网络的单视图深度恢复往往只能生成模糊的估计结果，由于其固有的不适定性，无法恢复出准确一致的场景尺度。
　　为了解决这一问题，本文提出一种基于深度神经网络和多模态输入的深度估计模型，通过结合传统方法（立体匹配、硬件传感器等）得到的可靠深度区域，恢复得到更为准确且稠密的深度估计结果。该模型以RGB图像和稀疏但较为可靠的深度采样为输入，通过对抗学习的方法，提取来自输入的有效信息，并对场景深度进行建模，实现传统方法和基于深度神经网络单目预测方法的优劣互补，达到较好的深度恢复结果。
　　具体来说，提出的深度恢复模型分为两个主要部分:初始深度估计部分和深度求精部分，以由粗到精的方式实现场景深度估计。深度求精部分创新性地采用了尺度残差学习方法，大大提升了系统的性能。另外，为了排除训练数据中深度采集噪声对系统训练造成的影响，本文提出了一种稀疏判别网络，使得网络的训练过程更加稳定，预测结果更加可靠。
　　大量的实验结果证明，相比现有的其他基于深度神经网络的单视图深度预测方法，本文提出的方法无论在泛化能力还是预测准确性上都取得了显著提升。例如，就RMSE(均方根误差)一项而言，本文方法的深度估计误差在NYU-Depth-V2数据集[1]上降低了0.39米，在KITTI深度预测数据集[2]上降低了0.85米。除此之外，本文成功将本方法应用于场景深度恢复、雷达（LiDAR）数据补全和三维场景重建等应用场景，进一步验证了模型的实用性和可靠性。

目录

声明

摘要

图目录

表目录

1．1 研究背景

1．2 本文工作和贡献

1．3 本章小结

2 相关工作概览

2．1 现有的深度恢复工作

2．1．1 基于传统视觉方法的深度恢复

2．1．2 基于苍积神经网络的深度预测

2．2 深度学习与深度神经网络

2．3 生成对抗网络及其应用场景

2．4 大型RGB-深度数据集

2．4．1 NYU-Depth-v2数据集

2．4．2 KITTI深度预测数据集

2．4．3 TUM RGB-D数据集

2．5 本章小结

3 基于生成对抗网络的多模态深度恢复

3．1 问题重述

3．2 多模态深度恢复网络MM-Net概览

3．3 深度初始化估计部分网络结构

3．4 深度求j悯分网络结构

3．4．1 条件生威对抗网络设计

3．4．2 尺度疲差学习

3．4．3 穑琉深度采样

3．5 损失函数

3．6 本章小结

4 有效性验证和实验分析

4．1 实验数据集准备

4．1．1 NYU-Depth-v2数据集

4．1．2 KITTI深度预测数据集

4．2 实验细节及配置

4．3 模型剪枝实验和有效性验证

4．3．1 平滑项有效性验证

4．3．2 对抗损失项有效佳囊睫

4．3．3 不使用错琉判别网络

4．3．4 不使用残差求特

4．4 与其他相关工作的实验对比

4．5 与传统立体匹配方法的结合实验

4．6 在漩光冒达数据补全上的应用

4．7 应用于三维重建系统

4．8 本章小结

5．1 总结

5．2 展望

参考文献

致谢