单目视频深度信息提取技术研究

摘要

近两年来，3D产品市场的火热，表明了人们在娱乐时代对视觉体验的不断追求。无论是虚拟现实领域，辅助驾驶领域，3D产品所需要的最重要的就是深度信息。高质量的深度信息不但能够合成高质量的立体视频，模拟人在场景中左右两眼看到的景象，带给人独特的3D体验；还能够给辅助驾驶提供强有力的支撑。如何从单目视频中提取高质量的深度信息，成为人们关注的一个热点。 当前从单目视频中提取深度信息主流的方法主要是基于SFM(Structure From Motion)的方法，它主要包含两个部分。第一部分是对视频帧的姿态进行估计，第二部分是对深度信息进行提取。本文针对深度信息提取过程中所出现问题提出了四种解决方案。 第一种方案是通过全局式SFM以及光流匹配计算深度图。为了解决传统增量式SFM带来的漂移误差导致相机姿态估计不准的问题，本文采用了全局式SFM(Global SFM)的方式进行相机姿态估计;为了解决传统SFM提取深度信息稀疏的问题，本文提出了稠密光流作为像素匹配，通过三角测量计算深度图的方式。第二种方案通过多视角代价聚合获得初始深度图，再依次经过最小生成树在代价空间滤波优化以及引导滤波优化深度图边缘，获得高质量的深度图。为了使得到的初始深度图较为准确，本文提出了基于方差准则的平面扫描方法；为了消除初始深度图中存在的深度噪声点，本文采用了基于最小生成树的滤波优化方法；为了使提取的深度图在边缘部分更加准确，本文提出了基于引导滤波的快速滤波优化方法。第三种方案针对高速拍摄设备拍摄的窄基线视频提出了基于单视角扩散得到深度图的方法，解决了当前窄基线视频深度信息提取问题。第四种方案针对从无标签的单目视频中端到端的估计深度信息的深度学习框架，本文提出了基于DispNet以及CRF-as-RNN的卷积神经网络模型CRF-SFM-Net。实验表明，本文提出的四种方案都一定程度上解决了相应的问题，获得了很好的效果。

目录

第一个书签之前