语义导向多尺度多视图深度估计算法

摘要

目前利用深度学习进行多视图深度估计的方法可以根据卷积类型可以大致分为两类。其中,基于2D卷积网络的模型预测计算速度快,但预测精度较低;基于3D卷积网络的模型预测精度高,却存在高硬件消耗。同时,多视图中相机外部参数的变化使得模型无法在物体边缘、遮挡或纹理较弱区域生成高精度预测结果。针对上述问题,提出了基于3D卷积的语义导向多尺度多视图深度估计算法,在保证预测精度的同时降低硬件消耗。同时针对遮挡、纹理较弱等区域,利用网络自身提取的图片特征作为先验导向信息,增强网络对全局信息的感知,结合多尺度融合方法增强网络的鲁棒性。在公开数据集的测试对比中,提出的方法预测深度图结果更加清晰,并能有效地应对图片中物体边界、遮挡等区域。