基于光场焦点堆栈的鲁棒深度估计

摘要

传统的深度估计方法通常利用普通相机记录的二维图像进行单目或多目深度估计.因这种方式仅利用了光线的强度信息,忽略了它的方向信息,其深度估计的效果并不理想.相比之下,光场记录的信息不仅包含了光线的强度信息,还包含了方向信息.因此,基于深度学习的光场深度估计方法越来越引起该领域研究人员的关注,现已成为深度估计方向的研究热点.然而,目前大部分的研究工作从极平面图像(EPI)或子孔径图像着手进行深度估计,而不能有效利用焦点堆栈含有的丰富深度信息.为此,本文提出了基于光场焦点堆栈的鲁棒深度估计方法.本文设计了一种上下文推理单元(CRU),它能够有效地挖掘焦点堆栈和RGB图像的内部空间相关性.同时,本文提出了注意力引导的跨模态融合模块(CMFA),对上下文推理单元提取的空间相关性信息进行有效融合.为了验证本方法的准确性,在DUT-LFDD和LFSD数据集上进行了广泛的验证.实验结果表明,本文方法的准确率相比现有的EPINet和PADMM分别提高了1.2%和2.25%.为进一步证明本方法的有效性,我们在现有公开的手机数据集上进行了反复的测试.可视化测试结果表明,本方法在普通消费级手机获取的图像上亦可取得满意的效果,能够适应现实应用场景.