基于层级特征融合的室内自监督单目深度估计

摘要

针对目前自监督单目深度估计网络在充斥着大量低纹理、低光照区域的室内复杂场景中存在预测深度信息不精确、物体边缘模糊以及细节丢失严重等问题,本文提出一种基于层级特征融合的室内自监督单目深度估计网络模型。首先,通过映射一致性图像增强模块来处理室内图像,提升低光照区域可见性并且保持亮度一致性,丰富纹理细节,一定程度上解决了训练网络时出现模糊假平面恶化模型的问题。然后,设计结合基于注意力机制的跨层级特征调整模块的深度估计网络,充分融合编码器以及编-解码器多层级特征信息,提升网络的特征利用能力,缩小预测深度与真实深度的语义差距。最后,设计基于图像风格特征的格拉姆矩阵相似性损失函数作为额外的自监督信号约束网络模型,提升网络预测深度的能力,进一步提高了预测深度的精度。在NYU Depth V2和ScanNet室内数据集上进行训练与测试,正确预测深度像素的比例能够分别达到81.9%和76.0%。实验结果表明,相比现有主要的室内自监督单目深度估计网络,本文网络模型很好地保持了物体边缘和细节信息,有效地提高了预测深度的精度。