基于深度感知特征提取的室内场景理解

摘要

从深度图RGB-D域中联合学习RGB图像特征与3D几何信息有利于室内场景语义分割,然而传统分割方法通常需要精确的深度图作为输入,严重限制了其应用范围.提出一种新的室内场景理解网络框架,建立基于语义特征与深度特征提取网络的联合学习网络模型提取深度感知特征,通过几何信息指导的深度特征传输模块与金字塔特征融合模块将学习到的深度特征、多尺度空间信息与语义特征相结合,生成具有更强表达能力的特征表示,实现更准确的室内场景语义分割.实验结果表明,联合学习网络模型在NYU-Dv2与SUN RGBD数据集上分别取得了69.5％与68.4％的平均分割准确度,相比传统分割方法具有更好的室内场景语义分割性能及更强的适用性.