利用3D语义地图进行深度定位和分段的系统和方法

摘要

本发明提出了基于深度学习的系统和方法，用于融合诸如相机图像、运动传感器(GPS/IMU)和3D语义地图的传感器数据，以实现对诸如机器人导航和增强现实的应用有用的相机定位和场景解析的鲁棒性、实时性能和精度。在实施例中，统一的框架通过在训练和测试中联合使用相机姿态和场景语义来实现这一点。为了评估所呈现的方法和系统，实施例使用新颖的数据集，该数据集是从真实场景创建的，并且包括密集的3D语义标记点云、从高精度运动传感器获得的参考相机姿态以及视频相机图像的像素级语义标签。实验结果表明，所提出的系统和方法对相机姿态和场景语义都是互利的。