基于深度学习的机器人室内环境三维语义地图构建方法

摘要

本发明提出了一种基于深度学习的机器人室内环境三维语义地图构建方法，首先通过深度相机采集室内环境的RGB图像序列和深度图像序列；对采集的每一帧RGB图像进行ORB特征提取和匹配，并确定关键帧；利用提取和匹配好的特征点对通过ICP算法计算相邻两帧图像间的位姿变换矩阵T；用训练好的深度学习网络对确定的关键帧进行语义分割获得关键帧的按像素分类的图像；结合计算得到的变换矩阵T和关键帧对应的深度图像将分割好的关键帧图像进行点云拼接得到可供机器人理解的语义地图。本发明可直接利用分割好的关键帧图像进行语义地图构建，无需将环境几何地图建立好后进行语义融合。