基于视觉SLAM和目标检测的语义地图构建

摘要

语义信息对于移动机器人理解环境内容、执行复杂任务至关重要,针对ORB-SLAM2构建的点云过于稀疏、缺乏语义信息、点云所占存储空间大等问题,提出将目标检测算法与视觉SLAM(同时定位与地图构建)技术紧密结合,构建环境的稠密点云语义地图.首先,通过目标检测网络YOLO v3及对象正则化准确获取物体的2D标签,并经过ORB-SLAM2算法构建环境的稀疏点云地图,通过含有2D标签的彩色图像和对应的深度图像以及关键帧来生成含有语义信息的稠密点云标签,使用基于图的分割算法对稠密点云进行分割,再将点云标签与分割后的点云进行融合,进而构建环境的稠密点云语义地图.文中方法在TUM公开数据集上进行试验,实验表明可以构建出效果较好的语义地图.与传统的ORB-SLAM2相比,此系统在构建地图的过程中,相机的绝对位姿误差和绝对轨迹误差分别减少了16.02％和15.86％,提高了建图精度.为了减小点云地图的存储空间,方便移动机器人进行避障和导航,最终将所构建的语义地图转换为八叉树地图.