基于语义分割的增强现实图像配准技术

摘要

增强现实(AR)通过分析场景特征,将计算机生成的几何信息通过视觉融合方法添加到真实环境中,以增强对环境的感知。其中图像配准技术是AR技术的核心问题之一,即在三维环境中估计视觉传感器的姿态并理解场景中的对象。近年来,计算机视觉领域取得了巨大的进步,但是AR系统在三维场景中基于自然特征点的配准技术仍然是一个严重的挑战。由于不稳定因素的影响,在三维场景中精确计算移动相机的姿态还存在较大的困难,如图像噪声,光照变化和复杂的背景图案。因此,设计一种稳定、可靠、高效的场景识别算法仍然是一项非常具有挑战性的工作。本文提出了一种结合视觉同步定位与地图构建(SLAM)和基于深度卷积神经网络(语义分割)的语义分割算法来提高AR图像配准性能。基于语义分割的语义分割是一种计算量较大的预测任务,其目的是在应用AR图像配准时预测图像中每个像素的类别,并能够缩小两帧之间特征点的搜索范围,从而提高系统的稳定性。实验结果表明,语义分割的场景信息将大幅提高AR图像配准技术的性能。