一种基于多模态注意力机制网络的三维形状识别算法

摘要

本文以无人驾驶车自主环境感知系统背景,研究了基于点云数据的3D目 标识别问题.现在已经出现很多单独基于点云数据或多视角数据的学习模型,并且表现出优异的性能,然而大数据时代,集成两种不同模态的数据以获得统一的三维形状描述符必然能得到更加精确的识别率.鉴于此,本文提出一种基于多模态注意力机制的融合网络,用于实现三维形状的精准识别,该方法认为多视图数据相邻图像之间可能会出现重叠区域,带来信息的冗余,增加不必要的计算成本,因此通过全局的点云特征指导网络对多视图数据进行特征筛选,以获得更符合实际的三维形状描述符.实验结果表明,基于多种注意力机制的融合框架可以得到强大的三维形状描述符,本文提出的算法框架优于现有的基于点云或者基于多视角的方法.