AF-Center:基于自适应体素绘画融合和高斯中心样本分配的多模态三维目标检测

摘要

相机图像和激光雷达点云可以为3D目标检测提供互补信息,但如何进行有效的融合仍是一个挑战。针对传统方法中无区分性融合带来的对齐偏差问题,提出一个自适应融合网络。首先构建点云体素与对应的多个图像像素之间的注意力亲和矩阵,然后依据亲和矩阵实现多像素到单体素的重要性区分融合。除此之外,针对传统anchor-based检测方法难以枚举所有方向的问题,将目标表示为关键点,首先进行中心点定位,然后回归到3D尺寸与方向等其他属性。同时,针对关键点检测时中心点样本量过少的问题,使用椭圆高斯热图进行了中心点样本的再分配。该算法在Waymo数据集上,较基线PointPillar、CenterPoint与3D-MAN分别提升了2.3%、5.9%与4.0%level2 mAPH。