基于交叉注意力机制的图像点云融合三维目标检测方法

摘要

本发明涉及一种基于交叉注意力机制的图像点云融合三维目标检测方法及系统，属于三维目标检测领域。方法包括：对图像进行目标检测及分割处理，得到实例掩码；根据点云图像空间投影关系得到每一个实例掩码内的点云集合；使用DBSCAN聚类算法对每一个点云集合内的点云进行聚类，为前景点集合中的所有点云逐点拼接实例分割结果向量，将经图像特征渲染的点云所占的整个三维空间划分成多个柱体并进行特征拆分和重组，引入交叉注意力机制聚合柱体内每个点的位置特征和图像特征，多个柱体的融合特征构成伪图像特征；使用RPN网络提取并整合伪图像特征的多尺度特征，根据高分辨率特征图生成三维目标检测结果；从而提高了融合精度，实现了更优的检测效果。