一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法

摘要

本发明提供一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法，包括数据采集与处理步骤：采集时间近似同步的毫米波雷达点云与视觉图像数据；融合步骤：将毫米波雷达点云数据从雷达坐标系转换到相机坐标系实现空间同步后进行预处理操作，提取点云框内目标点云的速度和深度信息构建雷达矩阵数据完成雷达信息提取；再在融合框架中通过神经网络提取图像特征图和雷达特征图并结合注意力机制进行特征融合得到融合特征图；检测步骤：将融合特征图进行上采样输入至分支卷积网络，对分支卷积的输出信息进行解码后得到目标的类别和三维信息。本发明高效地融合了视觉图像数据与毫米波雷达数据，有效提高了复杂场景下三维目标检测的准确率和可靠性。