交叉视角下多模态特征融合的三维目标检测方法和系统

摘要

本发明涉及一种交叉视角下多模态特征融合的三维目标检测方法和系统，包括以下步骤：对相机图像数据和毫米波雷达数据进行不同视角下的特征提取，并进行交叉视角转换，得到交叉视角下的特征信息；构建基于交叉视角多模态数据的融合网络，对得到的交叉视角下的特征信息进行深度融合并提取特征，同时进行目标类别及三维位置信息的回归，得到完整的三维目标检测信息。本发明充分考虑了相机图像信息在前视图视角下的空间特征以及毫米波雷达点云信息在鸟瞰图视角下的空间特征，能够适应不同传感器的空间特性进一步进行有效的融合，提高融合性能，有效提高准确率，便于进行后续算法处理。本发明可以广泛应用于智能汽车的环境感知领域。