一种基于深度学习的单目图像3D物体检测方法

摘要

本发明公开了一种基于深度学习的单目图像3D物体检测方法，包括：基于彩色图特征和深度图特征提取网络，分别学习彩色图和深度图的三维特征表示；将学习的彩色图和深度图的三维特征分别送入图像流和深度流检测头中，以联合预测所有先验框的分类得分以及正先验框相比于匹配真实框的回归偏移量；在图像流和深度流检测输出间引入对预测旋转角和中心深度的一致性约束；定义旋转角置信度表示该预测框的输出旋转角的准确度，在图像流检测头增加旋转角置信度预测分支以直接输出该预测框的旋转角置信度；构建网络优化的联合检测损失函数。本发明联合优化彩色图特征和深度图特征的学习过程，保留方向预测更加准确的预测框，从而提升单目图像3D物体的检测性能。