一种面向单目图像的基于三维重建的三维物体检测方法

摘要

本发明公开了一种面向单目图像的基于三维重建的三维物体检测方法，属于图像处理和计算机视觉领域。本发明首先利用一个独立的模块将输入数据从二维图像平面转换为三维点云空间，以获得更好的输入表示；然后使用PointNet网络作为主干网络进行三维检测，以获得对象的三维位置、尺寸和方向；为了提高点云的识别能力，本发明提出了一个多模态特征融合模块，将点的RGB信息以及ROI的RGB特征补充嵌入到生成的点云表示中。同二维图像相比，本发明的这种从三维场景推出三维边界框的方法更为高效；和类似的基于单目相机的三维物体检测方法相比，本发明的方法更加高效。