面向实景的单图三维重建算法研究

摘要

目前,单图三维重建方法研究主要针对合成基准和孤立的物体展开,面向实景图像的单图三维重建方法存在三维模型分辨率较低、视觉质量较差的不足.基于隐函数方法,结合Mask R-CNN,构建了面向实景图像的单图三维重建网络IM-RCNN,该网络可以重建出高分辨率高视觉质量的三维模型.IM-RCNN通过ROIAlign操作从图像中提取区域特征图,通过隐函数分支重建三维模型,通过包围框分支和掩膜分支预测物体类别、包围框和掩膜.在Pix3D数据集上进行训练并测试IM-RCNN.实验结果表明,相比于之前的方法,IM-RCNN重建的三维模型CD指标最多提高了23.9％,在NC指标上最多提高了7.6％,平均精确率AP最高达69.2％,比之前方法提升了24.9％,表明IM-RCNN可以准确地检测出实景图像中的多个物体,重建出具有高分辨率、高视觉质量的三维形状.