一种基于深度学习的单张图像3D对象重建方法

摘要

本发明公开了一种基于深度学习的单张图像3D对象重建方法，包括：1、输入包含多对象的单彩色图像；2、利用预训练的RPN，输出指定类别的域候选的各个区域；3、将各区域并行送入形状‑姿态预测子网络；4、预测出原对象在三维空间中的形状参数和姿态参数；5、形状采样子网络根据形状参数解码出对应形状空间的点云模型；6、对生成的点云模型进行姿态参数进行刚性变换；7、输出该区域所包含对象的结构、姿态三维重建结果。本发明选取了点云模型作为与网络结构交互的三维数据表示，使得网络对3D数据具备更好的理解能力，同时利用“采样点数”而非“采样量化单元大小”进行精度控制，可以更好的控制复杂度，且保证了对象刚性运动中的不变性。