插值Loop细分Pytorch3D三维VR重建

摘要

针对Pytorch3D三维重建的模型易产生空洞、断角和狭长三角形的问题,提出一种基于插值Loop细分的Pytorch3D三维重建方法。首先从20个视角对1个包含纹理的三维模型进行采样,采样后的图像合成为原始数据集;接着使用ResNet-50网络学习图像特征,使用三维卷积模块提取三维特征;随后用插值Loop细分原始网格,并以结果网格作为变形网格,将提取的特征投影到网格顶点上,利用图卷积神经网络实现变形,最终完成三维重建。结果表明,所提方法较好地解决了原版Pytorch3D方法的空洞、断角、狭长三角形问题,重建损失值和Hausdorff距离显著下降,三维重建可视化效果更好。