基于多尺度CNN-RNN的单图三维重建网络

摘要

现有基于深度学习的三维重建算法主要从深度网络的单一层进行特征获取,二维图像特征提取不完整,造成三维重建效果不理想.为提高三维重建模型的精度及准确度,充分利用二维图像细节特征,使其有效转换为三维网络,提出一种基于多尺度CNN-RNN的单图三维重建网络.模型网络主要由二维编码器、转换器及三维编码器三部分组成.模型借鉴高斯金字塔模型,构建多尺度网络,保留二维图像不同尺度上的特征值,通过RNN将其转换为三维特征.模型使用公共的ShapeNet数据集进行训练和测试,通过前后对比,发现使用多尺度特征提取方法的模型具有更好的鲁棒性.与现有方法进行对比,该模型在飞机、柜子、汽车、显示器、灯、音响、沙发等模型的三维重建中拥有更好的重建效果.