基于深度学习与视角规划的三维对象建模方法

摘要

三维重建是机器人领域和计算机视觉中的一个热门的研究课题。传统重建方法通过稠密视角下的帧间匹配来估算相机位姿变化，进而完成重建，因此受限于视角数量、传感器噪声、反射条件等因素的制约，重建的结果可能缺失关键结构，从而影响接下来的形状分析和交互工作。本文通过引入深度学习方法来弥补这一问题，具体体现在研究扫描视角预测和三维结构预测之间的关联性，并设计统一的深度学习模型实现在三维重建过程中视角规划与三维重建的同步进行，提高重建的准确性和信息获取的效率。 首先，为了探讨视角预测和三维结构预测之间的关系，本文提出了基于深度学习与视角规划的三维对象建模的基本模型架构。同时为了验证视角预测对信息获取能力和重建质量的促进作用，本文设计了一个面向多视角图片序列的三维体素重建网络，网络整合了视角预测网络和三维重建网络两个模块，并构建成一个可联合训练的统一架构，在对比实验中取得满意的结果。实验验证明深度学习可以使用少量信息对目标对象的全局结构进行预测，而视角规划可以帮助重建过程高效获取信息与提升重建质量。 随后，针对三维体素重建网络在显存占用、形状表达能力和忽略几何结构特性等局限性，本文设计了面向多视角图片几何语义特征的三维点云建模方法。通过融合的语义特征和几何特征来同步进行视角的规划和结构的预测，并使用点云这一更一般化的数据形式来节省显存和计算量，同时更好地表达三维形状的局部细节，最终在实验中取得了更好的细节表达能力与重建准确性。

目录

声明

1 绪论

1.1 三维建模研究背景

1.2 三维建模相关工作

1.2.1 传统图像三维重建方法综述

1.2.2 深度学习与三维建模

1.2.3 信息获取方法的讨论与分析

1.3 研究的挑战及意义

1.4 主要研究内容与贡献

1.4.1 主要研究内容

1.4.2 主要贡献

1.5 本文组织结构

2 图像三维建模与深度学习相关理论

2.1 传统图像三维建模理论简述

2.1.1 视觉SLAM算法

2.1.2 KinectFusion算法

2.1.3 传统图像重建方法的局限性

2.2 基于深度学习的三维建模理论

2.2.1 深度学习简述

2.2.2 基于卷积神经网络的单视角重建

2.2.3 基于循环神经网络的多视角重建

2.2.4 深度学习图像重建方法的局限性

2.3 本章小结

3 基于动态视角规划的三维对象体素建模方法研究

3.1 引言

3.2 对象重建模块

3.2.1 网络结构

3.2.2 训练方法

3.3 视角规划模块

3.3.1 网络结构

3.3.2 训练方法

3.4 实验与评估

3.4.1 体素重建效果评估

3.4.2 信息获取效果评估

3.5 本章小结

4 面向多视角图片几何语义特征的三维点云建模方法研究

4.1 引言

4.2 面向三维融合特征的点云预测网络

4.2.1 网络结构

4.2.2 训练方法

4.3 面向三维融合特征的视角规划网络

4.3.1 网络结构

4.3.2 训练方法

4.4 实验结果展示

4.5 本章小结

结论

参考文献

攻读硕士学位期间发表学术论文情况

致谢

大连理工大学学位论文版权使用授权书