基于深度学习的三维室内场景建模方法研究

摘要

如今，机器人已开始在越来越多的场景中得到应用，如家庭、商场和银行等室内场景中的服务机器人，工厂、医院中的功能型机器人及军事侦察场景中的作战机器人。为出色的完成各项任务，机器人应具备良好的环境感知能力、环境交互能力和把感知与交互相联系的能力。但是目前研制的机器人智能化水平和感知能力均处于发展的初级阶段。因此，当前机器人研究的核心主要集中在两方面：一方面是提高机器人的自主性，使其能够自动完成操作人员给出的任务指令；另一方面是提高机器人的适应性，使其具有适应环境变化的能力。为了更好地提高机器人智能化程度，增强机器人的交互和自主行动能力，如何对环境进行实时勘测和场景分析理解，进而实现快速精细化的三维重建，从而为智能机器人提供尽可能精细的外部环境信息，成为使机器人能够快速准确地感知理解外部环境并与之交互的关键问题。 室内场景建模相关研究已经取得很多进展，特别是基于多视角融合的建模框架与基于单视角的建模框架的提出，增强了机器人的环境感知能力。但上述工作仍然存在以下不足：（1）基于多视角融合的建模方式预处理时间长，建模完成后需线下优化过程，不能满足特定条件下的建模需求；（2）基于单视角建模算法主要基于体素的表达方式，建模质量较低，信息缺失严重，对于场景细节无法精确刻画，难以满足机器人交互的要求。针对以上不足，本文首先深入分析视角数目对建模质量的影响，挖掘颜色图与深度图、不同视角深度图之间的联系。进而，提出基于卷积神经网络的模板替换的建模框架，对场景进行初次建模；接着，搭建多视角深度图生成网络与融合网络，完成对场景深度图的预测；最后，在初次建模场景的辅助下，利用深度图生成网络，在只有单视角的条件下生成多视角的深度图并进行融合，实现高精度场景重建，从而大幅度提高现有机器人的环境感知能力和智能化水平。 本文的主要贡献有：（1）构建了基于模板替换的场景建模框架，利用卷积神经网络提取三维目标对象的高维度特征，以特征检索方式进行数据库匹配，并通过数据库模型替换目标对象的方式完成场景重建；（2）构建了基于视角融合的深度图生成网络，通过归纳单视角彩色图与深度图、不同视角间深度图关联，准确预测单视角下场景的深度图，为下一步场景重建提供依据；（3）构建了基于视角生成的单视角室内场景建模框架，框架利用（2）中提出的生成网络，生成室内场景不同视角的深度图，并最终通过视角融合的方式完成场景建模任务。

目录

声明

1 绪论

1.1 选题背景

1.2 问题提出

1.3 研究意义

1.3.1 研究的理论意义

1.3.2 研究的实践意义

1.4 研究内容与技术路线

1.4.1 研究内容

1.4.2 技术路线

2 国内外相关研究现状

2.1 基于多视角的室内场景建模研究现状

2.2 基于单视角的室内场景建模研究现状

2.3 基于深度学习的深度图预测研究现状

3 基于模板替换的室内场景建模方法研究

3.1 预处理

3.2 三维模型体素化表达

3.2.1 点云表面法向量与曲率

3.2.2 八叉树结构构建

3.3 特征提取网络

3.4 场景配准

3.5 实验结果与实验分析

3.5.1 实验过程

3.5.2 实验结果与分析

4 基于视角融合的深度图预测方法研究

4.1 多视角生成网络

4.1.1 基于体素的单视角建模网络

4.1.2 视角生成网络结构

4.1.3 损失函数的设定

4.2 多视角融合网络

4.2.1 多视角融合网络结构

4.2.2 损失函数的设定

4.3 实验结果与实验分析

4.3.1 数据集的制作

4.3.2 实验过程

4.3.3 实验结果分析

5 基于视角生成的室内场景建模方法研究

5.1 预处理模块

5.2 单视角建模框架

5.3 实验结果与实验分析

5.3.1 实验过程

5.3.2 实验结果分析

结论

参考文献

攻读硕士学位期间发表学术论文情况

致 谢

大连理工学位论文版权使用授书