基于图像语义的室内动态场景三维重建算法研究与实现

摘要

最近几年，计算机视觉技术飞速发展，从二维图像中高效、精确地恢复场景的三维结构成为计算机视觉领域的研究热点之一。真实场景的三维重建技术在自动驾驶、增强现实、虚拟现实和文物恢复等领域都有着广阔的应用前景。针对室内场景的三维重建，可将重建后的模型用于室内机器人的导航地图或增强现实等领域研究。相比于传统的三维重建技术使用昂贵的三维扫描设备，如LIDAR或RGB-D相机，单纯使用RGB图像进行三维重建具有成本低、操作简单以及设备轻便等特点。随着手机、平板等电子设备的发展，使用手持设备采集图像并三维重建的技术受到了人们的重视。　　运动恢复结构(SfM)通过无序的多视角图像，利用多视几何的相关理论推算相机的位姿以及图像中点的空间位置。目前基于视觉的三维重建算法大部分都是在静态环境的假设下进行设计的，若场景内存在运动的物体，传统算法在计算的过程中存在特征误匹配，进而影响相机定位精度并导致地图产生重影，这限制了视觉三维重建在现实场景中的应用。因此，本文针对室内动态场景，改进了三维重建算法。　　首先，讨论并对比了目前的主流图像语义分割算法(FCN ， SegNet ， Mask-RCNN)，使用Mask-RCNN对动态环境下采集到的彩色图像进行语义分割获得掩膜图。使用图像处理算法，以优化掩膜图边缘，尽可能的将图像中的动态物体剔除。　　其次，在进行三维重建的过程中需要提取两张图像的特征点并匹配，为了保证特征点匹配的准确率，改进匹配算法，剔除误匹配。本文分析了动态物体对三维重建的影响，动态物体上提取的特征点，导致存在误匹配问题。针对误匹配问题，使用RANSAC算法以获得更精确的匹配对。使用改进colmap三维重建算法进行场景的稀疏、稠密点云重建。　　最后，为了更好的理解重建出的场景的点云模型，使用SUNRGB-D数据集训练的votenet神经网络模型，使用votenet对场景点云进行3D目标检测，场景中不同类别的物体以不同颜色的立体框标识。通过从真实场景中采集到的数据，对本文所提算法在动态环境下的建图质量进行了测试，实验数据及效果说明，在动态环境下，本文提出的算法比未剔除运动目标进行三维重建的传统算法具有较为突出的优势。

目录

声明

第 1 章 绪论

1.1 研究背景与意义

1.2 国内外研究现状

1.2.1 多视图三维重建研究现状与问题

1.2.2 三维目标识别的研究现状与问题

1.3 本文的主要研究内容及结构安排

1.3.1 本文的主要研究内容

1.3.2 本文的章节安排

第2章基于图像语义分割的动态目标剔除算法设计

2.1 FCN 神经网络

2.1.1 网络结构

2.1.2 边缘优化算法

2.2 SegNet 神经网络

2.2.1 网络结构

2.2.2 上采样层

2.3 Mask-RCNN 神经网络

2.3.1 网络结构

2.3.2 剔除特定动态目标算法

2.4 动态目标掩膜边缘优化

2.4.1 图像二值化

2.4.2 图像形态学算法

2.5 小结

第3章基于多视图几何的三维重建算法设计

3.1 图像三维重建基础理论

3.1.1 相机成像模型

3.1.2 相机畸变与标定

3.1.3 几何约束

3.2 特征点提取与匹配

3.2.1 图像特征点检测

3.2.2 特征点匹配算法

3.3 动态目标对三维重建算法影响分析

3.3.1 影响分析

3.3.2 图像特征点误匹配剔除

3.4 基于改进 colmap 算法的室内三维点云重建

3.4.1 增量式三维重建

3.4.2 稀疏三维点云重建

3.4.3 稠密三维点云重建

3.5 小结

第4章三维目标识别

4.1 三维深度学习

4.1.1 pointnet 网络简介

4.1.2 pointnet++网络简介

4.2 三维目标检测网络 Votenet

4.2.1 网络结构简介

4.2.2 SUN RGB-D 数据集

4.3 小结

第 5 章 三维重建及三维目标识别算法的实验验证

5.1 实验数据

5.1.1 三维重建评价指标

5.2 运动目标剔除实验

5.2.1 单运动目标剔除实验

5.1.2 多运动目标剔除实验

5.3 室内动态场景三维点云重建

5.3.1 未处理动态目标三维重建

5.3.2 剔除动态目标三维重建

5.4 三维目标检测

5.5 小结

结论与展望

1 研究内容总结

2 未来研究工作展望

参考文献

致 谢