基于单目RGB摄像机的三维重建技术的算法研究与实现

摘要

三维重建是虚拟现实、增强现实等计算机视觉应用中的关键技术，该技术可对现实世界物体形状和外观建立适合计算机表示和处理的数学模型。本文主要讨论被动式的基于单目RGB摄像机的三维重建系统。每接收一帧新的RGB图像，摄像机跟踪获取实时位姿，并通过当前帧与关键帧立体匹配的方法获取深度图，深度图结合摄像机位姿可更新模型特征信息。本文实现了三维重建系统设计，并针对摄像机跟踪算法和立体匹配算法作出改进。
　　本文将ORB-SLAM融合入系统，实现摄像机跟踪功能。摄像机跟踪算法分为特征跟踪，局部地图构建以及回环检测线程并行运行。该设计方案通过有效的回环检测减少了跟踪漂移的累积，通过基于词袋模型的场景识别提升了重定位模块对复杂光照以及视角变换的鲁棒性。
　　本文以基于最小生成树的局部立体匹配算法为框架，实现深度计算功能。通过将Census特征引入匹配代价计算过程，改善了算法在无纹理区域的视差精度。而针对纹理相似但深度不同区域和倾斜平面区域的视差精度较低问题，本文分别采用两次视差修复和平面分割的方法。结合以上策略，本文生成的视差图不仅具备准确的视差轮廓，而且在大面积无纹理区域、纹理相似但深度不同区域以及倾斜平面区域的视差精度也较高。
　　对于摄像机跟踪算法的评估表明，在TUM数据集中，本文算法相比PTAM算法相对位姿误差降幅达35.9％;对于立体匹配算法的评估表明，在Middleburry数据集中，本文算法相比基于最小生成树的局部立体匹配算法坏点百分比降幅达22.1％。本文摄像机跟踪和立体匹配算法的精度的提升为最终三维模型的精度提供了重要的技术保障。

目录

声明

摘要

专用术语注释表

第一章 绪论

1．1 论文背景与意义

1．2 国内外研究现状

1．2．1 摄像机跟踪技术

1．2．2 立体匹配技术

1．2．3 国内外研究现状总结

1．3 本文的研究目标与创新点

1．4 论文组织

第二章 基于单目RGB摄像机的三维重建系统的基本框架

2．1 系统初始化

2．2 摄像机跟踪算法

2．2．1 算法原理

2．2．2 变量以及结构定义

2．3 局部立体匹配算法

2．3．1 算法的步骤

2．3．2 算法的缺点

2．4 体模型更新和体模型渲染

2．4．1 体模型更新

2．4．2 体模型渲染

2．5 本章小结

第三章 摄像机跟踪算法

3．1 摄像机跟踪算法的方案设计

3．1．1 特征跟踪

3．1．2 局部地图构建

3．1．3 回环检测

3．2 算法的评估方案

3．2．1 数据库

3．2．2 评估指标

3．3 实验结果

3．3．1 相对位姿误差分析

3．3．2 算法的运行时间

3．4 本章小结

第四章 立体匹配算法

4．1 高精度立体匹配算法设计

4．1．1 改进思路及算法流程

4．1．2 联合匹配代价计算

4．1．3 二次视差修复

4．1．4 基于平面拟合的视差优化

4．2 高精度立体匹配算法评估

4．2．1 实验方案

4．2．2 实验结果

4．3 本章小结

第五章 系统实验评估

5．1 算法的评估方案

5．1．1 数据库

5．1．2 评估指标

5．2 实验结果

5．2．1 标准数据库实验结果

5．2．2 自采集数据库实验结果

5．2．3 实验小结

5．3 本章小结

第六章 总结与展望

6．1 总结

6．2 展望

致谢

参考文献

附录

作者简介