基于移动设备的三维环境重建方法研究

摘要

随着人类社会的进步和科学技术的提高，移动设备的普及使人们的生活越来越智能化，其方便性使得越来越多的工作将基于移动设备完成。虚拟现实、文物修复、自主移动机器人等迅速发展，使基于移动设备的三维环境重建具有重要的应用前景。基于移动设备的三维环境重建主要是通过手机相机来获取图像，经过预处理改善图像质量，再通过提取图像中显著的目标区域，尽可能地减少冗余信息的干扰以及内存的消耗；然后对目标区域进行特征点的提取与匹配，优化后得到良好的匹配集；结合相机标定，通过SFM（Structure From Motion）算法将匹配集中特征点在空间坐标系下的三维坐标恢复出来，形成物体的稀疏点云，再利用CMVS（Cluster Multi-view Stereo）算法对图像聚簇分类，最后使用PMVS（Patch-based Multi-view Stereo）算法对稀疏点云进行面片扩展获得稠密的重建模型。本文的主要研究内容有： (1)显著区域提取。图像中包含有大量的信息，如果三维重建过程中使用的图像数量过多，可能会导致程序运行时系统崩溃，为了减少内存的消耗，论文通过对图像中的显著区域进行提取，使冗余信息得到有效去除。首先将RGB颜色图转换到Lab颜色空间提取图像的颜色信息，然后利用Gabor滤波器提取图像的纹理信息，最后将颜色信息和纹理信息进行融合以实现显著区域的提取目标。实验结果表明，该方法能够达到较为理想的提取效果，得到比较满意的显著性图。 (2)特征点提取与匹配。特征点是图像主要信息的表达，针对特征点提取耗时问题提出了改进的SURF算法，为了提高特征点匹配的精度提出了基于最大似然估计准则的特征匹配点提纯算法。首先通过改进的SURF算法提取图像中显著区域的特征点，然后根据欧氏最小距离进行匹配，再对匹配结果进行提纯优化。实验结果表明，特征点提取的时间成本可以缩减3~5倍，匹配精度可以达到90%以上。 (3)三维环境重建。采用张正友标定法获取相机的内部参数，结合已经得到的匹配点集合，通过计算本质矩阵求解相机的外部参数。根据得到的内外参数就可以得到相机的投影矩阵，然后根据投影关系恢复出目标物体在三维空间的深度信息，再通过光束平差法对其进行优化便可以得到三维环境的稀疏点云模型。最后再通过CMVS聚簇分类和PMVS贴片扩展获得三维环境的稠密点云模型。通过对不同的测试集进行重建，实验结果表明均达到了预期效果。

目录

声明

第一章 绪论

1.1研究的背景和意义

1.2国内外研究现状

1.2.1国外研究现状

1.2.2国内研究现状

1.2.3存在的问题

1.3.1研究内容

1.3.2技术路线

1.4论文的组织结构

第二章 基于颜色和纹理的显著区域提取

2.1.1实验材料采集

2.1.2图像特点

2.2图像增强

2.3显著区域提取

2.3.1颜色显著性图

2.3.2纹理显著性图

2.3.3综合性显著图

2.4实验结果与分析

2.5本章小结

第三章 特征点提取与匹配技术研究

3.1特征点提取

3.2特征点匹配

3.3误匹配剔除

3.3.1最大似然估计

3.3.2 EM算法

3.3.3空间变换模型

3.3.4引导式匹配策略

3.4实验结果与分析

3.5本章小结

第四章 相机标定方法及实现

4.1相机成像模型

4.1.1线性相机模型

4.1.2非线性相机模型

4.2 常见标定方法

4.3基于平面标定板的相机标定

4.3.1相机参数的初始估计

4.3.2畸变参数估计

4.3.3参数优化求精

4.4相机标定实验与分析

4.5本章小结

第五章 环境的三维重建

5.1基于SFM的稀疏重建

5.1.1本质矩阵

5.1.2三维空间点重构

5.1.3累计误差消除

5.2基于CMVS/PMVS的稠密重建

5.2.1图像聚簇分类（CMVS）

5.2.2基于贴片模型的密集匹配（PMVS）

5.3实验结果与分析

5.4本章小结

第六章 结论

6.1总结

6.2展望

参考文献

致谢

个人简历