基于无序图像集的运动恢复结构研究与实现

摘要

运动恢复结构(Structure from Motion，SfM)是从图像集中重建场景结构（即三维空间点）和计算相机运动（即相机位姿）的一系列方法，其主流方法分为增量式重建和全局式重建。首先，对这两种重建方式而言，图像的特征点匹配是耗时最多的阶段，尤其是当图像集中的图像之间没有匹配顺序的先验信息（即无序图像集）的时候，所有图像之间都需要两两匹配。其次，相对于全局式重建，增量式重建的优势是重建精度高、对外点(Outlier)鲁棒，缺点是耗时、依赖初始图像对的选择及无法闭环;相对于增量式重建，全局式重建的优势是重建速度快、能准确闭环，缺点是重建精度不高、对外点不鲁棒。快速、闭环、精度高的重建方法就显得尤为重要。在2017年提出的混合式SfM（Hybrid SfM，HSfM）的基础上，本文针对以上两个问题提出了如下改进方法:
　　1)在特征点匹配阶段提出了基于场景几何结构约束及特征不变尺度变换(Scale Invariant Feature Transform，SIFT)数值统计特征的SIFT匹配算法GeoMatch（Geometric structure and SIFT-based Matching algorithm）。实验表明，与传统的基于树和哈希的匹配方式相比，GeoMatch在时间和准确度上都优于传统匹配算法。
　　2)在旋转估计阶段提出了基于贝叶斯推理网络的View Graph边权的计算方法和基于贝叶斯推理网络的团体图(Community Graph，CG)边权更新算法，并提出了随机最大生成树(Stochastic Maximum Spanning Tree，SMST)算法来过滤旋转估计中的外点。实验表明，这些改进能更鲁棒地估计相机旋转。
　　3)在以上两点改进的基础上形成了原型系统SMSfM(Stochastic Maximum spanning tree-based SfM)，该系统在多个场景的测试均表现出了良好的重建质量和时间性能。

目录

声明

摘要

第1章 绪论

1．1 运动恢复结构的研究背景

1．2 本文工作

1．3 论文结构

1．4 本章小结

第2章 运动恢复结构的相关技术综述

2．1 特征点匹配技术

2．1．1 特征点的标准匹配技术

2．1．2 特征点的近似匹配技术

2．2 运动恢复结构

2．3 增量式重建的流程

2．3．1 特征提取与表达

2．3．2 特征匹配

2．3．4 本质矩阵的计算

2．3．5 基础矩阵的计算

2．3．6 三角化

2．3．7 Bundle Adjustment

2．3．8 Jaccobi矩阵的稀疏性

2．3．9 旋转矩阵的约束导出李群及李代数

2．4 本章小结

第3章 快速特征匹配

3．1．1 单应变换

3．1．2 基于交叉Quadtree的线性搜索

3．1．3 三维重建的图像数据集特征

3．1．4 SIFT的统计特征

3．2 基于几何变换的SIFT特征匹配GeoMatch

3．2．1 基本思路

3．2．2 复杂度分析

3．2．3 实验设计

3．2．4 在Oxfords数据集上的实验

3．2．5 在清华数据集上的实验

3．2．6 清华数据集的重建结果

3．3 本章小结

第4章 基于随机最大生成树的旋转估计

4．1 运动估计

4．2 李群和李代数

4．2．1 李群

4．2．2 李代数

4．2．3 李群和李代数的相关性质

4．3 随机采样一致性

4．4 基于三视图约束计算相对运动置信值

4．5 Hybrid SfM

4．6 基于随机最大生成树的旋转估计

4．7 实验设计及结果

4．7．1 过外点的鲁棒性对比测试

4．7．2 场景闭环测试

4．7．3 速度与准确度测试

4．8 本章小结

第5章 基于无序图像集的SMSfM实现

5．1 基于无序图像集的SMSfM系统架构

5．2．1 闭环场景下的重建

5．2．2 非闭环场景下的重建

5．3 本章小结

6．1 工作总结

6．2 展望

参考文献

攻读硕士学位期间主要的研究成果

致谢