基于无人机航拍图像的室外场景三维重建技术研究

摘要

无人飞行器，特别是小型化无人机以其安全，高机动，成本低等特点，逐步在军用和民用方面得到广泛的运用。无人机的发展使得高效且低成本的获取航拍图像成为可能。 同时，随着信息化时代的不断发展，三维物体或场景模型的需求越来越多。除了直接利用数学模型直接建模外，近几年利用非接触性扫描设备对真实物体进行扫描，重构出模型的方法已经逐渐成熟，成功地应用于考古学、建筑学、精密工业测量、物体识别，军事等领域。 然而，传统的三维重建方法存在设备价格昂贵和运输使用不便的问题，而计算机视觉的方法廉价、方便，但对于比较大型的户外场景很难进行方便快捷的建模。 本课题针对上述问题，将无人机航拍图像与基于序列图像的三维重建技术相结合，围绕室外场景三维重建问题开展研究工作。利用无人机航拍图像具有的尺度大、视角广、现势性高的特点，试图建立一套针对户外大型场景的高效、便捷，相对廉价的三维重建平台，该平台将在城市数字化，地形测绘等领域发挥重要作用。 本文主要工作和成果如下: 1、三维重建的关键帧筛选算法研究。根据无人机航拍的特点，考虑航拍视频序列拥有大量的冗余信息会增加图像匹配的时间，同时会降低匹配精度。与以往方法不同，本文采用的筛选策略是引入分层筛选的概念，将关键帧的筛选分为粗略和精确。先根据图像质量，主要以清晰度，航拍平台参数进行初步筛选，然后根据基线宽度、特征点对重合率约束等因素进行精确筛选，减少大量的冗余信息，提炼出有效的航拍图像关键帧序列，提高三维重建中匹配步骤的执行效率和匹配精度; 2、基于几何约束的特征提取算法研究。特征提取考虑到三维重建系统中，特征点的提取与匹配是重建的前提。根据航拍图像基线大，视角变化复杂的特点，同时考虑户外场景重建的主体大都为建筑物等几何构型明显的物体，本文提出几何边缘区域先验的特征提取匹配设算法，首先利用快速直线段检测估计及轮廓筛选完成边缘先验区域的提取，然后利用边缘特征良好的特征检测子结合高鲁棒性的特征描述子实现特征提取。该方法考虑了重建场景的几何边缘，增强了特征提取的效率，提升了建筑物边缘的重建效果; 3、完整无人机航拍重建系统的搭建。目前能够高效快捷完整实现户外场景三维重建系统平台非常少，本文搭建包括无人飞行器平台，航拍图像三维重建在内的完整重建系统。将Structure from Motion三维重建的框架应用于航拍图像数据，并根据航拍图像的特点进行系统的改进及优化，最终完成完整的航拍图像序列室外场景三维重建系统。

目录

声明

摘要

第1章 绪论

1．1 研究背景及意义

1．2 国内外相关研究现状

1．2．1 无人机结合图像相关研究

1．2．2 三维重建相关研究

1．3 本文的主要工作

1．3．1 研究目标与内容

1．3．2 主要成果

1．4 本文的组织结构

第2章 无人机航拍三维重建基础理论

2．1 相机成像模型

2．1．1 参考坐标系

2．1．2 针孔模型

2．1．3 畸变模型

2．2 对极几何与多视图几何

2．2．1 双目视觉对极几何

2．2．2 多视图几何

2．3 无人机航拍三维重建原理及技术途径

2．4 本章小结

第3章 图像序列三维重建

3．1 从运动恢复结构

3．1．1 从运动恢复结构SFM

3．2 稠密重建

3．2．1 基于patch的多视图重建

3．3 从运动恢复结构在航拍场景重建中的应用

3．4 本章小结

第4章 无人机航拍系统的建立

4．1 无人飞行器平台

4．1．1 无人机平台概述

4．1．2 多旋翼飞行器

4．2 无人机飞行器及地面站系统搭建

4．3 本章小结

第5章 图像关键帧筛选和特征检测匹配

5．1 航拍图像序列关键帧筛选

5．1．1 关键帧提取算法概述

5．1．2 航拍图像关键帧筛选

5．1．3 粗略筛选

5．1．4 精细筛选

5．1．5 测试结果

5．2 特征点检测算法

5．2．1 常用特征点检测算法

5．2．2 特征点检测分析

5．2．3 基于直线分割检测特征点提取算法改进

5．3 算法的实验对比与分析

5．4 本章小结

第6章 三维重建系统实现及结果分析

6．1 系统框架

6．1．1 系统三维重建流程

6．1．2 系统开发框架

6．2 系统主要模块

6．2．1 系统开发框架

6．2．2 图像预处理模块

6．2．3 相机估计及稀疏重建

6．2．4 稠密三维重建

6．3 实验结果分析

6．4 本章小结

第7章 结论与展望

7．1 总结

7．2 展望

参考文献

致谢

攻读学位期间参加的科研项目和成果