基于球形摄像机模型的全景三维跟踪算法的研究

摘要

全景三维跟踪利用全景视觉技术获得全方位视角的图像，基于全景视觉的目标跟踪和立体视觉具有视场范围广、信息完整性高的优点。另外，研究基于全景图的立体视觉技术，可以在跟踪到目标的同时获取目标的三维信息。全景三维跟踪可以改善传统2D跟踪算法的不足，提高跟踪方法的性能，应对日益增加的需求。本文对全景三维跟踪涉及到的理论和方法进行了深入的研究，构建了双目球形摄像机模型，研究了基于球形全景图的目标跟踪算法和立体视觉技术，实现了全景三维跟踪。
　　首先，本文介绍针孔摄像机模型与球形摄像机模型之间的映射关系，基于多摄像机系统构建球形摄像机模型，构建了垂直同向式结构的双目球形摄像机模型，为整体算法提供了硬件基础。
　　其次，研究球形全景图立体匹配算法。对SURF算法进行研究和改进，实现了基于球形全景图的SURF(Speeded up robust features)算法，介绍了球面对极几何理论和球面本质矩阵，并且基于球面对极几何和RANSAC(Random sample consensus)算法对提取的匹配点进行去误匹配。
　　再次，研究了一种快速准确的目标跟踪算法。介绍了压缩感知理论，基于压缩感知理论进行特征提取，阐述了基于MIL(Multiple instance learning) Boosting算法的分类器组合方法，并采用图像时空约束理论对其进行改进，实现了基于检测的目标跟踪方法。
　　最后，推导了球形全景图三维信息计算的方法，实现了基于球形全景图双目立体视觉的景深测距技术，并将跟踪算法移植到球形全景图上。设计了算法的融合框架和详细流程，将全景跟踪和三维信息获取进行融合。实验证明，本文算法实现了大视场范围的目标跟踪并得到目标的三维信息。

目录

声明

摘要

第1章 绪论

1．1 全景三维跟踪概述

1．1．1 全景视觉简介

1．1．2 立体视觉简介

1．1．3 全景三维跟踪的意义

1．1．4 全景三维跟踪要解决的问题

1．2 研究现状

1．2．1 全景跟踪概述与研究现状

1．2．2 全景立体视觉概述与研究现状

1．3 本文结构与贡献

1．3．1 本文组织结构

1．3．2 贡献与创新

第2章 双目球形摄像机模型的构建

2．1 球形摄像机模型的研究

2．1．1 针孔摄像机成像模型

2．1．2 基于多摄像机系统构建球形摄像机模型

2．2 双目球形摄像机模型的结构

2．2．1 垂直和水平结构的研究

2．2．2 双目球形摄像机模型垂直结构的构建

2．3 双目球形摄像机模型的标定

2．3．1 摄像机标定方法

2．3．2 双目球形摄像机模型的标定方法

2．4 实验结果与分析

2．4．1 双目球形摄像机模型标定结果

2．4．2 球形全景图的生成

2．5 本章小结

第3章 球形全景图立体匹配算法的研究

3．1 SURF算法

3．1．1 SURF算法的特征点检测

3．1．2 特征描述子的生成

3．2 球面SURF算法

3．2．1 球面SURF算法特征点的检测

3．2．2 球面SURF描述子的生成

3．2．3 描述子的匹配

3．3 球形摄像机模型的对极几何理论

3．3．1 针孔摄像机对极几何理论

3．3．2 球形摄像机模型的对极几何理论

3．3．3 基于对极几何和RANSAC的去误匹配

3．4 实验结果与分析

3．5 本章小结

第4章 快速准确的目标跟踪算法的研究

4．1 基于压缩感知的特征提取算法

4．1．1 压缩感知理论

4．1．2 基于压缩感知的特征提取方法

4．2 基于时空约束的MIL Boosting目标检测算法

4．2．1 目标检测与分类器模型

4．2．2 基于MIL Boosting的分类器组合算法

4．2．3 基于时空约束的MIL Boosting目标检测算法实现

4．3 跟踪算法整体构建

4．4 实验结果与分析

4．5 本章小结

第5章 球形全景图三维跟踪的研究

5．1 基于双目球形摄像机模型的三维信息获取

5．1．1 双目摄像机模型的三维信息计算方法

5．1．2 基于双目球形摄像机模型三维信息获取的研究

5．2 全景三维跟踪的研究

5．2．1 目标跟踪算法在球形全景图上的改进

5．2．2 基于球形全景图的目标跟踪与三维信息获取的融合

5．3 实验结果与分析

5．3．1 全景三维信息计算实验与分析

5．3．2 全景跟踪实验与分析

5．3．3 全景三维跟踪实验与分析

5．4 本章小结

第6章 总结与展望

6．1 总结

6．2 展望

参考文献

致谢

攻读硕士期间发表的论文和获得的奖励