大范围场景下视觉/惯性融合的RGB-D视觉里程计研究

摘要

视觉里程计作为机器人导航和定位的基础，一直是机器人技术领域研究的热点。RGB-D相机因其结构简单且能同时获取场景的纹理信息和深度信息，被广泛应用于机器人的视觉里程计研究中。但目前绝大部分基于RGB-D相机的视觉里程计算法较依赖于获取场景完整的深度信息，由于RGB-D相机的测量距离有限且受阳光的影响，因此在大范围环境下并不鲁棒。本文针对该问题提出一种大范围场景下的视觉里程计算法，并通过与惯性传感器进行融合提高系统的准确性和鲁棒性。主要研究内容成果如下： (1)本文从RGB-D相机的结构出发，研究了RGB-D相机深度测量的两种技术—结构光和TOF，并分析了这两种技术的优缺点。同时提出一种大范围场景下特征点深度信息获取算法，该算法在通过深度图像对齐获取深度信息的基础上，利用相机的运动通过局部地图投影和三角测量方法获取特征点的深度信息。 (2)在特征点深度信息获取算法的基础上提出了大范围环境下RGB-D视觉里程计算法。该算法首先使用金字塔LK光流法追踪网格法提取的FAST角点；其次将上一帧中的特征点进行深度关联，从而获得深度已知的3D-2D特征对以及深度未知的2D-2D特征对；接着将2D-2D特征对使用五点法来估计相机的旋转矩阵,将估计的旋转矩阵作为初值来最小化3D-2D特征对之间的重投影误差求解相机平移向量；最后，采用光束平差法对获取的位姿与特征点进行局部优化。本文在TUM中的大范围场景数据集进行了实验，实验证明与RGB-D SALM相比本文算法的平均均方根误差减少了0.897m，同时相机估计位姿输出的平均频率达到20.34Hz。 (3)由于视觉里程计依赖于特征点追踪的准确性，环境的变化会对视觉里程计算法产生一定的影响，因此本文通过使用扩展卡尔曼的松耦合框架将视觉和惯性传感器进行融合。首先对系统的状态变量进行了定义，并引入了视觉坐标系减小视觉里程计的位姿漂移；其次通过惯性传感器的运动学模型推导了状态量的误差传播方程，用误差方程来做协方差矩阵的预测更新，同时将视觉里程计输出的相机位姿作为观测量进行测量更新；最后本文引入了时间序列缓存机制将视觉和惯性传感器进行时间同步。本文通过实际搭建的硬件平台验证该视觉/惯性融合的RGB-D视觉里程计算法可以有效的减少位姿的漂移同时增强系统的鲁棒性。

目录

第一个书签之前

第一章 绪论

1.1研究背景和意义

1.2 选题来源

1.3 研究现状

1.3.1 视觉里程计的基本框架

1.3.2 基于RGB-D相机的视觉里程计研究现状

1.3.3 视觉惯性融合的里程计研究现状

1.4 研究内容

1.5论文结构

第二章 大范围场景中特征点深度信息获取算法

2.1 引言

2.2 RGB-D相机

2.2.1 RGB-D相机结构

2.2.2 RGB-D相机深度图像成像原理

2.3 相机模型

2.4 特征点深度信息获取算法

2.4.1 深度图像对齐获取深度信息

2.4.2 局部地图投影获取深度信息

2.4.3三角测量获取深度信息

2.5本章小节

第三章 大范围场景下RGB-D视觉里程计

3.1 引言

3.2 算法介绍

3.2.1 坐标系及其符号定义

3.2.2算法流程介绍

3.3 特征追踪

3.3.1 网格法FAST特征提取算法

3.3.2 金字塔LK光流法

3.3.3 特征管理

3.4 特征点深度信息获取

3.4.1 局部地图维护

3.4.2 特征点深度信息获取

3.5 帧到帧运动估计

3.5.1 旋转估计

3.5.2 平移估计

3.6 局部光束平差优化

3.6.1 光束平差法

3.6.2 局部光束平差法

3.7 本章小节

第四章 视觉/惯性融合的RGB-D视觉里程计

4.1 引言

4.2 算法介绍

4.3 坐标系定义

4.4 EKF算法推导

4.4.1 EKF预测过程

4.4.2 EKF更新过程

4.5 时间同步机制

4.6 本章小节

第五章 实验与分析

5.1 大范围场景下RGB-D视觉里程计实验

5.1.1 数据集实验

5.1.2实验结果分析

5.2 视觉/惯性融合的RGB-D视觉里程计实验

5.2.1 硬件平台

5.2.2 传感器标定

5.2.3 实际场景实验与分析

5.3 本章小节

第六章 总结与展望

6.1 工作总结

6.2 展望

参考文献

致谢

攻读学位期间发表的学术论文目录