基于三维视觉信息的复杂场景位置识别技术研究

摘要

视觉位置识别是指移动无人系统根据自身视觉传感器的信息，与地图环境的先验视觉信息进行匹配，从而判断自身位置的过程。面向大规模复杂场景的位置识别是移动无人系统自主定位与导航的重要研究内容。图像是应用最为广泛的视觉数据，具有丰富的纹理信息，但是因为缺乏绝对尺度，基于单一图像的位置识别容易产生歧义的结果。随着三维视觉传感器的发展，具有几何信息的三维点云成为近两年位置识别研究的新热点，然而点云数据处理难度大且对场景结构性变化敏感，基于点云的位置识别还处于起步阶段仍有很大的提升空间。本文根据图像与点云的特性，研究基于三维视觉信息的复杂场景位置识别技术，取得优于现有方法的识别效果。本文主要研究贡献如下：　　首先，基于卷积神经网络与非局部操作构建一个新的图像特征提取网络，并以此设计基于图像序列的位置识别方法。在多组对照实验中，本文的网络模型与开源模型ImageNet和PlaceNet相比性能均取得显著提升，提取的图像特征对光照与视角变化具有更强的鲁棒性；本文提出的序列位置识别算法的精确率与现有算法SeqSLAM相比平均提升了约10%，另外通过实验也验证了基于图像序列的识别效果远远超出基于单一图像的方法。　　其次，基于现有网络PointNet通过上下文信息融合的方式设计新的点云特征提取网络，并结合特征聚合方法构造一个基于点云的端到端位置识别网络模型。本文设计的点云特征提取网络与PointNet相比可以获得更具区分性的特征，在位置识别任务中平均召回率提升了约1.5个百分点；本文提出的端到端位置识别网络模型比现有算法PointNetVLAD提升了约2.7个百分点。　　最后，针对多传感器移动无人系统，提出一种先图像检索、后点云匹配的分层三维视觉位置识别策略。将图像与点云这两种视觉信息进行结合，通过多帧图像检索为点云匹配提供可靠的候选位置，与本文纯点云的方法相比平均召回率提升了约10%，与PointNetVLAD相比提升了约12%，为基于三维视觉信息的位置识别提供了新的研究思路。

目录

声明

第 1 章 绪论

1.1 论文研究背景及意义

1.2 国内外研究现状

1.2.1 基于图像的位置识别

1.2.2 基于点云的位置识别

1.3 本文的研究内容及结构安排

第 2 章 位置识别理论基础及相关技术

2.1 SLAM 系统内容概述

2.2 位置识别相关原理

2.2.1 机器人的位置概念

2.2.1 位置识别的主要模块

2.3 深度学习基本理论技术

2.3.1 深度学习相关概念

2.3.2 卷积神经网络基本原理

2.4 Oxford RobotCar 数据集

第 3 章 基于图像非局部特征改进的位置识别算法

3.1 总体方案

3.2 基于非局部操作改进的特征提取网络

3.2.1 非局部特征提取

3.2.2 相似性度量学习

3.3 基于图像序列的位置识别

3.3.1 基于非局部特征的词袋模型构建

3.3.2 差异性矩阵与序列搜索

3.4 实验验证

3.4.1 实验环境与评价指标

3.4.2 测试数据集

3.4.3 实验结果与分析

3.5 本章小结

第 4 章 基于点云特征融合改进的位置识别算法

4.1 总体方案

4.2 三维视觉数据处理

4.2.1 基于手工设计的点云特征

4.2.2 基于深度学习的点云特征

4.3 基于点云端到端的位置识别网络模型

4.3.1 基于 PointNet 改进的特征提取网络

4.3.2 基于 NetVLAD 的点云描述子

4.3.3 基于端到端的相似性度量学习

4.4 实验验证

4.4.1 实验环境与评价指标

4.4.2 训练数据集与测试数据集

4.4.3 实验结果与分析

4.5 本章小结

第 5 章 基于图像与点云的分层位置识别方法

5.1 总体方案

5.2 二维图像与三维点云的数据对齐

5.3 基于多帧图像检索与点云匹配的分层位置识别方法

5.4 实验验证

5.5 本章小结

总结与展望

参考文献

附录 A 攻读学位期间发表的学术论文

致谢