低能见度下无人机视觉追踪方法研究

摘要

无人机作为一种智能航空器，具有广泛的应用前景，并已在民用、军用领域受到普遍关注。目前，计算机视觉技术的飞速发展，大大提升了无人机通过视觉系统完成各种任务的综合能力。其中，目标追踪技术已成为无人机通过视觉对场景进行感知和理解的核心手段。然而，受雾、雨等恶劣天气影响，视觉系统性能会受到不同程度的干扰，若仅依赖于低质的图像信号，则难以完成预期的目标追踪任务。 为了使无人机在恶劣天气状况下更好地完成目标追踪任务，本文提出了一种面向无人机的低能见度下视觉追踪方法。该方法在对低质图像数据进行去雾预处理的基础上，引入误差修正后的无人机导航参数作为环境感知的辅助手段，来提高无人机视觉追踪的性能。由此，本文的主要研究工作如下： （1）针对雾天情况下航空图像清晰度减小、细节丢失、质量大大降低等问题，提出一种基于深度学习的低质航空图像去雾方法。首先引入大气散射模型，用于解释航空图像退化机理；然后设计一个自编码网络，通过非监督学习方式提取图像的雾相关特征；并设计一个卷积神经网络，回归出雾相关特征对应的场景透射率；最后依据场景透射率反演出清晰的航空图像。预先建立一个包含多场景有雾图像和对应透射率图的数据库作为训练样本集，并通过室内/外图像、航空图像等多组测试集的实验结果验证该图像去雾方法的有效性。 （2）针对导航传感器精度低问题，提出一种视觉辅助的无人机导航参数误差修正方法。传统的导航系统存在卫星信号易被遮挡、惯性单元误差随时间积累等缺陷，引入视觉信息作为一种传感器误差修正的辅助手段具有无可替代的优势。首先，对经典的LK光流法进行改进，并利用极几何约束估计出无人机速度，作为下一步数据融合所需的观测值；然后设计一个非线性观测器模型，将速度估计值与卫星、惯性等传感器数据进行融合，进而获得高精度的位置、速度、姿态等无人机导航参数。通过仿真数据、苏黎世大学Zurich-urban飞行数据集的实验结果验证该导航误差修正方法的可行性和有效性。 （3）结合复原后的航空图像与修正后的导航参数，提出一种适用于低能见度环境的无人机目标追踪算法。首先，利用导航参数估计出地面场景的理论光流值，并与预先计算的真实光流值进行差值运算，通过阈值判断结果检测出运动目标的位置；然后，改进一种基于离散卡尔曼滤波的目标轨迹追踪算法，对检测出的目标轨迹进行预测与追踪，并将轨迹转化到世界坐标系中。通过Simulink3D仿真实验、水面目标追踪实验结果验证该目标追踪方法的有效性。 （4）搭建无人机硬件平台，并设计了低能见度下无人机综合飞行试验。首先解决了相机标定、信号同步等难题，然后通过飞行试验的结果验证了本文追踪方法在低能见度环境下的有效性，并分析了去雾预处理对导航系统的影响，以及导航误差修正对目标追踪的影响。

目录

声明

第1章 绪论

1.1课题研究的背景及意义

1.2国内外研究现状

1.2.1图像去雾

1.2.2导航误差修正

1.2.3目标追踪

1.2.4主要存在的问题

1.3论文主要研究内容及章节安排

第2章 基于深度学习的低质航空图像去雾方法研究

2.1图像去雾方法概述

2.2低质图像去雾

2.2.1大气散射模型建立

2.2.2基于自编码网络的雾相关特征提取

2.2.3基于卷积神经网络的场景透射率估计

2.2.4图像去雾

2.3实验结果与分析

2.3.1室外图像集去雾实验

2.3.2室内图像集去雾实验

2.3.3航空图像集去雾实验

2.4本章小结

第3章 视觉辅助的导航传感器误差修正方法研究

3.1无人机导航方法概述

3.2无人机状态估计

3.2.1 SURF特征提取

3.2.2 LK光流误差补偿

3.2.3无人机速度估计

3.3导航传感器误差修正

3.3.1坐标系转换

3.3.2观测器模型提出

3.3.3导航误差参数修正

3.4实验结果与分析

3.4.1 Simulink仿真实验

3.4.2 Zurich-urban飞行数据集导航实验

3.5本章小结

第4章 低能见度下无人机目标追踪算法研究

4.1无人机目标追踪方法概述

4.2目标检测

4.2.1理论光流值估计

4.2.2运动目标检测

4.3目标追踪

4.3.1分类器建立

4.3.2离散卡尔曼滤波模型建立

4.3.3目标轨迹追踪

4.3.4世界坐标系下目标轨迹转换

4.4实验结果与分析

4.4.1 Simulink 3D仿真实验

4.4.2水面目标追踪实验

4.5本章小结

第5章 低能见度下无人机综合飞行试验

5.1无人机硬件平台搭建

5.2低能见度下无人机目标追踪实验

5.2.1航空图像去雾

5.2.2导航误差修正

5.2.3目标追踪

5.3本章小结

第6章 总结与展望

6.1论文总结

6.2论文展望

（1）航空图像去雨

（2）深度学习

（3）视觉伺服

致谢

参考文献

攻读硕士学位期间的研究成果