基于双目视觉和深度学习的无人机人机交互系统

摘要

现行的无人机控制主要依靠专业的设备，由经过专业训练的人来完成。这给无人机的普及以及推广带来了不小的困难。无人机越来越多的应用场景给操控的便捷性带来了越来越高的要求，现有的依靠设备的方法在很多应用场合有着很大的局限性，限制着无人机应用的扩展。为此，本文研究了简化无人机人机交互的方法，该方法在拓展无人机应用方式上有着重要的应用意义。本文完成的工作如下：
　　搭建了一套无人机实验验证平台。该平台包括了一台多旋翼无人机以及以Nvidia Tegra K1芯片为核心的机载嵌入式信号处理平台。编写了机载嵌入式信号平台与无人机飞行控制系统的接口程序，为后续的无人机控制、导航以及其它类别的应用研究奠定了良好的软硬件实验验证基础。
　　设计并实现了一种基于双目视觉和深度学习的手势控制无人机方法。首先跟踪并提取人物所在区域，通过立体匹配获取人物和背景均包含的深度图。然后通过归一化并且阈值化的方法，将对动作识别造成干扰的背景去除，从而得到只含有领航员的深度图序列。其次，通过对深度图序列前后两帧差分处理并且利用HSV色彩空间按照时间顺序进行色彩映射与叠加，将深度图序列转换为同时含有人物动作时间与空间信息的彩色纹理图。然后用深度学习方法对所获得的彩色纹理图进行训练和分类，从而实现手势指令的识别。由于神经网络的训练对硬件要求极高，因此本方案采用离线训练，在线分类的方式。
　　最后，构建了一个包含4个指令动作和一个非指令动作的数据集，利用数据集对神经网络进行训练并且进行了测试。经验证，本文所述方法在室内和室外均可使用，有效控制范围达到10m，可以简化无人机控制复杂度，对促进无人机普及，拓展无人机应用范围都具有一定的参考价值。

目录

声明

第一章绪论

1.1引言

1.2国内外研究现状

1.3论文的主要研究内容

1.4论文结构安排

第二章基于双目视觉的深度图生成以及处理

2.1双目摄像头图像的采集

2.2双目视觉测距原理[35]

2.3立体相机的标定

2.4深度图的生成

2.5立体图像的预处理

2.6本章小结

第三章基于深度学习的动作识别方法

3.1视频预处理

3.2卷积神经网络

3.3数据集的构建

3.4神经网络的训练和动作识别

3.5本章小结

第四章多旋翼无人机控制

4.1多旋翼无人机控制

4.2无人机的外部控制

4.3本章小结

第五章实验和数据分析

5.1硬件平台

5.2手势识别算法性能比较

5.3手势识别距离测试

5.4本章小结

第六章总结与展望

6.1本文工作总结

6.2进一步的工作

参考文献

发表论文和参加科研情况说明

致谢