基于人机交互技术的四旋翼飞行器系统控制方法

摘要

一种基于人机交互技术的四旋翼飞行器系统控制方法，属于智能飞行机器人领域，特征在于操纵者可通过手势控制四旋翼飞行器。四旋翼飞行器由分布在其几何顶点的四个旋翼的协同运转完成飞行姿态控制，具有偏航角、俯仰角以及滚转角三个自由度。视觉人机交互技术中主要使用了OpenCV和OpenGL。系统通过深度摄像头捕获操纵者的手的深度图像，经计算机分析处理后得到手势信息并生成与之对应的控制信号通过无线通信装置发送给飞行器执行，以此实现从操纵者手的运动状态到飞行器的运动状态的映射，完成手势控制。这种手势控制可凭借其较远的控制距离和更为直观的手势对应关系应用于执行难度较高的危险性实验和工业生产过程。

说明书

技术领域

本发明属于智能飞行机器人领域，具体涉及一种利用深度摄像头捕获人体手势完成四旋翼飞行器控制的方法。

技术背景

四旋翼飞行器是本发明的操作对象，它是一种具有四个螺旋桨的飞行器，并且四个螺旋桨呈十字形交叉结构，相对的两组四旋翼具有相同的旋转方向。在国内四旋翼飞行器还出于萌芽阶段，很少有较为成熟的成果面世；但四旋翼飞行器在国际上较为流行，西方多所名牌高校都已在四旋翼飞行器控制上取得领先地位，也有不少爱好者投身到四旋翼飞行器的制作与研究当中来。四旋翼飞行器以其体积小、重量轻、灵活度高的优势博得了广大飞行器爱好者的青睐。

本发明的控制手段为深度摄像头的手势识别，利用的是Natal深度摄像头。空间图像处理已有一些成型的解决方案，但都因为其复杂的算法以及庞大的运算库将许多周边领域的研究人员拒之门外。本发明使用的Natal深度摄像头巧妙地使用了一个可见光摄像头、一个红外摄像头和一个红外点阵发生器完成了空间图像的深度处理，为手势识别提供了便利条件。目前此项技术已开始在机器视觉领域有所应用，并广受好评。

发明内容

本发明的目的在于提供一种利用深度摄像机捕获人体手势从而控制飞行器姿态的方法，充分体现操作者手势控制的灵活性与便捷性，降低普遍对于飞行器控制的难度，拓展小型飞行器的应用范围。

基于上述目的，本发明的构思方案为：以四旋翼飞行器、平面位置捕获装置以及手势识别装置构成控制系统。其中平面位置捕获装置包括环境红外摄像头和一组平行放置间距可调的支架，环境红外摄像头与枢纽计算机之间通过无线视频传输模块进行通信，用来将四旋翼飞行器的实时水平面飞行状态反馈给计算机；手势识别装置由一部Natal深度摄像机和一台计算机构成，深度摄像头用来捕获人体手势，并通过有线传输方式将手势信息传输给计算机；四旋翼飞行器与计算机通过ZigBee无线数传模块进行通信。

本发明所提供的基于人机交互技术的四旋翼飞行器系统控制方法，具体步骤如下：

步骤1：通过四旋翼飞行器1机载的超声波测距模块13获取四旋翼飞行器1的高度信息，该高度信息经四旋翼飞行器1的机载微控制器8处理为以ASCII码表示的十进制数通过ZigBee无线通信模块14传输给计算机7；

步骤2：通过无线环境红外摄像头5捕获四旋翼飞行器1上表面的2个红外反光布11的平面位置信息和角度信息，从而获得四旋翼飞行器1的平面位置信息和偏航角并传输给计算机7；

步骤3：计算机7将所获得的高度信息和平面位置信息综合为无线环境红外摄像头5覆盖空间内的x、y、z坐标，至此得到四旋翼飞行器1的当前位置空间坐标；

步骤4：通过Natal深度摄像机6拍摄操纵者的手的深度图像并传输给计算机7；

步骤5：计算机7对所获得的深度图像进行解析，分离出操纵者的手在Natal深度摄像机6覆盖范围内的x、y、z坐标和操纵者的拇指和食指的夹角信息；

步骤6：计算机7通过空间坐标变换将步骤5所获得的操纵者的手的当前位置空间坐标映射为四旋翼飞行器1所在空间范围的目标位置空间坐标；

步骤7：计算机7根据步骤3中所获得的四旋翼飞行器1的当前位置的空间坐标与步骤6中所获得的四旋翼飞行器1的目标位置空间坐标计算出针对四旋翼飞行器1空间位置的PID控制量，包括前进后退控制量、左右平动控制量、升高降低控制量，根据步骤5中所获得的操纵者拇指和食指的夹角信息生成控制机械手12捏合角度的控制量，根据步骤2所获得的偏航角计算出用于抑制四旋翼飞行器1自旋的偏航角控制量，通过ZigBee无线通信模块14传输给四旋翼飞行器的机载微控制器8；

步骤8：四旋翼飞行器的机载微控制器8将所获得的前进后退、左右平动、升高降低和偏航角控制量以PWM信号形式传输给飞行姿态控制器9，将所获得的机械手控制量以PWM信号形式传输给机械手12；

步骤9：飞行姿态控制器9将所获的控制信息解析为执行相应动作任务的四路电机驱动信号经电子调速器15进行处理和功率放大后最终驱动四个无刷电机10控制四旋翼飞行器1移动到指定位置，机械手按指定角度进行捏合完成抓取动作。

相比于相应领域的其它飞行器控制，本发明具有以下有益效果：

第一，由于四旋翼飞行器本身独特的结构设计，它较为适合狭小空间的灵活操作；再加以使用本发明的空间定位系统，它的飞行定位操作就更为精确。以上两点使得本四旋翼飞行器能够出色的完成高难度的精细动作，例如物体抓取、文字书写等辅助性劳动。

第二，由于本四旋翼飞行器控制系统的人机交互基于深度摄像机，上位机能够较为准确地获取并有效地处理手势姿态信息，从而实现操作者的实时手势控制。此项技术的应用使得本四旋翼飞行器的控制更加灵活、方便，能够通过简单的手势空间对应完成复杂的飞行器空间操控。

以下结合附图说明和具体实施方式对本发明作进一步的详细说明。

附图说明

图1是本发明所使用的基于人机交互技术的四旋翼飞行器系统结构示意图；

图2是四旋翼飞行器的俯视图

图3是四旋翼飞行器的仰视图

图4是本发明的系统框图

图中：1-四旋翼飞行器，2-平面位置捕获装置，3-手势识别装置，4-两个平行放置间距可调的支架，5-无线环境红外摄像头，6-Natal深度摄像机，7-计算机，8-机载微控制器，9-飞行姿态控制器，10-无刷电机，11-红外反光布，12-机械手，13-超声波测距模块，14-ZigBee无线通信模块，15-电子调速器。

具体实施方式

第一部分通过移动手的位置控制四旋翼飞行器空间位置的实现方法

步骤一：通过触发四旋翼飞行器机载的超声波测距模块13得到一个与触发信号的时间差和四旋翼飞行器高度正相关的脉冲信号，并由四旋翼飞行器的机载微控制器MC9S12XS128通过输入捕获测量这一时间差得到四旋翼飞行器的高度信息，然后处理为以ASCII码表示的十进制数通过ZigBee无线通信模块14传输给计算机；

步骤二：通过环境红外摄像头捕获四旋翼飞行器上表面中心对称排布的2个红外反光布11反射的红外光(其他波段由红外滤片滤除)，经CMOS传感器将此光信号转化为红外图像视频流，此视频流通过无线视频传输模块传输给计算机；

步骤三：计算机通过OpenCV对所获得的视频流进行解析：

1、将红外图像灰度化；

2、查找ROI区域；

3、进行高斯滤波以进行二值化；

4、检测Contours轮廓并计算轮廓个数并对每个独立轮廓进行编号，以此来计算四旋翼飞行器的几何中心在环境红外摄像头视场中的x、y坐标和偏航角；

5、利用摄像头的透视原理，结合四旋翼飞行器机载微控制器传回的来自超声波测距模块的高度信息，计算出飞行器的z坐标；

步骤四：通过Natal深度摄像机拍摄操纵者的手的深度图像并传输给计算机；

步骤五：计算机对所获得的深度图像进行解析，分离出操纵者的手在Natal深度摄像机覆盖范围内的x、y、z坐标，至此获得操纵者的手的当前位置空间坐标；

步骤六：计算机通过空间坐标变换将步骤五所获得的操纵者的手的当前位置空间坐标映射为四旋翼飞行器所在空间范围的目标位置空间坐标；

步骤七：计算机根据步骤三中所获得的四旋翼飞行器的当前位置的空间坐标与步骤五中所获得的四旋翼飞行器的目标位置空间坐标计算出PID控制量，包括前进后退控制量、左右平动控制量、升高降低控制量，并通过ZigBee无线通信模块传输给四旋翼飞行器的机载微控制器；

步骤八：四旋翼飞行器的机载微控制器将所获得的前进后退、左右平动、升高降低控制量以PWM信号形式传输给飞行姿态控制器9；

步骤九：飞行姿态控制器将所获的控制信息解析执行相应动作任务的四路电机驱动信号经电子调速器15进行处理和功率放大后最终驱动四个无刷电机控制四旋翼飞行器移动到指定位置。

第二部分通过抓取手势控制四旋翼飞行器机载机械手抓取物体的实现方法

步骤一：通过Natal深度摄像机拍摄操纵者的手的深度图像并传输给计算机；

步骤二：计算机对所获得的深度图像进行解析：

1、由OpenGL还原成操纵者手的三维图像；

2、应用本田技术研究所Youding Zhu，Kikuo Fujimura研究员提出的应用贝叶斯框架对深度图像中人体姿态的追踪方法从三维图像中提取操纵者的拇指和食指的夹角信息并通过ZigBee无线通信模块传输给四旋翼飞行器的机载微控制器；

步骤三：四旋翼飞行器的机载微控制器将所获得的夹角信息处理为对应的舵机控制信号控制四旋翼飞行器机载的机械手的捏合距离，最终完成抓取动作。