一种基于便携式眼电采集装置的无人机控制系统

摘要

本发明公开了一种基于便携式眼电采集装置的无人机控制系统，系统包括眼电采集装置、眼电刺激模块和无人机模块，眼电采集装置由主从机两部分构成，两者之间采用无线通信方式进行信息传输，近距离无线通信方式包括Wi‑Fi、Bluetooth、ZigBee和NFC，本发明的便携式眼电采集装置进行无人机的控制，解决了传统眼电采集设备不易携带、操作复杂的问题，结合提出的眼电训练及识别算法可以实现无人机的高效控制；通过眼电信号来控制飞行器，摆脱了传统的手控方式，既可以通过手控加眼控的模式解决双手无法同时执行多个指令的问题，提升控制的灵活性和多样性，又可以单纯采用眼控的模式造福双手运动障碍的人群；本系统在飞控领域、助残领域和教育领域都有广阔的应用前景。

说明书

技术领域

本发明属于飞控技术领域，具体涉及一种基于便携式眼电采集装置的无人机控制系统。

背景技术

申请号为201710256131.X的发明专利设计了一种基于脑电与眼电的飞行器三维空间目标搜索系统和方法，采用脑电信号和眼电信号相结合的方式进行飞行器的控制，脑电中的MI(运动想象)信号作为决策子系统而眼电中的眨眼信号作为接口转换子系统，眨眼可以切换垂直和水平的MI任务接口，进而通过左右手的运动想象行为控制飞行器的左右偏航和垂直升降。该系统的控制模式有较好的控制多样性和场景适应能力，但是控制方式较为复杂，用户在使用前需要进行较多的适应工作。同时，采用电极帽来采集脑电和眼电信号的方式导致该系统的便携性较低。

申请号为201710298938.X的发明专利设计了一种基于可穿戴显示器的异步脑控无人机系统，通过不同频率的稳态视觉诱发刺激单元来刺激大脑产生SSVEP(稳态视觉诱发电位)，根据检测到的电信号判断使用者想要执行的无人机控制指令，但是人眼长时间注视高频闪烁界面会引起较大的不适感，极端情况下还可能诱发癫痫。同时，基于SSVEP的控制系统的响应速度也非常有限，无法实现快速控制。

发明内容

本发明的目的在于提供一种基于便携式眼电采集装置的无人机控制系统，采用便携式装置获取EOG(眼电)信号，相较于传统的基于电极帽和放大器的眼电采集设备，具有更优的便携性和舒适度。同时，通过眼电信号来控制无人机在一定程度上解放了用户的双手，提高了无人机控制方式的多样性。眼电采集装置主从设备的交互和无人机控制命令的收发均采用无线通信方式，拓展了系统的控制距离和应用场景的适应性，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于便携式眼电采集装置的无人机控制系统，系统包括眼电采集装置、眼电刺激模块和无人机模块，眼电采集装置由主从机两部分构成，两者之间采用无线通信方式进行信息传输，近距离无线通信方式包括Wi-Fi、Bluetooth、ZigBee和NFC，主从机上电后都需要进行初始化流程，包括时钟初始化、板载外设初始化和蓝牙的GAP层及GATT层的初始化；接着从机进入广播状态，在2.4GHz频段的三个广播信道中发送广播包，包含从机的设备名称、UUID和设备地址等信息，而主机则进入扫描状态，根据预设的对端特征寻找目标设备，进而在主从机之间建立连接；从机在与主机建立连接后进入数据采集阶段，通过高精度的AD芯片和生物电极从用户的头部获取EOG信号，采用的是单极导联方式，REF参考电极和RLD右腿驱动电极均置于耳后，而EOG信号电极置于额头处，在MCU中设置10ms的定时器以100Hz的频率采集数据；在MCU中进行预处理后通过蓝牙协议将数据发送到主机端，主机再将接收到的数据通过串口发送到眼电采集模块，进而可以根据实时数据绘制眼电波形；

眼电刺激模块为PC或者平板电脑，运行有控制系统的上位机软件，眼电刺激界面上的每一个闪烁按钮对应一个无人机的控制指令；处于眼电训练状态下时，界面上的任意一个按钮会以600ms的间隔闪烁，闪烁态和非闪烁态有不同的背景色和文字色，用户需要跟着按键的闪烁进行同步的眨眼动作，通过至少10次的训练获取眼电识别所需的参数，具体的提取方法如下；将采集到的EOG数据波形进行带通滤波(0.1-20Hz)，提取按键闪烁后600ms的数据段进行去基线处理，基线段一般为前100ms数据的平均值；f(t)表示眼电预处理后的波形，f'(t)表示经过一阶差分后的波形，这两种波形通常呈现近似正弦波(波峰在前波谷在后)的形式，用t

计算这至少10次训练的t

训练结束后系统会进入运行状态，此时刺激界面上的所有按键会按照顺时针或者逆时针的顺序持续闪烁，时间间隔为300-500ms；用户只需要跟随按键闪烁进行眨眼就能选中对应的指令，为了避免正常眨眼带来的误触操作，同一个按键要被连续选中2-3次才能被判定为正确操作的结果，被选中的按键还将常亮一段时间以提示用户；判断用户眨眼行为的决策算法如下：

对应的按键被选中后，眼电刺激模块将无人机的控制指令通过数传模块发送到无人机端，无人机就会执行相应的动作；前进和停止对应无人机飞行状态的改变指令，上升和下降表示无人机垂直方向高度的调节，左转和右转将改变无人机的偏航角，加减速则会调节无人机飞行时的速度；

无人机模块的硬件由主控板、传感器、数传模块和机架构成，传感器由加速度计、陀螺仪、磁力计和气压计构成，主控板通过I2C和SPI接口可以获取传感器的原始数据，然后通过姿态解算算法获取到无人机当前的姿态及高度信息；数传模块通过PPM传输格式给无人机下达控制指令；

软件包括滤波器设计、姿态解算和控制器设计三个部分；传感器输出的原始数据包含多种噪声，通过滤波器可以去除这些噪声并使波形变得平滑稳定，有利于提升控制器的稳定性和鲁棒性；姿态解算采用互补滤波算法结合梯度下降算法完成四元数的更新，滤波后的传感器数据在姿态解算算法处理后，再经欧拉角变换得到无人机的偏航角、俯仰角和翻滚角；控制器部分采用PID算法，在姿态解算部分得到的欧拉角和电机转速之间建立比例、积分和微分关系，控制无人机的左右偏航、前后俯仰和垂直升降等动作。

优选的，MCU中进行的预处理可以是均值滤波或者卡尔曼滤波。

优选的，所述机架采用四旋翼无人机结构。

优选的，数传模块通过PPM传输格式给无人机下达控制指令的具体传输方式为Wi-Fi或Bluetooth，也可以通过NRF24L01这种工作在2.4-2.5GHz频段的无线收发模块进行数据传输。

与现有技术相比，本发明的有益效果是：本发明通过一种便携式眼电采集装置进行无人机的控制，解决了传统眼电采集设备不易携带、操作复杂的问题，结合提出的眼电训练及识别算法可以实现无人机的高效控制。

本发明通过眼电信号来控制飞行器，摆脱了传统的手控方式，既可以通过手控加眼控的模式解决双手无法同时执行多个指令的问题，提升控制的灵活性和多样性，又可以单纯采用眼控的模式造福双手运动障碍的人群；本系统在飞控领域、助残领域和教育领域等都有广阔的应用前景。

附图说明

图1为本发明的主从机通信框图；

图2为本发明的眼电采集电极分布示意图；

图3为本发明的眼电刺激界面示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1至图3，本发明提供一种技术方案：一种基于便携式眼电采集装置的无人机控制系统，系统包括眼电采集装置、眼电刺激模块和无人机模块，眼电采集装置由主从机两部分构成，两者之间采用无线通信方式进行信息传输，常用的近距离无线通信协议包括Wi-Fi、Bluetooth、ZigBee和NFC等，此处以Bluetooth通信方式为例阐述；主从机建立连接和数据通信的流程如图1所示；主从机的处理芯片以型号为CC2640为例，两者上电后都需要进行初始化流程，包括时钟初始化、板载外设初始化和蓝牙的GAP层及GATT层的初始化等。接着从机进入广播状态，在2.4GHz频段的三个广播信道中发送广播包，包含从机的设备名称、UUID和设备地址等信息，而主机则进入扫描状态，根据预设的对端特征寻找目标设备，进而在主从机之间建立连接；从机在与主机建立连接后进入数据采集阶段，通过高精度的AD芯片和生物电极从用户的头部获取EOG信号，电极的放置位置如图2所示，采用的是单极导联方式，REF参考电极和RLD右腿驱动电极均置于耳后，而EOG信号电极置于额头处，一般在MCU中设置10ms的定时器以100Hz的频率采集数据；在MCU中进行简单的预处理(如均值滤波、卡尔曼滤波等)后通过蓝牙协议将数据发送到主机端，主机再将接收到的数据通过串口发送到眼电采集模块(通常为PC或者平板电脑)，进而可以根据实时数据绘制眼电波形；

眼电刺激模块通常是PC或者平板电脑，运行有控制系统的上位机软件，眼电刺激界面如图3所示，每一个闪烁按钮对应一个无人机的控制指令；处于眼电训练状态下时，界面上的任意一个按钮会以600ms的间隔闪烁，闪烁态和非闪烁态有不同的背景色和文字色，用户需要跟着按键的闪烁进行同步的眨眼动作，通过至少10次的训练获取眼电识别所需的参数，具体的提取方法如下：将采集到的EOG数据波形进行带通滤波(0.1-20Hz)，提取按键闪烁后600ms的数据段进行去基线处理，基线段一般为前100ms数据的平均值；f(t)表示眼电预处理后的波形，f'(t)表示经过一阶差分后的波形，这两种波形通常呈现近似正弦波(波峰在前波谷在后)的形式，用t

计算这至少10次训练的t

训练结束后系统会进入运行状态，此时刺激界面上的所有按键会按照顺时针或者逆时针的顺序持续闪烁，时间间隔为300-500ms(取决于按键的数量和系统时效性的要求)；用户只需要跟随按键闪烁进行眨眼就能选中对应的指令，为了避免正常眨眼带来的误触操作，同一个按键要被连续选中2-3次才能被判定为正确操作的结果，被选中的按键还将常亮一段时间以提示用户；判断用户眨眼行为的决策算法如下：

对应的按键被选中后，眼电刺激模块将无人机的控制指令通过数传模块发送到无人机端，无人机就会执行相应的动作；前进和停止对应无人机飞行状态的改变指令，上升和下降表示无人机垂直方向高度的调节，左转和右转将改变无人机的偏航角，加减速则会调节无人机飞行时的速度；

无人机模块的硬件通常由主控板、传感器、数传模块和机架构成，主控板采用STM32高性能系列的处理器，典型的比如STM32F4和STM32F7系列的处理器，可以达到180MHz以上的处理器主频，并且有丰富的外设接口供以功能拓展，比如I2C、UART和SPI等接口；传感器由加速度计、陀螺仪、磁力计和气压计构成，主控板通过I2C和SPI接口可以获取传感器的原始数据，然后通过姿态解算算法获取到无人机当前的姿态及高度信息；数传模块通过PPM传输格式给无人机下达控制指令，具体的传输方式可以为Wi-Fi和Bluetooth等，也可以通过NRF24L01这种工作在2.4-2.5GHz频段的无线收发模块进行数据传输；机架采用四旋翼无人机结构，包括F330、F360和F450等类型，数字具体指的是四旋翼无人机机架对角电机中点的距离；

软件上主要涉及滤波器设计、姿态解算和控制器设计三个部分，传感器输出的原始数据往往包含多种噪声，如果以波形图的形式呈现将会发现有大量的“毛刺”，通过卡尔曼滤波可以去除这些噪声并使波形变得平滑稳定，有利于提升控制器的稳定性和鲁棒性；姿态解算采用互补滤波算法结合梯度下降算法完成四元数的更新，滤波后的传感器数据在姿态解算算法处理后，再经欧拉角变换得到无人机的偏航角、俯仰角和翻滚角；控制器部分采用PID算法，在姿态解算部分得到的欧拉角和电机转速之间建立比例、积分和微分关系，控制无人机的左右偏航、前后俯仰和垂直升降等动作。

本发明的工作原理及使用流程：用户佩戴好眼电采集装置的从机设备，三个生物电极按照图2的形式放置，将眼电采集装置的主机设备通过USB接口连接到PC或者平板电脑上，步骤(1)以主从机成功建立数据传输通道为结束；

用户根据眼电刺激模块上的提示进入训练模式，此时刺激界面上将有一个随机的按键以600ms的时间间隔进行闪烁，用户需要跟随这个按键进行同步的眨眼动作，执行超过10次的训练后步骤(2)结束；

眼电刺激模块提示用户进入运行模式，此时刺激界面上的所有按钮以300-500ms的时间间隔闪烁，闪烁顺序以顺时针或者逆时针形式。假设用户需要让无人机执行“上升”操作，需要在连续两轮闪烁中跟随“上升”按键同步眨眼，如果成功选中该按键，其将常亮一段时间以提示用户操作成功。随后，无人机模块收到数传模块传来的指令后执行相应的动作；重复步骤(3)直到系统停止工作。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。