一种基于脑机接口与自动驾驶技术的智能轮椅控制方法

摘要

本发明公开了一种基于脑机接口与自动驾驶技术的智能轮椅控制方法，包括以下步骤：根据网络摄像头获取当前图片对障碍物实现定位；障碍物信息产生候选目的地和用于路径规划的航迹点；对轮椅进行自定位；用户通过脑机接口选择目的地；将轮椅当前的位置作为起点，用户选择的目的地作为终点，结合航迹点规划最优路径；计算轮椅当前位置与最优路径的位置差作为PID路径跟踪算法的反馈；PID路径跟踪算法计算出参考角速度和线速度并入到PID运动控制器，并将里程数据转化为当前的角速度和线速度信息作为PID运动控制器的反馈，实时控制轮椅行驶至目的地。本发明的方法，极大程度地减轻用户的精神负担，且能适应多变的环境，提高了重症瘫痪病人的生活自理能力。

说明书

技术领域

本发明涉及脑机接口应用研究及人工智能领域，特别涉及一种基于脑机接口与自动驾驶技术的智能轮椅控制方法。

背景技术

世界各地有数以百万计的残疾人由于患有运动功能障碍从而丧失了运动功能。其中成千上万人的日常生活需要依赖电动轮椅。但是仍有一部分丧失运动功能的人不能操控传统的电动轮椅，有以下两个方面的原因：(1)他们不能通过传统的接口(如轮椅的控制杆)控制这类轮椅；(2)他们被认为没有能力安全地控制这类轮椅。

随着人工智能技术的高速发展，越来越多的研究成果被应用于辅助此类人群运动功能，从而提高他们的生活质量。其中，基于神经信号的脑机接口(braincomputer interface，BCI)作为一种人机交互方式发展尤为迅速，也是近年来脑功能研究的热点课题。但是，脑机接口作为一种新的交互方式来控制电动轮椅也面临着新的挑战：通过脑机接口准确地表达人的意图需要高度集中精神。因此，如果通过脑机接口直接控制轮椅行驶，会给残疾人产生巨大的精神负担。此外，由于脑信号不稳定，我们当前无法通过现有技术获得像轮椅控制杆同样的信息传输率，并且很难达到像控制操纵杆所能达到的操控能力。

脑机接口是指在脑和计算机或其它设备之间建立的直接的交流和控制通道，它不依赖于外周神经系统及肌肉组织，是一种全新的人机接口方式。脑机接口分为植入式与非植入式两类。植入式脑机接口所获得的脑信号精度相对较高，信噪比高，易于分析处理，但需要对使用者进行开颅手术，危险性较大，目前主要用于动物实验研究。非植入式脑机接口获取的脑信号噪声大，信号特征的可区分性差，但获取脑信号不需要进行任何手术，而且随着信号处理方法和技术的不断进步，对头皮脑电(electroencephalogram，EEG)的处理已经能够达到一定的水平，使脑机接口应用于实际生活成为可能。本发明以下内容所提及的脑机接口均指非植入式的脑机接口。目前，非植入式脑机接口研究所使用的信号主要包括P300，稳态视觉诱发电位(steady state visually evokedpotential,SSVEP)等事件相关电位(event related potential,ERP)，mu及beta节律，慢皮层电位(slow cortical potential,SCP)等。

脑机接口通常包括三部分：1)信号采集。2)信号处理。从神经信号中提取使用者的意识，并通过特定的模式识别算法将输入的使用者的神经信号转换为控制外部设备的输出指令。3)控制外部设备。根据使用者的意识来驱动外部设备，从而替代用户丧失的运动和交流能力。

目前，大部分的脑控轮椅系统都是利用脑机接口直接控制轮椅，没有加入自动驾驶技术，例如中国专利(一种新型的基于运动想象脑电控制的智能轮椅系统，公开号：CN101897640A；基于运动想象控制的残疾人轮椅车，公开号：CN101953737A)。采集人在想象左右手运动过程中的头皮脑电信号，通过分析脑电特异性成分，判断用户想象的方向，实现对轮椅运动方向的控制。中国专利(基于多模态脑机接口的智能轮椅，公开号：CN102309380A)。该发明采用多模态脑机接口对轮椅实现多自由度控制。通过事件相关电位P300实现对电动轮椅的启动、停止、后退以及速度控制；通过运动想象实现轮椅的方向控制。以上所述发明存在以下3个问题：(1)轮椅控制是多目标的，包括起动、停止，方向控制和速度控制。但是当前脑机接口很难产生如此多的控制命令。尽管专利(基于多模态脑机接口的智能轮椅，公开号：CN102309380A)已经采用多模态的脑机接口获得多种控制命令，但是用P300或者SSVEP产生精确的控制命令需要的时间较长，不适合对轮椅实际的控制。(2)脑机接口的性能因人而异。例如，很多人经过长时间的运动想象训练仍不能产生可以明显区分的控制信号。(3)长时间通过脑机接口控制轮椅对用户产生较大的精神负担。将自动驾驶技术引入到轮椅控制系统中可以解决上述问题。具有自动驾驶功能的轮椅在导航时，不需要任何控制命令。但是自动导航系统不能执行所有的控制命令。例如，自动导航系统不能自动识别出用户目的地的指令，因此需要一个特定的人机接口向自动导航系统传递目的地信息。但是对于运动功能丧失的残疾人，例如(ALS)病人，使用传统的人机接口(例如，控制杆，键盘等)会存在障碍。因此脑机接口技术与自动驾驶技术的结合对解决以上问题会是一个很好的方向。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于脑机接口与自动驾驶技术的智能轮椅控制方法。

本发明的目的通过以下的技术方案实现：

一种基于脑机接口与自动驾驶技术的智能轮椅控制方法，包括以下顺序的步骤：

S1.通过固定在墙面上的网络摄像头获取当前的图片信息，将获取的图片采用图像处理方法对障碍物实现定位；

S2.根据障碍物信息产生候选目的地和用于路径规划的航迹点；

S3.对轮椅进行自定位；

S4.用户通过脑机接口选择目的地；

S5.将轮椅当前的位置作为起点，用户选择的目的地作为终点，结合障碍物定位后产生的航迹点，经过A^*算法进行路径规划，产生一条最短的最优路径；

S6.获取最优路径后，计算轮椅当前的位置与最优路径的位置差，将位置差作为PID路径跟踪算法的反馈，由PID路径跟踪算法计算出参考的角速度和线速度；

S7.将参考角速度和线速度输入到PID运动控制器，并从固定在轮椅左右侧轮子上的里程计获得里程数据，将里程数据转化为当前的角速度和线速度信息，然后将转化得到的角速度和线速度信息作为PID运动控制器的反馈，从而调节轮椅的控制信号，实时控制轮椅行驶至目的地。

步骤S1中，所述的障碍物实现定位是通过以下顺序的步骤完成的：

(1)用阈值分割方法将图片中障碍物与地板分割；

(2)通过形态学开操作去除噪声，形态学闭操作重建开操作中去除的区域，从而获取每一个已分割区域的轮廓；

(3)通过去除比较小的轮廓，达到进一步去噪，然后将剩下的轮廓用凸包拟合；

(4)根据对应关系矩阵，将凸包的顶点映射到全局坐标系即地面平面坐标系；其中对应关系矩阵表示图像的像素坐标系与地面平面坐标系之间的对应关系；

(5)计算每张图片对应的凸包在全局坐标系下的相交区域，障碍物在坐标系中所对应的位置可以用这些相交区域近似。

所述的步骤S3，对轮椅进行自定位的方法包含以下顺序的步骤：

A、初始定位

(1)根据激光雷达采集到的距离点信息，用最小二乘拟合算法提取直线，并根据激光雷达扫描的方向，将提取到的直线转换成有方向信息的向量；

(2)将提取到的向量与环境地图中向量进行匹配，根据匹配的向量对，计算出轮椅当前的位置；

B、过程定位

(1)根据上一时刻轮椅的位置信息，并根据里程计的数据对轮椅下一时刻的位置进行航迹推算，根据航迹推算的位置对激光雷达获取到的向量进行坐标变换；

(2)将坐标变换后的向量与环境地图中向量进行匹配，根据匹配的向量对，计算出轮椅当前时刻的位置。

所述的步骤S4，具体为通过运动想象的脑机接口选择目的地，包含以下顺序的步骤：

(1)候选目的地分别用浅色和深色的实心圆表示，两种颜色代表两种不同类别的目的地；

(2)如果用户想选择一个浅色/深色的目的地，他需要根据图形用户接口界面中水平条的颜色相应地执行至少2秒的左/右手运动想象；当脑机接口系统检测到左/右手运动想象，浅色/深色的目的地保留在GUI中，并进一步将保留在GUI中的目的地划分成两类，两类分别用浅色和深色区别，其他的目的地从GUI中消失；

(3)用户一直重复这个选择过程直到只剩下一个目的地，最后用户需要继续执行2秒的左/右手运动想象接受/拒绝选择的目的地。

所述运动想象的检测算法步骤如下：

(1)提取200ms的EEG信号，使用共同平均参考(common average reference,CAR)滤波，8～30Hz的带通滤波；

(2)将滤波后的EEG信号使用共同空间模式(Common spatial pattern，CSP)投影后作为特征向量；

(3)将获得的特征向量输入到SVM分类器，得到预测的类和对应的SVM输出值，如果SVM输出值超过一定的阈值，对应类别作为输出结果。

所述的步骤S4，具体为通过P300的脑机接口选择目的地，包含以下顺序的步骤：

(1)用户首先有20秒的时间从图形用户接口界面中确定他想选择的目的地的编号；

(2)20秒后，P300的GUI将出现在屏幕上，其中每个闪烁键的编号与图形用户接口界面中实心圆中的编号一致；

(3)利用出现在屏幕上P300的GUI所示的脑机接口，用户可以通过注视对应编号的闪烁键来选择目的地；

(4)当选择完目的地，用户需要继续注视着闪烁键‘O/S’进一步验证；否则，用户需要注视着闪烁键‘Delete’拒绝上一次的选择，并重新选择目的地。

所述P300检测算法步骤如下：

(1)EEG信号经过0.1～20Hz的带通滤波，5Hz的下采样；

(2)对P300的GUI中的每一个闪烁键，提取每个通道的一段EEG信号形成一个向量，结合所有通道的向量形成特征向量，其中EEG信号长度为闪烁后600ms；

(3)SVM分类器应用到这些特征向量，获得对应40个闪烁键的值；

(4)经过4个round后，计算对应每一个键的SVM值的和，并找出其中最大的和次大的值，如果最大和次大的值的差超过某一阈值，对应最大的值的闪烁键作为输出的结果；否则继续检测前4个round，直到满足阈值条件；其中，所有的闪烁键随机地闪烁完一次定义为一个round。

所述的基于脑机接口与自动驾驶技术的智能轮椅控制方法，还包括轮椅行驶过程中，如果用户想停止轮椅并更改目的地，可以通过基于运动想象或者P300的脑机接口向轮椅发送停止命令，具体步骤如下：

(1)通过运动想象的脑机接口停止轮椅：在轮椅行驶过程中，想象左手运动超过3秒超过预设的阈值，一方面，脑机接口系统会向轮椅控制器直接发送停止指令；另一方面，车载计算机显示用于选择目的地的用户接口；

(2)通过基于P300的脑机接口停止轮椅：在轮椅行驶过程中，用户只需注视着图3中的闪烁键‘O/S’，一旦脑机接口系统检测到对应闪烁键‘O/S’的P300，一方面，脑机接口系统会向轮椅控制器直接发送停止指令；另一方面，车载计算机显示用于选择目的地的用户接口，供用户重新选择目的地。

本发明与现有技术相比，具有如下优点和有益效果：

1、本轮椅系统引入了协同控制的概念，充分利用人的智能、自动驾驶精确的控制能力的优点，并让两者控制不同的方面相互取长补短。根据传感器(固定在墙面上的网络摄像头)充分感知的障碍物信息，自动导航系统对障碍物进行实时的定位。根据障碍物在房间的位置信息，供用户选择的候选目的地和用于规划路径的航迹点自动产生。用户可以通过基于运动想象或者P300的脑机接口选择一个目的地。根据选择的目的地，导航系统规划出一条最短且最安全的路径，并自动导航轮椅到达选择的目的地。在轮椅行驶至目的地的过程中，用户能通过脑机接口发送停止命令，使用本发明所提出的系统，能够极大程度地减轻用户的精神负担。

每一次导航任务只需要用户在轮椅起动前通过脑机接口选择目的地，自动导航系统就会自动导航轮椅到达用户选择的目的地，导航期间不需要用户发出任何指令。因此，与其它发明相比，我们的系统极大程度地减轻了用户的精神负担；

2、轮椅行驶的路径是根据当前环境自动产生的，而不是离线预定义的。因此，我们的系统更能适应多变的环境。

附图说明

图1为本发明所述的基于脑机接口与自动驾驶技术的智能轮椅控制方法的应用界面；

图2为图1所述方法的基于运动想象的目的地选择的图形用户接口(GUI)图；

图3为图1所述方法的基于P300的目的地选择的图形用户接口(GUI)图；

图4为图1所述方法的系统框图；

图5为图1所述方法的轮椅自定位算法的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例一

如图1、2、3、4、5，一种基于脑机接口与自动驾驶技术的智能轮椅控制方法，包括以下顺序的步骤：

S1.通过固定在墙面上的网络摄像头获取当前的图片信息，将获取的图片采用图像处理方法对障碍物实现定位；所述的障碍物实现定位是通过以下顺序的步骤完成的：

(1)用阈值分割方法将图片中障碍物与地板分割；

(2)通过形态学开操作去除噪声，形态学闭操作重建开操作中去除的区，从而获取每一个已分割区域的轮廓；

(3)通过去除比较小的轮廓，达到进一步去噪，然后将剩下的轮廓用凸包拟合；

(4)根据对应关系矩阵，将凸包的顶点映射到全局坐标系即地面平面坐标系；其中对应关系矩阵表示图像的像素坐标系与地面平面坐标系之间的对应关系；

(5)计算每张图片对应的凸包在全局坐标系下的相交区域，障碍物在坐标系中所对应的位置可以用这些相交区域近似；

S2.根据障碍物信息产生候选目的地和用于路径规划的航迹点；

S3.如图5，对轮椅进行自定位，对轮椅进行自定位的方法具体包含以下顺序的步骤：

轮椅的自定位分为两类：初始定位和过程定位。

S31.初始定位：(1)根据激光雷达采集到的距离点信息，用最小二乘拟合算法提取直线，并根据激光雷达扫描的方向，将提取到的直线转换成有方向信息的向量。(2)将提取到的向量与环境地图中向量进行匹配，根据匹配的向量对，计算出轮椅当前的位置。

S32.过程定位：(1)根据上一时刻轮椅的位置信息，并根据里程计的数据对轮椅下一时刻的位置进行航迹推算，根据航迹推算的位置对激光雷达获取到的向量进行坐标变换。(2)将坐标变换后的向量与环境地图中向量进行匹配，根据匹配的向量对，计算出轮椅当前时刻的位置；

S4.用户通过脑机接口选择目的地：

第一种：如图2，通过运动想象的脑机接口选择目的地，包含以下顺序的步骤：

(1)候选目的地分别用浅色和深色的实心圆表示，两种颜色代表两种不同类别的目的地；

(2)如果用户想选择一个浅色/深色的目的地，他需要根据图形用户接口界面中水平条的颜色相应地执行至少2秒的左/右手运动想象；当脑机接口系统检测到左/右手运动想象，浅色/深色的目的地保留在GUI中，并进一步将保留在GUI中的目的地划分成两类，两类分别用浅色和深色区别，其他的目的地从GUI中消失；

(3)用户一直重复这个选择过程直到只剩下一个目的地，最后用户需要继续执行2秒的左/右手运动想象接受/拒绝选择的目的地；

所述运动想象的检测算法步骤如下：

(1)提取200ms的EEG信号，使用共同平均参考(common average reference,CAR)滤波，8～30Hz的带通滤波；

(2)将滤波后的EEG信号使用共同空间模式(Common spatial pattern，CSP)投影后作为特征向量；

(3)将获得的特征向量输入到SVM分类器，得到预测的类和对应的SVM输出值，如果SVM输出值超过一定的阈值，对应类别作为输出结果。

第二种：如图3，通过P300的脑机接口选择目的地，包含以下顺序的步骤：

(1)用户首先有20秒的时间从图形用户接口界面中确定他想选择的目的地的编号；

(2)20秒后，P300的GUI(如图3)将出现在屏幕上，其中每个闪烁键的编号与图形用户接口界面(如图1)中实心圆中的编号一致；

(3)利用如图3出现在屏幕上P300的GUI所示的脑机接口，用户可以通过注视对应编号的闪烁键来选择目的地；

(4)当选择完目的地，用户需要继续注视着闪烁键‘O/S’进一步验证；否则，用户需要注视着闪烁键‘Delete’拒绝上一次的选择，并重新选择目的地；

所述P300检测算法步骤如下：

(1)EEG信号经过0.1～20Hz的带通滤波，5Hz的下采样；

(2)对P300的GUI中的每一个闪烁键，提取每个通道的一段EEG信号形成一个向量，结合所有通道的向量形成特征向量，其中EEG信号长度为闪烁后600ms；

(3)SVM分类器应用到这些特征向量，获得对应40个闪烁键的值；

(4)经过4个round后，计算对应每一个键的SVM值的和，并找出其中最大的和次大的值，如果最大和次大的值的差超过某一阈值，对应最大的值的闪烁键作为输出的结果；否则继续检测前4个round，直到满足阈值条件。其中，所有的闪烁键随机地闪烁完一次定义为一个round；

S5.将轮椅当前的位置作为起点，用户选择的目的地作为终点，结合障碍物定位后产生的航迹点，经过A^*算法进行路径规划，产生一条最短的最优路径；

S6.获取最优路径后，计算轮椅当前的位置与最优路径的位置差，将位置差作为PID路径跟踪算法的反馈，由PID路径跟踪算法计算出参考的角速度和线速度；

S7.将参考角速度和线速度输入到PID运动控制器，并从固定在轮椅左右侧轮子上的里程计获得里程数据，将里程数据转化为当前的角速度和线速度信息，然后将转化得到的角速度和线速度信息作为PID运动控制器的反馈，从而调节轮椅的控制信号，实时控制轮椅行驶至目的地；

S8.如果用户想停止轮椅并更改目的地，可以通过基于运动想象或者P300的脑机接口向轮椅发送停止命令，具体步骤如下：

(1)通过运动想象的脑机接口停止轮椅：在轮椅行驶过程中，想象左手运动超过3秒超过预设的阈值，一方面，脑机接口系统会向轮椅控制器直接发送停止指令；另一方面，车载计算机显示用于选择目的地的用户接口；

(2)通过基于P300的脑机接口停止轮椅：在轮椅行驶过程中，用户只需注视着图3中的闪烁键‘O/S’，一旦脑机接口系统检测到对应闪烁键‘O/S’的P300，一方面，脑机接口系统会向轮椅控制器直接发送停止指令；另一方面，车载计算机显示用于选择目的地的用户接口，供用户重新选择目的地。

实施例二

下面通过更为具体的实施例对本发明进行介绍：

通过使用者头部所戴的电极帽采集脑电信号；

将采集到的脑电数据传送到车载的计算机里进行实时处理；同时固定在轮椅前方的SICK LMS111激光雷达通过TCP网络向车载计算机实时传送数据，用于轮椅自定位；固定在轮椅左右主动轮上的里程计通过串口传送实时数据，转化为线速度和角速度并作为PID控制器的反馈数据，用于实时调节轮椅当前的速度；

固定在房间墙面上的网络摄像头通过无线网络与车载计算机连接，通过车载计算机控制是否传送当前的图像数据，对传送的图像数据进行图像处理，将房间里的障碍物与地板图像分割，用于定位房间里的障碍物；

障碍物定位结束后，自动导航系统自动产生可供用户选择的目的地，这些目的地分布在障碍物的四周以及以1米的距离均匀分布在空地上；根据障碍物在房间的分布构建广义的Voronoi图，利用构建的Voronoi图的边作为轮椅可以通行的路径，通过这种方式形成的路径尽量远离路径两边的障碍物，因此以此作为导航的路径最安全；以Voronoi图的边每隔0.2米提取航迹点，每个航迹点的坐标信息以及每个航迹点之间的相邻关系输入到路径规划模块。一旦用户选择目的地，路径规划模块根据当前轮椅的位置，目的地的位置以及航迹点的信息规划出一条最短的路径；

路径跟踪模块根据当前轮椅的位置以及规划出的路径计算出参考的线速度和角速度。考虑到驾驶轮椅的安全性和舒适性，将线速度固定为0.2m/s，角速度最大不超过0.6rad/s；将参考的线速度和角速度传送到运动控制模块(即PID控制器)，控制器根据采集的里程计信息作为当前速度的反馈，实时控制轮椅行驶至目的地。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。