一种运动想象上肢智能康复机器人系统及其训练方法

摘要

本发明涉及一种运动想象上肢智能康复机器人系统及其训练方法，属于运动想象领域。该系统包括运动视觉刺激模块、脑电采集模块、上位机、上肢康复运动支架；所述上位机根据康复训练项目产生对应的运动刺激视频，通过所述运动视觉刺激模块显示给使用者；所述脑电采集模块采集使用者的同步脑电信号并进行放大滤波预处理，传输给所述上位机；所述上位机接收到脑电信号后，通过特征提取与模式分类算法，生成康复训练控制信号输出至上肢康复运动支架；使用者将肢体通过固定机构固定于上肢康复运动支架，康复运动支架在接收到训练控制信号后，按照对应的控制信号对肢体进行康复运动训练。本发明提高了康复训练精准度，改善了使用者的视觉舒适度。

说明书

技术领域

本发明属于运动想象领域，涉及一种运动想象上肢智能康复机器人系统及其训练方法。

背景技术

运动想象(MotorImagery,MI)，指大脑仅有动作意图但不执行实际肢体动作。其心理或思维认知过程与真实执行动作时所激活的脑区有着高度的重叠性，所激活脑区的神经元活动与执行真实动作时所产生的信息特征有着高度的相似性，但又有显著差异性。因此，运动想象与康复训练结合起来可改善患者的运动功能。运动想象疗法已成为卒中患者运动康复治疗方法的重要新进展之一，是一种很有前途的康复治疗方法。

想象肢体运动时，大脑运动皮层测得的脑电μ节律(8-13Hz)和β节律(18-26Hz)的能量会降低，而在想象结束后，μ节律和β节律的能量会升高。这可能反映了相应脑区神经元群同步性的下降或提升，前一种被称为事件相关去同步(Event-RelatedDesynchronization,ERD)，而后一种被称为事件相关同步(Event-RelatedSynchronization，ERS)。此外，想象躯体不同部位运动时，从EEG信号观测到的ERD在空间分布上存在差异，比如，想象左手运动时，右侧运动皮层脑区的ERD现象更为显著，而想象右手运动时，ERD现象显著的区域在左侧脑区。基于运动想象的脑-机接口(MotorImagery-basedBCI，MI-BCI)正是利用这一差异对运动想象任务进行解码。MI-BCI最适合的应用领域是方向控制，如控制鼠标的上下左右移动，轮椅在二维空间的行走等，经过这20年来的不断研究，MI-BCI已经从一维方向控制发展到二维甚至三维的方向控制。MI-BCI最大的优势是不需要外界提供刺激，仅依赖操作者内在的思维任务便可完成控制，因此具有很高的独立性。而MI-BCI最大的缺点是通常需要对操作者进行训练，以产生稳定的ERD/ERS特征，训练时间一般1到2个月。

为了提升MI-BCI的总体性能，现有研究通过引入其他脑电特征(如稳态视觉诱发电位(Steady State Visual EvokedPotential,SSVEP)和事件相关P300电位)或者辅助手段以提高分类正确率。虽然MI-SSVEP或MI-P300等混合BCI范式能够提高传统MI-BCI的分类正确率，但是MI-SSVEP或MI-P300的视觉刺激模式是高频刺激，极易引起使用者的视觉疲劳，对长时间康复训练带来副作用。

发明内容

有鉴于此，本发明的目的在于提供一种运动想象上肢智能康复机器人系统及其训练方法。采用瞬态视觉诱发电位(Transient Visual Evoked Potential,TVEP)和MI-BCI联合的混合脑机接口(HybridBCI)构建运动想象上肢智能康复机器人系统，以及使用该系统实现上肢康复训练的方法。

为达到上述目的，本发明提供如下技术方案：

一种运动想象上肢智能康复机器人系统，该系统包括运动视觉刺激模块、脑电采集模块、上位机、上肢康复运动支架；所述上位机根据康复训练项目产生对应的运动刺激视频，通过所述运动视觉刺激模块显示给使用者；同时，所述脑电采集模块采集使用者的同步脑电信号并进行放大滤波预处理，通过有线或无线方式传输给所述上位机；所述上位机接收到脑电信号后，通过特征提取与模式分类算法，生成相应的康复训练控制信号输出至所述上肢康复运动支架；使用者将肢体通过固定机构固定于所述上肢康复运动支架，所述康复运动支架在接收到训练控制信号后，按照对应的控制信号对肢体进行康复运动训练；

进一步，所述运动视觉刺激模块用于显示同频次复合刺激与上肢康复运动引导视频，实现瞬态视觉诱发和运动想象视觉引导；所述视觉刺激模块包括多个闪烁模块，所述闪烁模块闪烁的频率和时间长度相同，但依次启动闪烁，使闪烁时刻错开；同时，为避免干扰，在首个闪烁模块第二次闪烁前，其余闪烁模块启动闪烁；

使用者注视任意一个刺激目标会产生相同诱发电位，但是依据刺激与诱发电位间存在的锁时关系，分析出检测到的视觉诱发电位是由哪个刺激目标引起的，同时每个刺激目标对应相应的运动想象动作，通过动作视频引导使用者进行相应的运动想象。

进一步，所述脑电采集模块用于采集视觉刺激模块诱发的瞬态视觉诱发电位和相应的运动想象脑电数据：采集脑电数据的有4个输入信号，分别为位于头顶左侧的C3区电极信号、头顶右侧C4区电极信号、前额中心Cz区电极信号以及贴于受试左耳后方的右腿驱动信号；所述右腿驱动信号以消除共模信号的方式去除人体肌电，消除干扰噪声；同时，所述C3区电极信号与Cz区电极信号进行差分后得到待研究的左半脑信号；所述C4区电极信号与Cz区电极信号进行差分后得到待研究的右半脑信号。

进一步，所述上位机用于对采集的脑电信号进行预处理，并通过特征提取和模式识别算法获取单次瞬态视觉诱发电位的特征值，以及视觉引导下运动想象的事件相关同步或去同步特征；并使用模式识别分类训练器进行分类处理，产生对应的控制信号输出至所述上肢康复运动支架，实现运动想象的上肢康复训练控制。

进一步，所述上肢康复运动支架包括运动辅助机械部分和运动辅助电气部分；

所述运动辅助机械部分两只智能控制机械手臂；该机械手臂具有实时控制的功能，根据所述上位机发送的运动想象脑电的特征控制参数对该机械手臂进行相应的康复训练操作；所述上肢康复运动支架还具有上肢康复训练操作功能，运动幅度调节范围为0-100度，具有力学阈值保护、张开角度限制功能，避免对患肢造成二次伤害；

所述运动辅助电气部分包括直流电机、控制电路和电源；所述控制电路具有RS232串口通信接口，用于接收运动控制信号，通过输入的参数控制运动模式切换，运动状态启动或停止；所述运动辅助机械部分通过钢丝传动完成所述运动辅助电气部分的运动控制，实现运动康复操作。

一种运动想象上肢智能康复机器人系统的训练方法，包括以下步骤：

S1：使用者通过上肢康复运动支架的固定组件将待康复训练的肢体固定在康复运动支架上，并将系统的脑电采集电极固定在头部对应位置，视觉刺激输出在显示屏上，显示屏放置于使用者正前方舒适的位置；

S2：智能康复机器人系统完成初始自检后，使用者在系统语音提示或文字引导下，进行康复训练流程学习；学习过程为按照视觉刺激显示屏的显示分别注释相应的模块，并进行模块内康复训练动作的运动想象；

S3：智能康复机器人系统进入康复训练过程，使用者在系统语音提示或文字引导下，进行康复训练。

进一步，步骤S3中所述康复训练包括预设方案训练和自由训练；

所述预设方案训练设置有训练的基本参数，包括时间、最大幅度、最大频率，训练过程中智能康复机器人系统根据使用者运动想象的脑电特征阈值，在设定的训练参数范围内自动调节训练运动参数，实现使用者自主、智能的康复训练；

所述自由训练为使用者通过运动想象的脑电特征阈值，自主选择训练肢体、训练动作、训练强度的康复训练，实现运动想象下的自主智能康复训练。

本发明的有益效果在于：本发明采用瞬态视觉诱发电位TVEP和MI-BCI联合的混合脑机接口Hybrid BCI构建运动想象上肢智能康复机器人系统，运动视觉刺激模块通过设计合理的同频次复合刺激与上肢康复运动引导视频，实现瞬态视觉诱发和运动想象视觉引导，提高了康复训练精准度，改善了使用者的视觉舒适度。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明系统框图；

图2为运动视觉刺激模块示意图；

图3为运动视觉刺激模块时序设计原理图；

图4为脑电采集模块框图；

图5为瞬态视觉诱发电位小波特征；

图6为运动想象事件相关同步或去同步特征；

图7为智能机械手框图；

图8为本发明训练方法流程图；

图9为运动想象脑电控制信号特征提取与识别处理流程图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

如图1所示，运动想象上肢智能康复机器人系统由运动视觉刺激模块，穿戴式脑电采集模块，上位机以及上肢康复运动支架构成。

运动视觉刺激模块通过设计合理的同频次复合刺激与上肢康复运动引导视频，实现瞬态视觉诱发和运动想象视觉引导。各个视觉刺激模块闪烁的频率和时间长度相同，但各个刺激模块依次启动闪烁，使闪烁时刻错开，同时，为避免干扰，在首个闪烁模块第二次闪烁前，其余闪烁模块都需要启动闪烁。注视任意一个刺激目标会产生相同诱发电位，但是依据刺激与诱发电位间存在的锁时关系，可以分析出检测到的视觉诱发电位是由哪个刺激目标引起的。同时每个刺激目标对应相应的运动想象动作，通过动作视频引导使用者进行相应的运动想象。

脑电采集模块用于采集视觉刺激模块诱发的瞬态视觉诱发电位和相应的运动想象脑电数据。脑电采集最精简模块的输入共有4个信号，分别是位于头顶左侧的C3区，头顶右侧C4区，前额中心Cz区电极信号以及贴于受试左耳后方的右腿驱动信号。脑电采集模块采集的脑电数据通过放大滤波预处理后，将采集的脑电信号传输至上位机进行特征提取与识别。

上位机是用于对采集的脑电信号进行相关预处理并通过特征提取和模式识别算法获取单次瞬态视觉诱发电位的特征值，以及视觉引导下运动想象的事件相关同步或去同步特征。并使用模式识别分类训练器进行分类处理，产生对应的控制信号输出至上肢康复运动支架，实现运动想象的上肢康复训练控制。

上肢康复运动支架包括两只智能控制机械手臂，该机械手臂具有实时控制的功能，根据上位机发送的运动想象脑电的特征控制参数对机械手进行相应的康复训练操作。并且康复运动支架具有上肢康复训练操作功能，运动幅度设置可调，范围为0-100度；具有力学阈值保护，张开角度限制功能，以避免对患肢造成二次伤害；便于拆卸、安装，以便向康复中心和家庭推广应用。

该系统实现的上肢康复训练方法：使用者在康复训练指导人员的帮助下，通过上肢康复运动支架的固定组件将待康复训练的肢体固定在康复运动支架上，并将系统的脑电采集电极固定在头部对应位置，视觉刺激输出在显示屏上，显示屏放置于使用者正前方舒适的位置(合适的角度，高度和距离可以根据使用者主观感受进行相应调节)。康复训练系统完成初始自检后，使用者在系统语音提示或文字引导下，进行康复训练流程学习。学习过程为按照视觉刺激显示屏的显示分别注释相应的模块，并进行模块内康复训练动作的运动想象。学习过程结束后，系统进入康复训练过程，康复训练过程分为预设方案训练和自由训练两种方式，使用者在康复训练指导人员的指导下进行相应的康复训练。预设方案训练，设置训练的基本参数，如时间、最大幅度、最大频率等，训练过程中系统根据使用者运动想象的脑电特征阈值，在设定的训练参数范围内自动调节训练运动参数，实现使用者自主、智能的康复训练。自由训练模式是使用者在康复训练指导人员的指导下通过运动想象的脑电特征阈值，自主选择训练肢体、训练动作、训练强度等康复训练，实现运动想象下的自主智能康复训练。

如图2所示，闪光刺激和图形刺激都能引起视觉诱发电位，但闪光刺激本身不包含任何选择或控制信息，所以脑机接口应用得比较多的是图形刺激方式。静止的图形，不能引发视觉诱发电位，只有图形的改变或运动才能引起有效的视觉诱发电位。本例的刺激方式采用目前普遍使用的图形刺激，利用黑白棋盘格翻转刺激视觉引起诱发电位，同时在图形上叠加运动引导动作图片，本例叠加的是手部对指运动动作。

本例采用频率较低的瞬态视觉诱发，瞬态视觉诱发电位与刺激之间存在严格的锁时同步关系，在现有技术条件下，能更方便、准确地提取到诱发电位信号。为区分不同刺激目标引起的刺激，不同刺激目标的闪烁时刻需要有区分。本例采用同频次复合刺激方式，即各个视觉刺激模块闪烁的频率和时间长度相同，但各个刺激模块依次启动闪烁，使闪烁时刻错开，同时，为避免干扰，在首个闪烁模块第二次闪烁前，其余闪烁模块都需要启动闪烁。注视任意一个刺激目标会产生相同诱发电位，但是依据刺激与诱发电位间存在的锁时关系，可以分析出检测到的视觉诱发电位是由哪个刺激目标引起的。本例刺激频率设置为3.3Hz，不易引起视觉疲劳。为了避免刺激图形上叠加的运动引导动作对视觉诱发刺激的干扰，本例运动引导动作的频率设置为图形刺激频率的三分频即1.1Hz。

如图3所示，本例脑电采集模块的输入共有4个信号，分别是位于头顶左侧的C3区，头顶右侧C4区，前额中心Cz区电极信号以及贴于受试左耳后方的右腿驱动信号。模块引入右腿驱动电路消除干扰噪声，以消除共模信号的方式去除人体肌电，相当于为脑电信号提供参考地。同时，布置在人脑头皮不同区域的电极所采集信号需要有一个共同的参考信号进行差分处理以尽可能排除头部表面电平的无效信号干扰来获取实际的脑电信号。C3电极信号与Cz电极信号进行差分后即得到欲研究的左半脑信号。同理，右半脑信号来自C4电极与Cz电极。

如图4所示，本例在对信号进行硬件带通滤波前，先使用集成运放电路对信号做60倍的前级放大，以保证信号的可靠性和有效性，以1.06Hz的高通滤波器与37.5Hz的低通滤波器组成的带通滤波器，保证滤波器通频带包含欲采集脑电信号的频率成分。带通滤波后再对信号进行400倍放大使脑电信号的幅度范围在±2V之间。由于人的脑电电平有负电平，为了便于进行AD转换，设计了可调节的电平抬升电路将放大后信号的最小值提升到0电平以上。要保证采集模块脑电信号AD转换的稳定，本例使用稳压芯片产生4.5V的AD转换芯片参考电平。在AD转换芯片与上位机数据传输模块中添加光耦模块，这么做除了有防止干扰的作用外，也是对实验中受试者安全的一道保障。对于后级电路有线路故障时，光耦模块可以保证电路的冲击不会传递到采集系统的前级以及受试者的头皮上。

如图5所示，本例信号采样频率为200Hz时，用db5小波进行5尺度分解，得到的细节和逼近信号对应的频带为：d1位于50-100Hz频带，d2位于25-50Hz频带，d3位于12.5-25Hz频带，d4位于6.25-12.5Hz频带，d5位于3.125-6.25Hz频带，a5位于0-3.125Hz频带。(a)组脑电信号为受试者注视的刺激模块所对应的脑电信号，(b)组脑电信号为非注视刺激模块所对应的脑电信号。可以看出信号的能量主要集中在中低频率段。信号波形的特征主要体现在d4和d5两部分，所以选用d5和d4两层细节系数作为视觉诱发电位特征信息进行特征提取和模式识别。

如图6所示，本例左图为左手运动想象，右图为右手运动想象。从图中的能量曲线变化可以看出，在进行左手运动想象时，C3通道的能量略大于C4通道的能量，而在进行右手运动想象时，C4通道的能量略大于C3通道的能量。这符合了事件相关去同步/同步的现象。因此，上位机的特征提取与模式识别算法选取C3/C4通道的能量特征，联合视觉诱发电位特征信息建立分类识别算法，生成基于运动想象的智能康复训练控制信号。

如图7所示，智能机械手包括运动辅助机械部分和运动辅助电气部分；电气部分由直流电机、控制电路和电源组成；机械部分通过钢丝传动完成运动辅助部件的运动控制，实现运动康复操作；控制电路具有RS232串口通信接口，便于接收运动控制信号的输入，通过输入的参数控制运动模式切换，运动状态启动或停止；智能机械手可以预设对指幅度、力度参数。

运动视觉刺激模块通过设计合理的同频次复合刺激与上肢康复运动引导视频，实现瞬态视觉诱发和运动想象视觉引导。这是本发明的特色与创新，将运动视觉引导下的运动想象同瞬态视觉诱发结合在一起。

现有技术中运动想象脑电分类识别准确率低，识别效率也不高，单次在线识别几乎不可能。瞬态视觉诱发脑电作为一个常用的脑机接口输入信号，识别准确率与识别效率都很优秀，单次在线识别算法成熟，但是在上肢智能康复训练过程中，我们需要实现患者自主运动意识参与的闭环的智能康复训练，基于瞬态视觉诱发脑电的康复训练没有患者自主运动意识参与，是被动康复训练方式。

本发明为了提高运动想象上肢智能康复训练脑电的在线识别准确率与识别效率，设计了黑白棋盘格翻转(瞬态视觉诱发)与运动引导动作(运动想象视觉引导)分频叠加的视觉刺激模式，本发明的示例采用了三分频叠加，瞬态视觉诱发刺激频率设置为3.3Hz运动引导动作频率设置为1.1Hz。

如图8所示，康复机器人训练流程：使用者在康复训练指导人员的帮助下，通过上肢康复运动支架的固定组件将待康复训练的肢体固定在康复运动支架上，并将系统的脑电采集电极固定在头部对应位置，视觉刺激输出在显示屏上，显示屏放置于使用者正前方舒适的位置(合适的角度，高度和距离可以根据使用者主观感受进行相应调节)。康复训练系统完成初始自检后，使用者在系统语音提示或文字引导下，进行康复训练流程学习。学习过程为按照视觉刺激显示屏的显示分别注视相应的模块，并进行模块内康复训练动作的运动想象。康复训练流程学习过程中，系统采集使用者的脑电信号并提取其不同视觉刺激不同运动想象状态的脑电信号特征参数。学习过程结束后，系统进入康复训练过程，康复训练过程分为预设方案训练和自由训练两种方式，使用者通过注视相应的菜单自主选择(选择信号是系统根据流程学习过程瞬态视觉诱发信号特征进行模式识别进行选择控制)需要进行的康复训练方案，并在康复训练指导人员的指导下进行相应的康复训练。预设方案训练，系统设置训练的基本参数，如时间、最大幅度、最大频率等，在设定的训练参数范围内自动调节训练运动参数，训练过程中系统同步记录使用者运动想象的脑电信号，系统根据同步记录的脑袋信号特征进一步优化模式识别分类特征。自由训练模式是使用者在康复训练指导人员的指导下通过运动想象的脑电特征阈值，自主选择训练肢体、训练动作、训练强度等康复训练，完成运动想象下的自主智能康复训练，实现使用者自主、智能的康复训练。

如图9所示，采集的脑电信号进行相关预处理时，需要按照视觉刺激叠加频率对脑电信号按照对应的频率进行分段预处理。瞬态视觉诱发电位作为选择控制信号，在本示例200Hz采样率3.3Hz瞬态视觉诱发刺激频率，脑电信号按照300ms进行分段；视觉引导下运动想象的事件相关同步或去同步特征信号作为康复运动控制信号，在本示例200Hz脑电采样率1.1Hz运动引导动作频率，脑电信号按照900ms进行分段。

瞬态视觉诱发电位特征提取，示例采用db5小波进行5尺度分解，并选用d5和d4两层细节系数对信号进行重构，作为瞬态视觉诱发电位特征信号进行特征提取和模式识别。其小波分解与重构公式如下：

小波分解公式：

小波重构公式：

瞬态视觉诱发电位特征识别，采用三层神经网络结构，以提取的视觉诱发电位特征向量作为输入，以识别结果作为输出，隐含层和输出层的传递函数都选用S型函数，“1”为目标样本的目标输出，“0”为非目标样本的目标输出，输出值会是[0,1]区间内的数，则输出值越接近1，说明信号越接近视觉诱发电位信号。

瞬态视觉诱发电位特征分类结果作为自主选择训练肢体、训练动作的控制信号。

运动想象的事件相关同步或去同步特征信号特征提取，示例采用时域移动窗二阶能量谱特征作为运动想象事件相关同步或去同步信号特征，采用一个移动时间窗截取分段脑电数据，并且将移动窗的窗口长度及滑动步长可以进行设置，通过移动窗口内二阶能量谱在时域上的变化来确定信号特征。脑电数据进行了预处理操作，去除直流成分且均值为零。设移动窗口的长度为W，步长为Δt，s为窗口移动次数，则移动窗内的信号能量为：

运动想象的事件相关同步或去同步特征信号特征识别，示例通过Fisher线性分类器分类识别。通过权向量w来确定m维特征空间中的分类平面，基于Fisher准则的线性判别函数为：

运动想象的事件相关同步或去同步电位特征分类结果作为训练运动强度参数控制信号调节训练幅度和训练频率等训练参数。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。