法律状态公告日
法律状态信息
法律状态
2017-06-23
授权
授权
2015-06-17
实质审查的生效 IPC(主分类):G06F3/01 申请日:20150228
实质审查的生效
2015-05-20
公开
公开
技术领域
本发明涉及人工智能领域以及脑电信号识别领域,尤其涉及了一种基于逻辑思维和 形象思维的脑机接口方法。
背景技术
脑机接口(Brain-Computer Interface,简称BCI)是不依赖于正常的由外围神经和肌 肉组成的输出通路,是一种直接连接大脑和计算机及外部设备的通讯系统。脑机接口系 统具有无创采集、操作简单的优点以及独特的时间分辨率优势。脑机接口系统通常由四 个模块组成:脑电信号采集模块、脑电信号特征提取模块、脑电信号特征分类模块以及 外部设备控制模块。特征提取模块以及特征分类模块是整个脑机接口最核心的部分,正 是通过这两个模块可以将脑电信号转换为可以被外部设备识别的控制信号。脑电信号的 特点有微弱性、复杂性以及不稳定性,由于脑电信号的这些特性,对于范式设计以及特 征提取与分类有比较高的要求。
目前实现脑机接口的脑电信号采集方式主要有两种:植入式脑电信号采集方式和非 植入式脑电信号采集方式。植入式脑电信号采集方式主要包括功能性核磁共振成像 (FMRI)、脑磁图(EMG)以及近红外光谱(NIRS)等。非植入式的采集方式弥补了 植入式采集带来的不方便以及有创性等各种问题,其中脑电图(Electroencephalograph, 简称EEG)是目前最主要实现非植入式脑机接口的方式,也是被广泛认为最有潜力的技 术。与植入式电极相比,非植入式电极具有时间分辨率高、易于使用、成本较低、便于 携带等优点。现在主要采用的非植入式电极采集方式有运动想象、P300和稳态视觉诱 发电位(Steady-State Visual Evoked Potentials,简称SSVEP)。
近年来,利用不同思维任务脑电信号作为实现BCI的一种新型技术,已受到了广泛 的关注。思维活动是人类智慧的标志之一。当人们进行思维作业时,大脑特定区域神经 细胞电生理活动会发生一定程度的变化,这些电生理活动会在头皮表面发生反映,可以 被脑电信号采集设备采集到。大脑在进行不同思维活动是激活大脑皮层的不同区域并能 诱发出不同的脑电节律的生理现象使得利用脑电信号对逻辑思维和形象思维进行分类 成为可能。按照神经心理学理论分析,在心中想象心算以及空间旋转是复杂的过程,计 算的行为可能包括数字识别、数字符号含义的理解、计算方法的选择、运算规则和特殊 计算程序执行、中间结果的暂时存储和再提取及记忆结果的表达等任职成分。当右利手 被试者进行计算时,主要激活左前额叶和双侧顶层皮质;并且当被试者在进行与语言、 心算有关的思维活动时,左半球的α波小于右半球;在进行与空间想象有关的意识任务 时,情况相反。通过对不同思维作业自发脑电信号的分类实现脑机接口,直接利用思维 作业来控制外部设备,更接近人对外部设备的实际控制模式,派出了利用诱发脑电信号, 产生的不必要伪迹以及诱发电位提取、定位的困难。并且相对于SSVEP等其他的模式, 逻辑思维以及形象思维的脑袋模式使用起来更加方便,更适宜长期使用。
寻求有效的特征提取及分类的方法是提高识别准确率关键技术之一。常用的特征提 取方法有功率谱分析、小波变换、共空间模式算法(common spatial pattern,简称CSP) 等。CSP算法被认为是一种有效的脑电模式分析方法。CSP的优点是不需要预先选择被 试者特异性的频带,也不需要有脑电信号的空间分布信息,而是基于任务对EEG信号 进行处理;缺点是需要大量的特征向量及大量的电极,而过多的电极又会造成整个脑机 接口便携性的下降。CSP算法的目的是寻找一个空间滤波器,使两种信号经过算法处理 之后,最大限度的被区分,算法是基于两个协方差矩阵同时对角化,使其中一类信号方 差最大的同时另一类信号的方差最小。
支持向量机分类器在解决非线性、小样本以及高维模式识别中表现出很多特有的优 势,并且可以推广应用到函数拟合等其他机器学习问题中。支持向量机拥有优秀的学习 性能以及能同时最大化几何边缘区和最小化经验误差的特性,因而作为分类器被广泛应 用于脑机接口的分类问题中。支持向量机主要思想在于通过某种事先选择的非线性核函 数将线性不可分的空间映射到一个高维的线性可分的特征空间,在这个空间利用结构风 险最小化原则构造最优分类超平面,使分类面两侧相距此平面最近的不同类样本之间间 隔最大,对最优超平面的构造问题上可以通过解决一个凸二次规划问题来实现。支持向 量机方法的一个重要的优点是所获得的分类器的复杂度可以采用支持向量的个数,而不 是变换空间的维数来刻画。
发明内容
发明目的:为了克服现有技术中的不足,本发明提供一种基于逻辑思维和形象思维 的脑机接口方法,解决原有CSP算法需要大量特征向量及电极而导致计算和操作都不方 便的技术问题。
技术方案:大脑的左右半球存在着明显分工,并且已经证实,如运动想象中的同步 化/去同步化现象(ERD/ERS),与运动想象类似,在进行不同的逻辑思维与形象思维活 动时,会在相应的脑部区域产生一定的脑电信号,大脑的左右半球同样可以检测到脑电 信号是不对称的,这个特征使得利用脑电信号区分不同思维作业成为可能,同时也成为 利用不同思维作业来设计脑机接口的根据之一。
基于上述事实,为实现本发明的目的,采用的技术方案如下:
基于逻辑思维和形象思维的脑机接口方法,包括顺序执行的如下步骤:
步骤一、在被试者头部设置脑电信号采集模块,通过逻辑思维任务与形象思维任务 的范式,利用单导联脑电采集方法采集得到被试者在不同刺激状态下的原始脑电信号;
步骤二、对原始脑电信号进行空间、时间以及频率的三维空间的处理;
步骤三、在共空间模式下对经步骤二处理后的脑电信号提取特征向量;
步骤四、通过支持向量机对步骤三中提取得到的特征向量交叉验证分类,获得脑电 信号分类结果输出。
进一步的,在本发明中,采集原始脑电信号时,在脑电信号采集模块中设置包括如 下位置的导联电极:在前额叶、顶叶和颞叶上均设置一对导联电极,且属于同一对的两 个导联电极位置对称设置,具体包括分别位于前额叶两侧的F3和F4,分别位于顶叶两 侧的C3和C4以及分别位于颞叶两侧的P3和P4。根据神经心理学理论分析,当右利手 被试者进行计算时,主要激活左前额叶和双侧顶层皮质;并且当被试者在进行与语言、 心算有关的思维活动时,左半球的α波小于右半球;在进行与空间想象有关的意识任务 时,情况相反;因此,按照上述位置设置导联电极能够获得有效区分逻辑思维和形象思 维的脑电信号。
进一步的,在本发明中,单次实验的范式设计如下:首先被试者保持至少2秒钟的 平静状态,采集该平静状态下对应的脑电信号作为参考;然后进行逻辑思维任务或形象 思维任务,其中逻辑思维任务为在屏幕中出现算式、被试者根据算式进行心算,形象思 维任务为在屏幕中出现一形状、被试者想象该形状在三维空间旋转。脑机接口输出分类 信号可以应用于具体的控制模块,利用不同脑电信号的类别对控制目标进行控制,研究 表明传统的运动想象对被试者来说想象较为困难,而逻辑思维和形象思维则相对较为简 单,因此采用这两个不同的思维模式对被试者进行测试。并且每种思维任务对应的单次 采集时间即单次实验需要持续一个过程,为了被试者方便测试和后期的数据处理,可以 设定单次采集脑电信号的时间为一个固定的时长,如8秒。
进一步的,在本发明中,步骤一中,采用单导联脑电采集方法采集F3、F4、C3、 C4、P3、P4这6个导联电极的原始脑电信号,参考电极设置在左边乳突位置,导联地 信号设置在前额处。
进一步的,在本发明中,将步骤一中获得的原始脑电信号按照如下方式进行预处理: 由成对的两个导联电极采集眼电信号,对原始脑电信号经过去除上述眼电信号、肌电伪 迹、去除基线漂移、数据分段处理,进而得到预处理后的脑电信号。
对预处理完成的脑电信号进行离线数据分析,采用空间域-时域-频域的分析方法:
首先进行空间域分析,由于采集的脑电信号会有空间噪声的干扰,造成对于一个思 维任务脑部可能会有多个区域活跃,拉普拉斯空间滤波的作用是尽量消除这些空间噪 声,突出思维任务对应的脑部区域特有的特征。因此将预处理完成后的脑电信号进行拉 普拉斯空间滤波,这里需要事先在F3、F4、C3、C4、P3、P4这6个导联电极的上下左 右相邻位置分别设置4个导联电极,拉普拉斯空间滤波的基本思想是将需要的导联电极 采集到的脑电信号与其上下左右相邻的四个导联电极的脑电信号的平均值进行相减,消 除空间上对脑电信号的干扰,得到了空间滤波之后的脑电信号。
其次进行频域分析和时域分析。频域分析时,将经过拉普拉斯空间滤波后的脑电信 号进行短时傅里叶变换至频域空间,然后将脑电信号进行巴特沃兹滤波,提取以下的人 类思维活动最活跃的五个主要频段,分别是4Hz-7Hz,7Hz-10Hz,10Hz-13Hz, 13Hz-20Hz以及20Hz-30Hz,形成5个频域脑电信号;在范式设计中规定被试者每 次进行思维作业任务时间长度为5秒,时域分析时,需要忽略掉进行思维作业任务的5 秒时间段中的前500毫秒和最后500毫秒,因为在这两个时间内,被试者往往没有办 法集中精神,将剩余的四秒钟分成四段,每段各1秒的时间,形成4个时域脑电信号。
通过上述空间域-时域-频域的三维分析,单个电极的5个常用频率段的脑电信号以 及4个时间段的脑电信号,构成20维的特征向量,满足运用单电极共空间模式算法的 特征值数量的要求,接着运用单电极共空间模式算法进行特征向量提取。
所述单电极共空间模式算法,具体步骤如下:
第i个样本规范化的协方差矩阵为
式中Xi表示第i次思维任务采集的脑电信号,维度为frequency×time,表示时间和 频率的维度,为了便于理解暂时认为Ci矩阵为M×N阶矩阵。T代表矩阵的转置,trace 代表求矩阵对角线元素之和,即求矩阵的迹。
令
Cl、Cm分别代表逻辑思维任务和形象思维任务的协方差矩阵,Rl和Rm分别代表两 种不同思维任务集。两类思维任务协方差之和表示为C=Cl+Cm,然后对C进行特征值分 解,得到
式中,Λ是M×M阶特征值组成的对角矩阵,U0是M×M对应的特征向量矩阵,可 以得到白化矩阵为
白化矩阵P的作用是使两个协方差矩阵Cl和Cm经过白化后可以同时对角化,于是 协方差矩阵可以转变为
Sm=PCmPT=U∧mUT
Sl=PClPT=U∧lUT
其中,Sl、Sm拥有共同的特征向量U,且对应的特征值之和为I,即∧m+∧l=I。
下面的步骤为选择空间滤波器,通过计算,定义投影矩阵W=UTP为空间滤波器。 对于第i次思维任务采集到的脑电信号,经过空间滤波之后的信号为Zi=WXi。
通常,两类样本在经过上述空间滤波器变换后投影到新的坐标轴上时差异极大化 了。通常取最大或最小的m组特征向量作为该样本的特征,通过下面运算得到特征向量
式中i代表不同的思维任务,将得出的f值输入到支持向量机的分类器进行训练与 分类;通过分析得到一种思维任务的特征向量数为l×2m。
相应的,在本发明的脑机接口中,步骤四中,将特征向量输入进训练好的支持向量 机中,分类并交叉验证得到每个电极所采集到的脑电信号的分类结果。
支持向量机的基本思想是找到最优的超平面使得两种状态的数据距离最大,可以得 到更好的分类正确率,原始的支持向量机问题可以表示为以下形式,要在满足约束条件 (1)下,使得函数(2)取得最小值。
yi(wTxi-b)-1≥0 (1)
式中,xi代表支持向量机的输入,yi为xi所属类别,w为分类面的权系数向量,b 为分类阈值。
在高维数据模型中,影响SVM分类算法最主要的问题是核函数的选择,在基于逻 辑思维和形象思维的脑机接口中,选择的核函数为径向基核函数,表达形式如下,
k(xi,xj)=exp(-g||xi-xj||2)
为了允许错误的分类标签,引入误差ξ以及惩罚因子c,于是将表达式改写如下,
yi(wTxi-b)-1+ξi≥0 (3)
有益效果:
本发明将逻辑思维与形象思维在脑部的活跃区域的区别与脑机接口进行结合,构建 了基于逻辑思维和形象思维的脑机接口,并且采用了空间域-时域-频域三维的方法进行 数据处理,给单电极共空间模式提供了可能,减少了电极数量,提高了脑机接口的信息 传输率和可靠性;
并且传统的思维任务采用颅内技术查看感兴趣区域,实施起来较为复杂,而本发明 将共空间模式和支持向量机分类用于思维任务中,分辨率高且操作简单;
选取思维任务为进行心算以及想象空间旋转任务,相比传统的运动想象的任务更为 简便,也有效的减小了被试者操作的难度,与SSVEP相比,长时间使用之后也没有很 强的视觉负担,同时提高了控制系统的适用人群。
附图说明
图1为本发明所述的基于逻辑思维和形象思维的脑机接口的结构示意图;
图2为本发明所述的不同思维任务基本构成示意图;
图3为本发明所述的采用脑电采集设备导联设置示意图;
图4为本发明所述的逻辑思维任务的频域信号图;
图5为本发明所述的形象思维任务的频域信号图;
图6为本发明所述的基于单电极共空间模式提取的逻辑思维任务的特征向量图;
图7为本发明所述的基于单电极共空间模式提取的形象思维任务的特征向量图;
图8为本发明所述的支持向量机参数选择图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示,一种基于逻辑思维和形象思维的脑机接口装置,由显示器1、信号采 集系统2、信号处理器3和外部控制装置4组成,显示器1和信号采集系统2分别与信 号处理器3相连,其中信号处理器3控制显示器1显示所需范式内容;信息采集系统2 采集、处理脑电信号并传送至信号处理器3;信号处理器3对脑电信号进行特征向量提 取及分类,并将处理结果输出至外部控制装置4;这里,信息采集系统2由脑电帽、脑 电放大模块、脑电滤波模块、脑电记录及预处理模块、脑电信号离线处理模块、脑电信 号在线采集模块组成;脑电放大模块的采样频率为250Hz,脑电滤波模块为滤波范围为 0.1Hz到100Hz的带通滤波器;由于需要去除眼电、肌电伪迹,因此还需要有两个成对 的电极采集思维任务中的眼电信号。
实施案例一
本实施例提供一种基于逻辑思维和形象思维的脑机接口方法,如图1所示,包括: 视觉刺激模块、脑电信号采集模块、特征提取模块、特征分类模块以及控制系统;视觉 刺激模块与脑电信号采集模块相连,脑电信号采集模块与特征提取模块相连,特征提取 模块与特征分类模块相连,特征分类模块与控制系统相连。其中,所述的视觉刺激模块 用以诱发对于逻辑思维和形象思维的脑电信号;所述脑电信号采集模块用以采集脑电信 号;所述的特征提取模块用以将预处理完的脑电信号进行单电极共空间模式进行特征值 的提取;所述的特征分类模块用以将提取出来的特征值进行训练,选择最优的参数,然 后进行分类,交叉验证等;所述的控制系统用以将分类完成的脑电信号通过蓝牙或者红 外设备传输到需要控制的外部设备,使得脑机接口在实用中得到应用。
所述的视觉刺激模块包括心算刺激和空间旋转刺激单元。具体范式如图2的时间刻 度所示,任务开始的时候,被试者坐在显示器1前,距离显示器1的屏幕1至2米,然 后对被试者进行任务讲解与范式训练,当单次思维任务开始的时候,屏幕上出现“+”, 表示准备开始,被试者做好准备,然后会出现2秒钟左右的黑屏时间,将这2秒的时间 内采集到的脑电信号作为平静状态的信号,可以在后续的数据处理中作为参考;然后第 3秒时屏幕上出现不同思维任务的提示,当屏幕出现算式“100-7”的时候,被试者在第 4秒起的后续的5秒想象时间内,不停地用100减去7,当屏幕出现字母“L”时,被试 者在第4秒起的后续的5秒想象时间内,想象字母在三维空间的旋转;当想象持续时间 满5秒后结束本次思维任务。实验时,共需进行5组思维任务,每组中2种思维任务各 进行10次,且单次任务持续8秒,每组任务中间休息10-15分钟,从准备到完成总共 需要大约2个小时。
所述的脑电信号采集模块包括脑电帽、脑电放大模块、脑电滤波模块、脑电记录模 块、脑电信号离线处理模块、脑电信号在线采集模块,单导联电极为Ag/AgCl材质且设 置在脑电帽上,所述单导联电极上设置有放大器;脑电帽用以戴在头部;单导联电极用 以采集EEG脑电信号;由于脑电信号很微弱,所以需要脑电放大模块来放大脑电信号, 脑电放大模块的放大倍数为20000倍。
本发明中采用的是单导联的电极连接方式,根据在进行思维任务时脑部比较活跃的 区域,采集位于前额叶的F3和F4、位于顶叶的C3和C4、位于颞叶的P3和P4电极处 共6个主要电极的脑电信号,在采集脑电的过程中,参考电极位于左边乳突的位置,GND 信号在前额处,具体电极的分布如图3所示。为了去除眼睛的伪迹,眼电信号被两个成 对的导联电极采集。在发明中,脑电放大模块为64通道脑电采集设备,采样频率为 250Hz,采集过程中带通滤波器范围为0.1Hz到100Hz。
所述脑电信号特征提取模块又包括数据预处理模块、数据分段处理模块、单电极共 空间模块;数据预处理模块与脑电放大模块相连,用以将提取到的脑电信号进行去除眼 动及肌电伪迹干扰,去除基线干扰等;数据分段处理模块与数据预处理模块相连,用以 将预处理完成的脑电信号进行空间域-时域-频域三维数据的处理;单电极共空间模块与 数据分段处理模块相连,用以对进行过三维数据处理的脑电信号运用单电极共空间模式 算法获得逻辑思维和形象思维脑电特征向量。
以实际情况为例简述脑电信号特征提取模块的工作过程,该过程包括以下步骤:
(1)将脑电采集设备采集到的脑电信号进行伪迹去除、基线校准等预处理步骤;
(2)将预处理完成的脑电信号,按照每次单次任务8秒的脑电信号在时域进行分 段,将思维任务出现时看成数据开始的零点,即单次任务的分段是从-2秒至6秒;
(3)接下来将F3、F4、C3、C4、P3、P4共6个导联电极各自采集到的脑电信号 与各自周围相邻的四个电极的采集到的脑电信号的平均值相减,得到拉普拉斯空间滤波 之后的脑电信号;
(4)将得到的经过空间滤波的脑电信号进行分段提取,得到时域脑电信号;
(5)将得到的经过空间滤波的脑电信号进行巴特沃兹滤波,选取5个频段,分别 是4Hz-7Hz,7Hz-10Hz,10Hz-13Hz,13Hz-20Hz以及20Hz-30Hz,得到频域脑电 信号,如图4和图5所示;
(6)将所述的经过空间域-时域-频域处理的脑电信号,进行单电极共空间模式特征 提取,得到的两种思维任务下的特征向量如图6和图7所示。
所述的特征提取模块用以识别逻辑思维任务以及形象思维任务的特征值。首先,根 据所述的单电极共空间模块提取单次思维任务中经过空间域-时域-频域三维空间处理后 的脑电信号的特征向量,将这些特征向量输入到支持向量机(SVM)中进行分类器的训 练,选取最优的参数,包括误差、惩罚因子等,SVM参数选择以及正确率如图8所示, 然后将训练好的分类器进行两种思维任务的分类,并且进行交叉验证。设计的分类器可 以很好的完成两种思维任务的分类,选择5位被试者进行测试获得的本发明的基于逻辑 思维和形象思维的脑机接口SVM分类结果如表1所示。本发明中因为使用中采用的导 联电极较少,从而提高了整个脑机接口的信息传输率以及便捷性。
表1
为了突出本发明方法的优势,下表2列出了现有的方法的实验数据。
表2
对比现有方法和本发明方法,可以看出运用单电极共空间模式的特征提取方法以及 支持向量机的特征分类方法,可以最优分类正确率得到了比较高的提升,并且最差的分 类正确率除了第一种方法也有较大幅度的提高,证明本发明的方法可以得到比较好的分 类正确率,正确率足以让被试者控制脑机接口。
实施案例二
本实施案例提供了一种基于逻辑思维和形象思维的脑机接口控制方法,由于参加脑 机接口的被试者大多没有脑机接口控制的体验,所以整个过程包括训练系统和控制系 统。
训练系统包括:
(1)诱发脑电信号的训练,首先被试进行SSVEP任务训练,大约1分钟的时间, 观察对于最明显的诱发脑电有无直接反应,如果有反应证明该被试适应脑机接口测试, 可以进行下一步训练测试;
(2)被试者进行思维任务脑机接口的训练,具体训练方式如下,进行一组思维任 务,让被试熟悉范式内容,同时在脑电信号采集设备上,可以观测到脑电信号的时域和 频域信号,对信号进行处理,可以看出被试在进行思维任务时脑电信号是否正常;
经过以上两个步骤的训练,用以使被试在正式开始前,对整个任务有了基本了解, 也对被试者自己在思维任务过程中需要想象的内容做到了熟悉;训练的目的在于采集到 更加好的脑电信号,可以消除很多杂波信号干扰,也可以降低对后续操作处理的难度, 获得更好的分类正确率和信息传输速率。
控制系统包括:
(1)脑电刺激模块发出刺激诱发人脑产生对于逻辑思维和形象思维任务的想象, 并在相应的区域产生诱发脑电信号;
(2)由脑电信号采集模块对EEG信号进行采集,具体过程是被试者带上符合头部 大小的脑电帽,在相应的电极涂覆上脑电膏;并且由这些电极采集脑电信号;将采集到 的信号输入至放大器,并对信号进行预处理等;
(3)对脑电信号进行特征提取与分类,具体过程是将采集到的信号,进行空间域- 时域-频域的信号处理,然后将处理完成的脑电信号进行单电极共空间模式算法计算, 得到特征值;将得到的特征值输入进支持向量机,进行参数的选择与计算,得到最优参 数,并且得到好的分类正确率;
(4)将分类结果传输到外部设备,外部设备以遥控车为例,由于有平静、心算以 及想象空间旋转三种状态,可以控制物体的三维运动,平静控制前进或者后退,心算外 部设备执行左转命令,想象空间旋转外部设备执行右转命令。
本发明设计了一种基于逻辑思维和形象思维的脑机接口方法,以实现一种新型的脑 机接口技术的应用研究;实现对CSP算法进行优化,采用了单电极CSP。该系统具有 高的正确率,高的信息传输速率,采集电极少,使用便捷性。相比于运动想象的脑机接 口,基于逻辑思维和形象思维的脑机接口减小了操作难度,同时相比于SSVEP及P300 诱发脑电信号的脑机接口,减小了那种任务下的视觉负担,提高了脑机接口的适用人群。 进一步对该脑机接口进行实用性研究,对特征提取和分类算法进行优化与研究,得到了 性能比较完善的脑机接口系统,在实用中得到应用,并且可以带来比较好的社会效益。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员 来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也 应视为本发明的保护范围。
机译: 基于脑机接口的基于意图确定装置和方法使用虚拟环境
机译: 基于脑机接口的基于意图确定装置和方法使用虚拟环境
机译: 基于脑机接口和记录介质的BMI脑电图选择方法的优化方法