一种基于SSVEP和P300的多模态脑开关检测方法

摘要

本发明公开了一种基于SSVEP和P300的多模态脑开关检测方法，包含以下顺序的步骤：使用者根据显示装置中的工作界面指令产生头皮脑电信号；电极帽采集头皮脑电信号，经数模转换模块转化和信号放大器放大后将信号通过计算机的I/O接口模块传给计算机内部的信号处理模块；将头皮脑电信号复制成两份，分别进行P300电位检测、SSVEP检测；结合P300电位和SSVEP各自检测的输出，进行控制状态和空闲状态的分类，并确定目标。本发明的检测方法，能够解决当前基于非鼠标控制的浏览器无法浏览复杂内容页面的问题，且控制速度，精度都有很大的提高。

说明书

技术领域

本发明涉及脑机接口领域，特别涉及一种基于SSVEP和P300的多模态脑开关检测方法。

背景技术

脑机接口(brain computer interface，BCI)是指在人脑和计算机或其它电子设备之间建立的直接的交流和控制通道，它不依赖于脑的正常生理输出通路(外周神经系统及肌肉组织)，是一种全新的人机接口方式，是近年来脑功能研究的热点课题。目前存在着侵入式与非侵入式两大类脑机接口技术。侵入式脑机接口所获得的信号精度相对较高，信噪比高，易于分析处理，但需要对使用者进行开颅手术，不便于长时间的信号采集，且容易对使用者的脑部造成感染或损伤，危险性较大。非侵入式脑机接口虽然其获取的脑信号噪声大，信号特征的可区分性差，但同时它的信号相对容易获取，不会对使用者脑部造成伤害，而且随着信号处理方法和技术的不断进步，对头皮脑电(electroencephalogram，EEG)的处理已经能够达到一定的水平，是脑机接口进入实际生活应用成为可能。本发明所采用的是非侵入式脑机接口技术。

脑机接口有同步(synchronous)与异步(asynchronous)模式。同步脑机接口系统中，用户与脑机接口控制信号的相关的精神活动的起始与终止时间、及精神活动的时间长短是由系统给定的，或者说使用者需要与系统配合，并按一定的时间间隔根据系统的提示执行控制操作。而在异步脑机接口系统中，用户与脑机接口控制信号的相关的精神活动的起始与终止时间及持续时间长短是由用户自己决定的，是预先未知的。使用者可以通过大脑的精神活动在任何时刻发出控制指令，控制外部设备(我们称这个为控制意识状态)。相较于同步系统，异步系统的一个额外任务是从脑信号中检测用户是否处于控制意识状态。这些给脑机接口的特征提取与分类带来了很大挑战及困难，这也是到现在为止，异步脑机接口方面的工作还不多或者说没有取得很大进展的主要原因。然而，异步脑机接口显然更加接近于实用，因为它可以让用户随时、自主控制。

使用脑机接口技术进行异步脑开关的开发为我们提供了另一种与外界交流的途径，它无需经过常规的神经肌肉控制，在一些特殊情况下(如飞行员，宇航员等由于重力等其他因素无法移动身体)提供了另一种输出的方法。同时在我们生活中存在着一部分患有肌萎缩性侧索硬化(amyotrophic lateralsclerosis，ALS)，脑干中风等的病人，他们可能处于严重或完全瘫痪状态，只能向外界发出很少的如眨眼，呼吸等信号，无法通过正常的神经传导，肌肉运动与外界环境进行信息交流，而他们最需要的恰恰是交流，如果能够让这一类人群通过脑开关自主控制外部设备的开关状态(如电视机的开关、轮椅的启动与停止、假肢的启动、紧急呼叫等等)，将会从很大程度上改善他们的生活质量。

在最近几年，部分学者开始研究使用脑机接口来控制外部设备的开启和关闭，我们把这种系统称为脑开关。脑开关一般工作在异步的状态。对于异步脑开关或者异步脑机接口来说，一个最重要的问题在于能够通过受试者的脑电信号判断和区别用户是处于控制状态，还是处于空闲状态，即需要具备空闲状态的检测能力。一般来说，用户希望脑开关在控制状态时真阳性尽可能的高，而在空闲状态时假阳性尽可能的低。

目前存在的脑开关控制主要有以下几种方法：

一、使用基于运动想象的脑机接口系统；

二、使用基于稳态视觉诱发电位(SSVEP)的脑机接口系统。

以上方法都存在相应问题：

对于方法一，这种脑开关一般要经过相对较长的时间训练，才能较好地使用，且并非每个使用者都可以熟练地运用。

对于方法二，一个传统的基于SSVEP的脑开关往往在图形用户界面(graphical user interface,GUI)上只有一个闪烁按钮(表示“开”或者关)或者只有两个按钮(一个“开”，一个“关”)；系统通过一个阈值来判定现在是空闲状态还是控制状态，如果超过阈值，则被判定为控制状态并执行该按钮对应的控制命令，否则被判定空闲状态而不执行任何命令。因此，对于传统的SSVEP脑开关，状态判定往往只靠一个阈值条件来决定。由于脑电信号的多变性，仅仅使用一个阈值条件是很难在控制状态中获得很高的真阳性的同时,在空闲状态中获得较低的假阳性。

多模态脑机接口是近年提出的概念，由两种或两种以上的脑机接口组成。它以同时检测两种或两种以上的脑电信号。通过多种脑电信号的结合，多模态脑机接口系统能比传统的脑机接口系统更有效地完成特定的目标。例如，在文献[1]中，Allison等人证明了通过结合不同脑电信号，如运动想象和SSVEP，可以提高脑机接口的准确率，特别是对于被称为“BCI盲”的受试者。在文献[2]中，Pfurtscheller等人提出了一种多模态脑机接口系统，通过一个基于运动想象的脑开关来开启/关闭基于SSVEP的脑控假肢。专利号为201010509561.6的文献给出一种结合运动想象和P300电位的多模态脑机接口，进行连续的二维光标控制，一个方向由运动想象mu/beta节律控制，另一个方向由P300控制。

目前，多模态脑机接口并没有应用到异步脑开关上，只有文献[3]以及申请号为201210222224.8、201210195574.X的中国专利公开了基于P300和SSVEP的脑机接口。但这些发明都是属于同步脑机接口，即不具备空闲状态的检测能力。

参考文献：

[1]B.Allison,C.Brunner,C.Altst¨atter,I.Wagner,S.Grissmann,and C.Neuper,“A hybrid ERD/SSVEP BCI for continuous simultaneous twodimensional cursor control,”J.Neurosci.Methods,vol.209,no.2,pp.299–307,2012.

[2]G.Pfurtscheller,T.Solis-Escalante,R.Ortner,P.Linortner,and G.R.Muller-Putz,“Self-paced operation of an SSVEP-based orthosiswith and without an imagery-based°brain switch:A feasibility studytowards a hybrid BCI,”IEEE Trans.Neural Syst.Rehabil.Eng.,vol.18,no.4,pp.409–414,Aug.2010.

[3]R.Panicker,S.Puthusserypady,and Y.Sun,“An asynchronousP300BCI with SSVEP-based control state detection,”IEEE Trans.Biomed.Eng.,vol.58,no.6,pp.1781–1788,Jun.2011.

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于SSVP和P300的多模态脑开关检测方法，能够提高脑开关的性能，即在保持空闲状态的假阳性在一个较低水平的同时，尽可能地提高控制状态的真阳性，该方法训练时间较短，且P300和SSVEP都是由外界刺激被动产生，不存在机制上的矛盾。

本发明的目的通过以下的技术方案实现：

一种基于SSVEP和P300的多模态脑开关检测方法，包含以下顺序的步骤：

S1.使用者根据显示装置中的工作界面指令产生头皮脑电信号；

S2.电极帽采集头皮脑电信号，经数模转换模块转化和信号放大器放大后将信号通过计算机的I/O接口模块传给计算机内部的信号处理模块；

S3.将头皮脑电信号复制成两份，分别进行P300电位检测、SSVEP检测；

S4.结合P300电位检测和SSVEP各自检测的输出，进行控制状态和空闲状态的分类，并确定目标。

步骤S3中，所述的头皮脑电信号P300电位检测，具体包含以下顺序的步骤：

1)脑电信号在0.1-10Hz频率范围内进行带通滤波，并进行1/5下采样；

2)从每个通道采集的信号被分割成数据单元，每一个数据单元都是从一组按钮闪烁后从0到600毫秒时间内以向量的形式表示，每个向量表示为Da_i,j,k，其中i，j和k分别表示第i个通道，第j组按钮和第k轮的闪烁；如果用户注视某一组按钮，则Da_i,j,kD会包含一个P300的波形；然后连接10个通道的向量Da_i,j,k，即Fe_j,k＝[Da_1,j,k,.,Da_10,j,k]；最后通过平均所有k轮的闪烁，从而构造对应第j组按钮的特征向量Fe_j，即Fe_j＝(Fe_j,1+.+Fe_j,k)/k；

3)使用这些特征向量及它们对应的标记，通过这些训练集数据生成对应每个受试者的支持向量机分类器，即SVM分类器；如果受试者被要求注视第j组按钮，则特征向量Fe_j的标记是1，否则Fe_u(u≠j)是-1；

4)在异步算法中，P300检测是每800毫秒进行一次，对应一轮所有按钮组的闪烁；首先对当前时间点前4轮闪烁对应的4轮向量求平均，从而得到特征向量Fe_j(j＝1,.,4)，然后将这些特征向量输入到前面生成的SVM分类器中，分别得到对应4个按钮组的4个分数s_j(j＝1,.,4)，每个分数s_j代表第j组按钮包含P300电位的可信程度，最后将4个分数都归一化到[0,1]区间，并且找到分数最大的按钮组：

$>{\hat{s}}_j=\frac{s_j-\min \{s_1,.,s_4\}}{\max \{s_1,.,s_4\}-\min \{s_1,.,s_4\}}$>

$>r_{p300}=\arg \underset{j}{\max }\left({\hat{s}}_j\right)$>

这4个归一化的分数和最大按钮组的索引将作为P300检测的输出。

步骤S3中，所述的头皮脑电信号SSVEP检测具体包含以下顺序的步骤：

1)SSVEP检测是每200毫秒进行一次：首先，在3Hz至20Hz的范围内对脑电信号进行带通滤波；然后，选取8个所选通道"P7"、"P3"、"Pz"、"P4"、"P8"、"O1"、"Oz"、"O2"中当前时间点的前3.2秒数据单元进行SSVEP检测，其中前3.2秒数据单元即800数据点；

2)对上述获得的8个通道的EEG信号进行傅立叶变换，计算8个信号向量的功率密度谱，第j个信号向量的功率密度谱被定义为P(j,f)，其中f表示闪烁频率；由此计算第i组按钮的能量：

$>\hat{P}\left(f\right)=\frac{1}{2{\bar{N}}_y}\underset{j=1}{\overset{j={\bar{N}}_y}{\Sigma }}[P(j,f)+P(j,2f)]$>

其中，P(j,2f)是其谐波的能量；

根据上述公式，是第i组按钮SSVEP响应的能量，f_i表示第i组按钮对应的闪烁频率；

第i组按钮的能量比率公式如下：

$>{\delta }_i=\frac{{\left[\hat{P}\left(f\right)\right]}_{f\in [f_i-f_n,f_i+f_n]}}{{\left[\hat{P}\left(f\right)\right]}_{f\in [f_i-f_w,f_i+f_w]}}$>

其中，$>{\left[\hat{P}\left(f\right)\right]}_{f\in [f_i-f_n,f_i+f_n]}$>是[f_i-f_n,f_i+f_n]窄带的平均能量，$>{\left[\hat{P}\left(f\right)\right]}_{f\in [f_i-f_w,f_i+f_w]}$>是宽带[f_i-f_w,f_i+f_w]的平均能量，其中窄带参数f_n是0.2Hz，宽带参数f_w是1Hz；

3)将对应4个按钮组的4个比率都归一化到[0,1]区间，并且找到能量比率最大的按钮组：

$>{\hat{\delta }}_i=\frac{{\delta }_i-\min \{{\delta }_1,.,{\delta }_4\}}{\max \{{\delta }_1,.,{\delta }_4\}-\min \{{\delta }_1,.,{\delta }_4\}}$>

$>r_{\mathrm{ssvep}}=\arg \underset{i}{\max }\left({\hat{\delta }}_i\right)$>

这4个归一化的比率和最大按钮组的索引将作为SVEP检测的输出。

所述的步骤S4，具体包含以下顺序的步骤：

1)首先检查条件一：

对于脑电信号P300和SSVEP检测的输出，首先把对应每组按钮的归一化的分数和归一化的比率相加，然后在4个相加值中找到最大值和次大值，如下所示：

$>c_i={\hat{s}}_i+{\hat{\delta }}_i,i=1,.4$>

$>c_{i_0}=\max \{c_1,.,c_4\}$>

$>c_{i_1}=\max \left\{\right\{c_1,.,c_4\}\{c_{i_0}\left\}\right\}$>

其中，i₀和i₁分别是对应最大值和次大值的索引；

通过比较上述的最大值和次大值得到一个阈值条件：

$>\frac{c_{i_0}-c_{i_1}}{c_{i_1}}>{\theta }_0$>

其中，阈值θ₀是预先根据我们离线训练得到的一个常量；

如果上述的阈值条件满足，系统将发出对应第i₀组按钮的控制命令；否则，系统将继续检查条件二；

2)检查条件二：

通过索引r_p300和索引r_ssvep分别对应P300和SSVEP检查中各自识别的按钮组；如果某组按钮同时被P300和SSVEP检测连续M次识别到，则对应该组按钮的控制命令将由系统输出；

3)只有当满足第一个条件时，或者不满足第一个条件而满足第二个条件时，系统才被认为处于控制状态，同时输出对应该组按钮的控制命令；否则，系统被认为处于空闲状态。

检查条件二中，所述的M＝3。

本发明与现有技术相比，具有如下优点和有益效果：

1、通过本发明，提供一种基于SSVP和P300的多模态脑开关检测方法，能够提高脑开关的性能，即在保持空闲状态的假阳性在一个较低水平的同时，尽可能地提高控制状态的真阳性。

2、在本发明的刺激范式中，P300电位和SSVEP都是由外界刺激被动产生，不存在机制上的矛盾，且训练时间较短。

3、该方法提出的两个检查条件，对应两种结合SSVEP和P300的准则，与只使用单一条件相比，当多模态脑机接口使用两个条件时能获得更高的准确率。

附图说明

图1为本发明所述的一种基于SSVEP和P300的多模态脑开关检测方法的流程图。

具体实施方式

对于本发明所述方法所涉及的缩略语解释如下：

脑机接口：(brain computer interface，BCI)是指在人脑和计算机或其它电子设备之间建立的直接的交流和控制通道，它不依赖于脑的正常生理输出通路(外周神经系统及肌肉组织)，是一种全新的人机接口方式.

头皮脑电：Electroencephalogram(EEG)是大脑活动在头皮上的电位表现。

P300信号：P300是一种内源性的与认知功能相关的特殊的事件相关电位(event related potentials，ERP)，期峰值出现在相关事件发生后的300ms左右。

稳态视觉诱发电位SSVEP：视觉诱发电位(visual evoked potential，VEP)是指神经系统接受视觉刺激(如闪光刺激等)所产生的特定电活动。根据刺激频率的高低，可以将VEP分为瞬态VEP和稳态VEP(steady-state VEP，SSVEP)。前者的刺激间隔大于VEP的持续时间，刺激频率一般不超过2Hz；当刺激频率超过6Hz时，每次刺激引起的VEP在时间上发生重叠，就形成了SSVEP。

运动想象：运动想象是一种想象或者模拟真实运动的心理状态，但不进行真实的运动。研究表明不管是进行真实运动还是想象的运动，在受试者的头皮脑电中都会在8-12Hz(Mu节律)或者13-30Hz(Beta节律)出现较大的峰值，从而有助于对运动的生理研究。

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1，一种基于SSVEP和P300的多模态脑开关检测方法，包含以下顺序的步骤：

S1.使用者根据显示装置中的工作界面指令产生头皮脑电信号；

S2.电极帽采集头皮脑电信号，经数模转换模块转化和信号放大器放大后将信号通过计算机的I/O接口模块传给计算机内部的信号处理模块；

S3.将头皮脑电信号复制成两份，分别进行P300电位检测、SSVEP检测：

所述的头皮脑电信号P300电位检测，具体包含以下顺序的步骤：

1)脑电信号在0.1-10Hz频率范围内进行带通滤波，并进行1/5下采样；

2)从每个通道采集的信号被分割成数据单元，每一个数据单元都是从一组按钮闪烁后从0到600毫秒时间内以向量的形式表示，每个向量表示为Da_i,j,k，其中i，j和k分别表示第i个通道，第j组按钮和第k轮的闪烁；如果用户注视某一组按钮，则Da_i,j,kD会包含一个P300的波形；然后连接10个通道的向量Da_i,j,k，即Fe_j,k＝[Da_1,j,k,.,Da_10,j,k]；最后通过平均所有k轮的闪烁，从而构造对应第j组按钮的特征向量Fe_j，即Fe_j＝(Fe_j,1+.+Fe_j,k)/k；

3)使用这些特征向量及它们对应的标记，通过这些训练集数据生成对应每个受试者的支持向量机分类器，即SVM分类器；如果受试者被要求注视第j组按钮，则特征向量Fe_j的标记是1，否则Fe_u(u≠j)是-1；

4)在异步算法中，P300检测是每800毫秒进行一次，对应一轮所有按钮组的闪烁；首先对当前时间点前4轮闪烁对应的4轮向量求平均，从而得到特征向量Fe_j(j＝1,.,4)，然后将这些特征向量输入到前面生成的SVM分类器中，分别得到对应4个按钮组的4个分数s_j(j＝1,.,4)，每个分数s_j代表第j组按钮包含P300电位的可信程度，最后将4个分数都归一化到[0,1]区间，并且找到分数最大的按钮组：

$>{\hat{s}}_j=\frac{s_j-\min \{s_1,.,s_4\}}{\max \{s_1,.,s_4\}-\min \{s_1,.,s_4\}}$>

$>r_{p300}=\arg \underset{j}{\max }\left({\hat{s}}_j\right)$>

这4个归一化的分数和最大按钮组的索引将作为P300检测的输出；

所述的头皮脑电信号SSVEP检测具体包含以下顺序的步骤：

1)SSVEP检测是每200毫秒进行一次：首先，在3Hz至20Hz的范围内对脑电信号进行带通滤波；然后，选取8个所选通道"P7"、"P3"、"Pz"、"P4"、"P8"、"O1"、"Oz"、"O2"中当前时间点的前3.2秒数据单元进行SSVEP检测，其中前3.2秒数据单元即800数据点；

2)对上述获得的8个通道的EEG信号进行傅立叶变换，计算8个信号向量的功率密度谱，第j个信号向量的功率密度谱被定义为P(j,f)，其中f表示闪烁频率；由此计算第i组按钮的能量：

$>\hat{P}\left(f\right)=\frac{1}{2{\bar{N}}_y}\underset{j=1}{\overset{j={\bar{N}}_y}{\Sigma }}[P(j,f)+P(j,2f)]$>

其中，P(j,2f)是其谐波的能量；

根据上述公式，是第i组按钮SSVEP响应的能量，f_i表示第i组按钮对应的闪烁频率；

第i组按钮的能量比率公式如下：

$>{\delta }_i=\frac{{\left[\hat{P}\left(f\right)\right]}_{f\in [f_i-f_n,f_i+f_n]}}{{\left[\hat{P}\left(f\right)\right]}_{f\in [f_i-f_w,f_i+f_w]}}$>

其中，$>{\left[\hat{P}\left(f\right)\right]}_{f\in [f_i-f_n,f_i+f_n]}$>是[f_i-f_n,f_i+f_n]窄带的平均能量，$>{\left[\hat{P}\left(f\right)\right]}_{f\in [f_i-f_w,f_i+f_w]}$>是宽带[f_i-f_w,f_i+f_w]的平均能量，其中窄带参数f_n是0.2Hz，宽带参数f_w是1Hz；

3)将对应4个按钮组的4个比率都归一化到[0,1]区间，并且找到能量比率最大的按钮组：

$>{\hat{\delta }}_i=\frac{{\delta }_i-\min \{{\delta }_1,.,{\delta }_4\}}{\max \{{\delta }_1,.,{\delta }_4\}-\min \{{\delta }_1,.,{\delta }_4\}}$>

$>r_{\mathrm{ssvep}}=\arg \underset{i}{\max }\left({\hat{\delta }}_i\right)$>

这4个归一化的比率和最大按钮组的索引将作为SVEP检测的输出；

S4.结合P300电位检测和SSVEP各自检测的输出，进行控制状态和空闲状态的分类，并确定目标，具体包含以下顺序的步骤：

1)首先检查条件一：

对于脑电信号P300和SSVEP检测的输出，首先把对应每组按钮的归一化的分数和归一化的比率相加，然后在4个相加值中找到最大值和次大值，如下所示：

$>c_i={\hat{s}}_i+{\hat{\delta }}_i,i=1,.4$>

$>c_{i_0}=\max \{c_1,.,c_4\}$>

$>c_{i_1}=\max \left\{\right\{c_1,.,c_4\}\{c_{i_0}\left\}\right\}$>

其中，i₀和i₁分别是对应最大值和次大值的索引；

通过比较上述的最大值和次大值得到一个阈值条件：

$>\frac{c_{i_0}-c_{i_1}}{c_{i_1}}>{\theta }_0$>

其中，阈值θ₀是预先根据我们离线训练得到的一个常量；

如果上述的阈值条件满足，系统将发出对应第i₀组按钮的控制命令；否则，系统将继续检查条件二；

2)检查条件二：

通过索引r_p300和索引r_ssvep分别对应P300和SSVEP检查中各自识别的按钮组；如果某组按钮同时被P300和SSVEP检测连续3次识别到，则对应该组按钮的控制命令将由系统输出；

3)只有当满足第一个条件时，或者不满足第一个条件而满足第二个条件时，系统才被认为处于控制状态，同时输出对应该组按钮的控制命令；否则，系统被认为处于空闲状态。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。