多人脑机接口投票决策系统及方法

摘要

本发明提供了一种多人脑机接口投票决策系统及方法。所述多人脑机接口投票决策系统包括脑机接口、任务识别机制及数据处理系统，所述脑机接口与所述任务识别机制连接，所述数据处理系统与所述任务识别机制连接，所述脑机接口可接收多个被试者的脑电信息，所述任务识别机制为N×N二维RC范式界面屏幕，每个被试者对应一个N×N二维RC范式界面屏幕，所述数据处理系统包括范式测试系统及被试者脑电信号数据处理模块，能获得每个被试者识别的待识别任务所在的行列坐标，并通过加权运算获得识别结果。本发明利用脑机接口多人加权投票的方式优化决策，以提高识别精度。

说明书

技术领域

本发明涉及人工智能脑科学与计算机技术领域，特别涉及多人脑机接口投票决策系统及方法。

背景技术

脑机接口(brain computer interface,BCI)，也被称为“大脑端口”或者“脑机融合感知，旨在建立人与外部设备之间的连接通路。在实验中，当被测试者收到外部视觉的刺激的时候，其大脑内部神经活动将会产生相应的变化，这些被动的响应将会形成不同的脑电时空尺度模式。利用计算机对脑电信号进行采集和分析，相应的刺激信号将会被识别和判断出来。通过对这些刺激信号的分析，可以将其作为人对外部设备控制的指令，从而实现对特定目标的识别。

在脑机接口领域是存在个体差异的，也就是说，有一些人效果好，有一些人的效果不好，每个人对不同刺激的敏感程度也都不尽相同。在传统的P300Speller中，拼写者通过独自观察行扫描从而判断出目标的纵坐标，再观察列扫描得出横坐标，进而定位目标。但是同上所述，P300 Speller也是存在个体差异的。在进行P300 Speller中也有一些人对行刺激比较敏感，有一些人对列刺激比较敏感。由此导致传统的P300 Speller决策的准确率不高。

在经典p300范式实验中，通常是由一个人单独完成被试任务，长时间的屏幕刺激和高度紧张的状态容易使被试产生疲劳，被试在后续试验中的判断率会因疲劳而下降，进而影响实验准确率。

发明内容

本发明提供了一种多人脑机接口投票决策系统及方法，其目的是为了解决背景技术中决策的准确率不高的技术问题。

将P300 Speller的范式进行分解，从而实现了多人协同的P300-BCI。以三人协同拼写范式为例，三人同时观察三个屏幕并选择相同的目标，根据三人在训练时的准确率赋予每个人一个权值，最终通过算法加权投票产生最终结果，共同决策定位目标，从而增加多人协同定位目标的准确性，为多人协同脑机接口的应用提供必要理论基础。

为了达到上述目的，本发明的实施例提供的多人脑机接口投票决策系统，包括脑机接口、任务识别机制及数据处理系统，所述脑机接口与所述任务识别机制连接，所述数据处理系统与所述任务识别机制连接，所述脑机接口可接收多个被试者的脑电信息，所述任务识别机制为N×N二维RC范式界面屏幕，每个被试者对应一个N×N二维RC范式界面屏幕，所述数据处理系统包括范式测试系统及被试者脑电信号数据处理模块，能获得每个被试者识别的待识别任务所在的行列坐标，并通过加权运算获得识别结果。

本发明的实施例提供的多人脑机接口投票决策方法包括以下步骤：

步骤S1、多人脑机接口投票决策准备工作：多名被试者佩戴电极，在N×N二维RC范式界面屏幕前对备选任务进行识别，获取分类器参数及投票权重；

步骤S2、获取待识别任务，生成任务列表：根据备选任务及需要投票决策的内容，生成待识别任务，待识别任务组成任务列表；

步骤S3、脑机接口投票决策：多名被试者佩戴电极，待识别任务显示在各自的N×N二维RC范式界面屏幕中，多名被试者根据待识别任务提示注视目标字符，分别获取多名被试者识别出的行坐标与列坐标，获得初始投票结果的行坐标与列坐标；

步骤S4、加权运算获得最终结果：对初始投票结果进行加权运算，得出最终输出的行坐标与列坐标，从而定位识别结果。

优选地，所述步骤S1具体包括如下步骤：

步骤S11、所述多名被试者佩戴电极，在各自N×N二维RC范式界面屏幕前准备开始脑机接口识别工作，N×N二维RC范式界面屏幕显示内容均为经典的BCI Speller的RC范式界面；

步骤S12、获取分类器参数：多名被试者根据备选任务提示注视目标字符，并将采集的数据用于训练分类器参数；

步骤S13、获取被试者的投票权重：多名被试者根据备选任务提示注视目标字符，分别获取多名被试者的结果，与待识别目标比对，以获取多名被试的识别正确率，并将其初始化为多名被试者的投票权重。

优选地，所述备选任务包括0-9和a-z的36个备选任务。

优选地，所述步骤S3具体为：

步骤S31、根据待识别任务，生成一个包含1-N的伪随机代码，表示行或列闪烁的顺序，并生成行或列闪烁顺序的任务列表；

步骤S32、依次闪烁任务列表中行或列中的备选任务字符；

步骤S32、如果当前任务在闪烁的行列表或列列表中，则数据打上Label＝1，获得待识别任务的行坐标与列坐标。

优选地，所述步骤S3中，待识别任务显示在各自的N×N二维RC范式界面屏幕中具体为：按照伪随机码的顺序依次在不同的N×N二维RC范式界面屏幕中心呈十字闪烁，各闪烁的时间间隔为240ms，其中刺激时间与刺激间隔各120ms，每次决策过程由4个trails组成，将N×N二维RC范式界面屏幕显示内容均闪烁一次，每次决策后，刺激暂停2s以显示识别结果，并提示下一个待识别任务。

优选地，所述步骤S1及步骤S3中佩戴电极具体为：被试者头戴32通道主动电极，信号通过放大器放大得到，共配置16个信号采集电极，一号被试者选择1-5通道主动电极，二号被试者选择6-10通道主动电极，三号被试者选11-15通道电极主动电极，16通道主动电极作为参考电极接于脑电信号幅值较小的被试者右侧耳后。

采用本发明能达到的技术效果有：本发明提出了一种多人脑机接口投票决策的技术方案，通过多个人同时识别相同任务并进行投票，最终选择得票高的结果来提高识别准确率。在P300 Speller的基础上，通过多人同时进行传统P300Speller实验，并将识别出的行坐标与列坐标分别进行投票从而改善识别的准确率。以三人协同拼写范式为例，三名被试同时观察三个呈现相同内容的屏幕，并选择相同的目标。根据每个人在训练时的准确率赋予每个人一个投票的权值，最终通过加权投票产生识别结果，共同决策定位目标，从而增加P300Speller的拼写准确性。

本发明所述的思路是将P300 Speller任务由三个人同时完成，并根据训练时每个人的个体差异特点，给每个人赋予不同的权值，发挥每个人的特长，并且能够有效避免某个人的走神。某个人走神出错情况比较常见，但是多个人同时走神的概率就小了很多，大大地提高了识别的准确率，是多人协同脑机接口研究实验中有创新意义的尝试；同时，本发明将此技术应用到生活产品中，以BCI拼写器为切入点，可大幅度提高脑机接口诱发式实验的识别准确率，推进BCI技术市场化；并使脑机接口技术对容错率有极其苛刻要求的军事领域能够更加适用。

附图说明

图1为本发明的多人脑机接口投票决策系统的流程图；

图2为本发明的多人脑机接口投票决策系统的电极配置示意图；

图3为本发明的多人脑机接口投票决策系统的刺激界面的示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的问题，提供了一种多人脑机接口投票决策系统，包括脑机接口、任务识别机制及数据处理系统，所述脑机接口与所述任务识别机制连接，所述数据处理系统与所述任务识别机制连接，所述脑机接口可接收多个被试者的脑电信息，所述任务识别机制为N×N二维RC范式界面屏幕，每个被试者对应一个N×N二维RC范式界面屏幕，以N取6为例，则该实施例中任务识别机制为6×6二维RC范式界面屏幕，每个被试者对应一个6×6二维RC范式界面屏幕，多个6×6二维RC范式界面屏幕均显示经典BCI Speller的RC范式界面，所述数据处理系统包括范式测试系统及被试者脑电信号数据处理模块，能获得每个被试者识别的待识别任务所在的行列坐标，并通过加权运算获得识别结果。

本发明提供的多人脑机接口投票决策方法，如图1所示的流程图，包括以下步骤：

步骤S1、多人脑机接口投票决策准备工作：多名被试者佩戴电极，在6×6二维RC范式界面屏幕前，如图3所示的刺激界面的示意图，对备选任务进行识别，获取分类器参数及投票权重；所述备选任务包括0-9和a-z的36个备选任务。

与传统P300 Speller的RC范式相同，复制屏幕让实验内容同时显示在三个屏幕上。三名被试者在三个屏幕前观看相同的内容，以防止他们相互影响。在实验中，刺激界面设计为6*6。而选择6的原因是为了在满足任务要求的前提下尽可能的节省时间，增加目标的偶然性，从而更好地触发P300信号。

步骤S2、获取待识别任务，生成任务列表：根据备选任务及需要投票决策的内容，生成待识别任务，待识别任务组成任务列表；

步骤S3、脑机接口投票决策：多名被试者佩戴电极，待识别任务显示在各自的6×6二维RC范式界面屏幕中，多名被试者根据待识别任务提示注视目标字符，分别获取多名被试者识别出的行坐标与列坐标，获得初始投票结果的行坐标与列坐标；

步骤S4、加权运算获得最终结果：对初始投票结果进行加权运算，得出最终输出的行坐标与列坐标，从而定位识别结果。

所述步骤S1具体包括如下步骤：

步骤S11、所述多名被试者佩戴电极，在各自6×6二维RC范式界面屏幕前准备开始脑机接口识别工作，6×6二维RC范式界面屏幕显示内容均为经典的BCI Speller的RC范式界面；

步骤S12、获取分类器参数：多名被试者根据备选任务提示注视目标字符，并将采集的数据用于训练分类器参数；

步骤S13、获取被试者的投票权重：多名被试者根据备选任务提示注视目标字符，分别获取多名被试者的结果，与待识别目标比对，以获取多名被试的识别正确率，并将其初始化为多名被试者的投票权重。

所述步骤S1及步骤S3中佩戴电极具体为：被试者头戴32通道主动电极，信号通过放大器放大得到，共配置16个信号采集电极，即多个被试者佩戴电极可以采集32个信号，但本实施例只使用16个，其中，一号被试者选择1-5通道主动电极，二号被试者选择6-10通道主动电极，三号被试者选11-15通道主动电极，16通道主动电极作为参考电极接于脑电信号幅值较小的被试者右侧耳后。

所述步骤S3具体为：

步骤S31、根据待识别任务，生成一个包含1-6的伪随机代码，表示行或列闪烁的顺序，并生成行或列闪烁顺序的任务列表；

步骤S32、依次闪烁任务列表中行或列中的备选任务字符；

步骤S32、如果当前任务在闪烁的行列表或列列表中，则数据打上Label＝1，获得待识别任务的行坐标与列坐标。

在本发明的一较佳实施例中，所述步骤S3具体为：

根据0-9(即0-9共10个整数)和a-z(即a-z共26个英文字母)的36个备选任务，随机生成20个任务，形成任务列表，显示在三个屏幕中。第二步，生成一个包含1-6的伪随机代码，表示闪烁的顺序。随后，根据顺序列表，将当前正在闪烁的行和列转换为相应的任务列表。例如,如果伪随机代码为[5，2，3，1，4，6]，则闪烁第二行后将闪烁第五行，和第四行在第六行之前闪烁。如果当前伪随机代码为3,它将被转换成一个闪烁的行列表[13，14，15，16，17，18]和闪烁的列列表＝[3，9，15，21，27，33)。第四步，行列表的闪烁会显示在屏幕1中，而列列表的闪烁则会发送到屏幕2中显示。重要的是，如果当前任务在闪烁的行列表中或者列列表中，则将数据打上Label＝1。否则，将数据标记为0。第五步，对数据和标签进行处理从而得到结果，这个结果将同时显示在三个屏幕上。最后，判断是否所有任务都已完成，如果没有完成，则返回步骤2进行循环。

所述步骤S3中，待识别任务显示在各自的6×6二维RC范式界面屏幕中具体为：按照伪随机码的顺序依次在不同的6×6二维RC范式界面屏幕中心呈十字闪烁，各闪烁的时间间隔为240ms，其中刺激时间与刺激间隔各120ms，每次决策过程由4个trails组成，将6×6二维RC范式界面屏幕显示内容均闪烁一次，每次决策后，刺激暂停2s以显示识别结果，并提示下一个待识别任务。

单trail的脑电信号存在随机噪声，容易将有效的ERP信号淹没。所以通过测量多个trails，再进行平均。这样，随机的噪声就在很大程度被减弱，而有效信号得以凸显。行业内默认识别率达到70％才为有效识别，在实验过程中，发现4个trails的叠加才能达到70％以上的准确率。

实验中，三名被试互不干扰地坐在三个屏幕前。屏幕所呈现内容均相同。任务选择背景由任意6*6共计36个目标均匀分布，屏幕左上角有两行提示，上一行为待识别目标，下一行为识别结果。在实验开始后，每个任务前，会通过紫色矩形框选提示需要共同识别的任务，三名被试需要注视各自屏幕上被紫色矩形所框选的任务。一次实验共有20个任务，每个任务的刺激编码通过伪随机1-6的方式实现(数字几就代表第几行或者第几列)。每次任务中，屏幕会按照生成的伪随机码呈现十字闪烁画面(三台电脑均为行列交替闪烁)，时间间隔为240ms，刺激时间和刺激间隔均为120ms。每个任务的决策过程由4个trial组成(定义：所有的行和所有列闪烁一次，即为一个trial)。当一个字母拼写完成后，十字闪烁刺激暂停2s以便提示随后的训练目标。三名被试在读到紫色方框所圈字母后，无论行闪烁的十字还是列闪烁的十字出现在方框内时，均在内心默默加一，一个任务能读到8次。当紫色方框出现在下一个字母时，重复上述步骤，直到实验结束。计算机通过读取并处理三名被试的脑电信号，解算出每名被试所读目标点行列位置信息，运用训练时得出的权重信息进行加权运算，从而得出识别结果，与待识别目标比对得出正确率。

采用本发明所提供的多人脑机接口投票决策系统及方法，其技术优点体现如下：

本发明提出了一种多人脑机接口投票决策的技术方案，通过多个人同时识别相同任务并进行投票，最终选择得票高的结果来提高识别准确率。在P300Speller的基础上，通过多人同时进行传统P300 Speller实验，并将识别出的行坐标与列坐标分别进行投票从而改善识别的准确率。以三人协同拼写范式为例，三名被试同时观察三个呈现相同内容的屏幕，并选择相同的目标。根据每个人在训练时的准确率赋予每个人一个投票的权值，最终通过加权投票产生识别结果，共同决策定位目标，从而增加P300 Speller的拼写准确性。

本发明所述的思路是将P300 Speller任务由三个人同时完成，并根据训练时每个人的个体差异特点，给每个人赋予不同的权值，发挥每个人的特长，并且能够有效避免某个人的走神。某个人走神出错情况比较常见，但是多个人同时走神的概率就小了很多，大大地提高了识别的准确率，是多人协同脑机接口研究实验中有创新意义的尝试；同时，本发明将此技术应用到生活产品中，以BCI拼写器为切入点，可大幅度提高脑机接口诱发式实验的识别准确率，推进BCI技术市场化；并使脑机接口技术对容错率有极其苛刻要求的军事领域能够更加适用。

在本说明书中以传统P300 Speller范式为例，由三人同时识别目标，运用加权投票的方式得出最终结果的决策方案，从而使决策的准确率提高。本技术在对指令下达准确率有较高要求，且不可删除重来的很多领域都有很强的现实意义。结合另一项关于脑机接口多人协同决策的专利技术，可以大幅度提升识别的速度与准确率。举个例子，每3人分为一组，组内分工负责3个维度的坐标共同识别一个目标，以提高识别速度；组间进行相同的任务，最后将识别结果投票决策从而提高识别精度。通过本发明的技术，可以有效避免某名被试突然注意力分散的问题，为小概率犯错提供的检验措施，大大降低的犯错的风险。具有很强的现实意义。

本发明将传统p300范式实验复制到三个屏幕上，三名被试分别注视三个屏幕。通过算法可得出每名被试识别的行结果与列结果。三名被试在实验前的训练中根据其准确率分别赋予了不同的投票权值。则最终结果的行坐标按照3名被试的行结果加权投票得到，最终的列结果同样由3名被试的列结果加权投票得到。通过比较该技术方案与单人p300实验的准确率可以确定该技术方案的先进性。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。