一种基于双脑的多层次信息融合的目标检测方法

摘要

本发明公开了一种基于双脑的多层次信息融合的目标检测方法。该方法包括数据获取、数据处理、模型训练与分类四个步骤。提出一种双被试、同任务的RSVP范式，使用双人的EEG信号来进行P300检测，并针对该范式提出了一种基于多层次信息融合的HyperscanNet神经网络模型来进行目标检测，在数据处理阶段通过超扫描特征模块与原始特征模块，分别进行特征层融合与数据层融合，然后对超扫描特征模块进行处理后，将其提取的深层次特征与原始特征模块提取的浅层次特征一起输入到支持向量机中，实现HyperscanNet神经网络模型的训练，最后进行脑电数据的分类、检测。该方法实现了范式和检测方法的创新。

说明书

技术领域

本发明属于脑机协同目标检测领域，涉及一种基于双脑的多层次信息融合的目标检测方法。

背景技术

从首次发现脑电信号至1973年Jacques Vidal所负责的加州大学洛杉矶分校的项目中首次给出了脑机接口(BCI)系统的定义，基于EEG来分析大脑意图的BCI使得大脑能够直接与外界环境进行交互。基于RSVP范式的图像检索应用广泛，其主要是通过的对ERP的检测来完成图像检索。ERP是EEG中的一个诱发电位，包含P300、N170、N200等成分，其可以通过听觉或者视觉等刺激来进行诱发。要想从许多有着信噪比较低的EEG中检测到ERP存在是一个较为困难的问题。EEG的背景噪声存在着低稳定性、非线性等特征，而所产生的ERP波形与实验范式也具备一定的关联，甚至改变具体实验范式的一些参数都会影响ERP的振幅和潜伏期。值得注意的是，在经典的RSVP范式中ERP是基于single-trial的，相比于基于multi-trial检测ERP存在较大的难度。

为了改善RSVP中目标检测的准确率，主要有两方面的研究。

一方面是研究更好的方法提高single-trial的ERP检测的准确率。在2006年，Solis-Escalante等提出了基于经验模态分解的single-trial检测方法，从P300的训练集中分解平均事件响应，能够达到约0.55的AUC。在2008年，Krusienski等使用stepwiselinear discriminant analysis(SWLDA)来对P300进行判别，对字符的识别率达到了约35％。在2009年，Bertrand Rivet等提出了一种通过构造一个空间滤波器来提高EEG数据信噪比的xDAWN算法，对拼写器字符的分类取得了80％的分类准确率。在2011年，LucieDaubigney等使用卡尔曼滤波器(Kalman filtering)对EEG数据滤波后放入支持向量机(SVM)进行分类，对P300预测的精确率超过50％。到了2018年，Lawhern等提出了一个紧凑的卷积神经网络模型架构EEGNet，对single-trial P300进行分类最终在1500个样本上进行训练得到了超过0.9的AUC值。除此之外，也有许多研究者提出了如bayesian LinearDiscriminant Analysis(BLDA)、遗传算法(GA)、循环神经网络(RNN)等方法来进行single-trial分类。

另一个方面是通过改进实验范式使得同一个目标多次出现，从而实现使用multi-trial的ERP进行目标检测。2015年Cecotti等提出了dual-RSVP范式，该范式在脑磁图(MEG)数据上取得了良好的效果。2016年Zhimin Lin等对dual-RSVP范式在EEG数据上进行检验，确认了该范式在EEG数据上同样具备可行性。进一步，Zhimin Lin尝试了使用triple-RSVP来进行实验，相比于dual-RSVP取得了更好的效果。几乎多数的实验范式都是基于单个被试进行实验的，也有部分实验两个被试来完成不同的任务，进行对抗。

发明内容

针对现有技术的不足，本发明提出了一种基于双脑的多层次信息融合的目标检测方法，提出一种双被试、同任务的RSVP范式，使用双人的EEG信号来进行P300检测，并针对该范式提出了一种基于多层次信息融合的神经网络来进行目标检测，实现了范式和检测方法的创新。

一种基于双脑的多层次信息融合的目标检测方法，具体包括以下步骤：

步骤一、数据获取

两个被试同时接受来自同样的刺激，采集两个被试的脑电数据，作为目标检测数据。

步骤二、数据处理

建立HyperscanNet神经网络模型，包括超扫描特征模块、原始特征模块以及支持向量机。将步骤一采集得到的目标检测数据同时通过HyperscanNet神经网络模型的超扫描特征模块与原始特征模块的处理，得到待分类的特征输入到支持向量机中。

步骤2.1、输入到超扫描特征模块的目标检测数据经过滤波和通道选择后，按照时间维度进行切分：

X

X

其中

然后对初步特征矩阵F

最后通过跨层连接的方式将两个单脑特征与融合后的特征一起平铺后，作为超扫描特征模块输出的最终特征F

步骤2.2、输入到原始特征模块的脑电信号通过滤波、通道选择以及降采样后，直接将数据进行标准化与平铺后作为特征输出。

作为优选，降采样后的数据频率为250Hz。

步骤三、模型训练

首先对HyperscanNet神经网络模型的超扫描特征模块进行训练，然后超扫描特征模块与原始特征模块输出的特征数据一起输入到支持向量机模块中进行训练。

步骤3.1、使用全连接层与softmax层进行网络的反向传播对超扫描特征模块进行训练，多次迭代训练后丢弃全连接层和softmax层，将超扫描特征模块输出的特征层融合特征与原始特征模块输出的数据层融合数据输入支持向量机。

步骤3.2、接收步骤3.1的数据后的支持向量机用于解决二次规划问题，通过对该二次规划问题进行求解，完成HyperscanNet神经网络模型的训练。

步骤四、数据分类

使用步骤三训练得到的HyperscanNet神经网络模型对提取得到的待分类特征进行分类，输出检测结果，得到被测目标是否接受到目标的刺激。

本发明具有以下有益效果：

1、通过两个模块对脑电数据分别实现特征层与数据层的双脑融合，保留了部分原始特征，提高分类准确率。

2、在特征层融合的过程中，对不同时间段的信息分别使用不同的LSTM模块进行特征提取，使得处于不同时间段的信息能够独立的进行处理，避免一些在P300预测中作用相对较小的时间段对作用相对较大的时间段造成干扰。

3、数据采集阶段同时采集两个被测对象的脑电数据，避免单脑检测中因受到干扰而造成的目标漏检。

附图说明

图1为分类过程示意图；

图2为HyperscanNet神经网络模型结构图。

具体实施方式

以下结合附图对本发明作进一步的解释说明；

一种基于双脑的多层次信息融合的目标检测方法，具体包括以下步骤：

步骤一、数据获取

图1为本实施例的分类过程示意图。本实施例中每次实验都有两个被试同时接受来自同一个屏幕的视觉刺激，并通过Neuroscan Synamps2系统记录以国际10-20系统脑电极分布的64个电极的脑电数据，采样率为1000Hz。将八个被试分成四组进行了四次实验，每次实验有20个sessions，每个session中包含50次刺激呈现，每个刺激呈现持续200ms，呈现后休息600ms，避免Attentional blink现象对P300的形成造成干扰。在20*50次刺激呈现中，有100次出现目标人物，900次为非目标人物。

步骤二、数据处理

建立HyperscanNet神经网络模型，包括超扫描特征模块、原始特征模块以及支持向量机。

将步骤一采集得到的目标检测数据分别通过HyperscanNet神经网络模型的超扫描特征模块与原始特征模块的处理，如图2所示。

步骤2.1、输入到超扫描特征模块的目标检测数据经过滤波和通道选择后，按照时间维度进行切分：

X

X

其中

对不同时间段的数据切分后再进行特征提取，可以使处于不同时间段的信息之间相互独立。针对不同时间段的不同成分采用不一样的特征提取方式，避免一些在P300预测中作用相对较小的时间段对作用相对较大的时间段造成干扰，影响准确度。

然后对初步特征矩阵F

最后通过跨层连接的方式将两个单脑特征与融合后的特征一起平铺后，作为超扫描特征模块输出的最终特征F

步骤2.2、输入到原始特征模块的目标检测数据通过滤波、通道选择，降采样到250Hz后，直接将数据进行标准化与平铺后作为特征输出。

将两位被试的脑电信号通过两个模块进行特征提取，一方面通过超扫描特征模块完成了特征层的双脑融合。另一方面，原始特征模块通过简单的降采样、标准化等操作完成了数据层的融合，保留一些原始的特征。

步骤三、模型训练

首先对HyperscanNet神经网络模型的超扫描特征模块进行训练，然后超扫描特征模块与原始特征模块输出的特征数据一起输入到支持向量机模块中进行训练。

步骤3.1、使用全连接层与softmax层进行网络的反向传播对超扫描特征模块进行训练，多次迭代训练后丢弃全连接层和softmax层，将超扫描特征模块输出的特征层融合特征与原始特征模块输出的数据层融合数据输入支持向量机。

步骤3.2、接收步骤3.1的数据后的支持向量机用于解决二次规划问题，通过对该二次规划问题进行求解，完成HyperscanNet神经网络模型的训练。

步骤四、数据分类

使用步骤三训练得到的HyperscanNet神经网络模型对提取得到的两个被试脑电数据进行分类，输出结果为目标或非目标。

步骤一采集得到的数据集中，目标与非目标比例为1∶9，存在较为严重的样本不均衡现象。在这个比例下，想要确保所预测的目标为真目标的同时，尽可能找全目标存在较大的难度。因此，在评价模型时注重对目标的召回率与精确率，但是AUC返回的信息比较粗略，不能够直接或者间接获得目标的召回率或精确率信息，因此本发明中不采用AUC作为评价指标。

本实施例采用的评价指标为检测结果的F1 Score：

F1 Score为精确率precision与召回率recall的调和平均数，能够很好的协调精确率与召回率之间的关系，一旦精确率与召回率某个值过低，都会使得F1 Score大幅下降，即对而二者都有一定的要求。

下表为本实施例与使用其他网络模型的检测结果对比：

表1

表中sub表示被试，model表示模型，1、0.8、0.6这三个数值表示采用数据段的时间长度。

注意到S3与S4进行融合时存在双脑效果不如单脑的情况。但是除此之外，双脑的效果普遍要好于单脑。随着采用时间的减少，双脑与单脑检测能力的变化与被试有着很大关联，在被试S1+S2与被试S5+S6中，其受时间的影响相对较小。而在其余两组被试中则影响较大，可能是由于被试个人之间差异引起的。值得注意的是，融合较好的三组中，双脑采用0.6秒的时间，所达到的F1 Score能够与单脑采用1秒时间相当，甚至超越。