一种基于混合神经网络的脑电时空特征学习与情感分类方法

摘要

本发明公开了一种基于混合神经网络的脑电时空特征学习与情感分类方法，步骤有：采集多个通道的脑电信号；从多个通道的脑电信号中提取PSD功率谱密度特征；并转为二维网状矩阵序列；然后分为若干个片段Pj；建CASC_CNN_LSTM模型和CASC_CNN_CNN模型，通过CASC_CNN_LSTM模型从每个片段Pj中联合提取脑电信号的深层空间特征和时间特征，CASC_CNN_LSTM模型提取的深层空间特征和时间特征输入CASC_CNN_LSTM模型对应的softmax层进行情感类别预测；通过CASC_CNN_CNN模型从每个片段Pj中联合提取脑电信号更深层次的深层空间特征；将CASC_CNN_CNN模型提取的更深层次的深层空间特征输入CASC_CNN_CNN模型对应的softmax层进行情感类别预测。本发明的情感分类更准确。

说明书

技术领域

本发明属于深度学习应用技术领域，具体属于一种基于混合神经网络的脑电时空特征学习与情感分类方法。

背景技术

情感在人类生活中起着至关重要的作用，积极的情绪可能有助于提高我们日常工作的效率，而消极的情绪可能会影响我们的决策、注意力等等。随着人工智能技术的发展，情感识别已经成为情感计算和模式识别研究领域的一个热点。

首先，EEG信号具有很低的信噪比，容易受到多种噪声的干扰，其次，人们往往只对特定大脑活动相关的EEG信号感兴趣，但是却很难从背景中将这个信号分离出来。因此，为了确定和提取EEG信号中与特定大脑活动或情感相关的部分，需要复杂的EEG信号分析与处理技术，既要考虑EEG信号空间的相关性，也要考虑时间上的相关性。

在处理EEG情感识别问题时，通常会遇到两大技术挑战，一个是如何从脑电信号中提取更具判别性的情感特征，另一个是如何开发更有效的用于情感特征识别的计算模型。尽管近年来脑电情感识别方法层出不穷，但为了进一步提高脑电情感识别的性能，仍有一些重要问题需要研究：一是如何从原始脑电信号中选择并提取更有效的脑电特征并对特征进行表示使其具有更明显的时空相关性和判别性；二是如何构建有效的机器学习的模型，从输入的脑电特征中挖掘更深层情感相关性特征，提高情感识别的能力。

发明内容

为了解决现有技术中存在的问题，本发明提供一种基于混合神经网络的脑电时空特征学习与情感分类方法，解决目前存在的如何从原始脑电信号中选择并提取更有效的脑电特征并对特征进行表示使其具有更明显的时空相关性和判别性以及如何构建有效的机器学习的模型，从输入的脑电特征中挖掘更深层情感相关性特征，提高情感识别的能力。

为实现上述目的，本发明提供如下技术方案：一种基于混合神经网络的脑电时空特征学习与情感分类方法，包括以下步骤：

步骤1：采集多个通道的脑电信号；

步骤2：从多个通道的脑电信号中提取PSD功率谱密度特征；

步骤3：将PSD功率谱密度特征的向量序列转换为二维网状矩阵序列；

步骤4：应用滑动窗将二维网状矩阵序列划分为若干个片段P

步骤5：构建CASC_CNN_LSTM模型和CASC_CNN_CNN模型，通过CASC_CNN_LSTM模型从每个片段P

通过CASC_CNN_CNN模型从每个片段P

进一步的，所述步骤1的具体步骤如下：

从DEAP数据集中提取多个通道的脑电信号，采样频率降至128HZ；

所述DEAP数据集采用如下步骤获得：对多个被试进行多次试验，采集完每个被试每次试验的脑电信号后，对被试每次试验的脑电信号在唤醒度、效价、喜好、优势度和熟悉度方面使用1-9的连续数值表示由弱到强的各项指标进行情感评价。

进一步的，所述步骤1中还包括对采集的脑电信号进行预处理，所述预处理包括：采用4-45Hz的带通滤波器进行数据过滤，再采用盲源分离技术去除眼电干扰。

进一步的，所述步骤2的具体步骤如下：

基于步骤1中提取的多个通道的脑电信号，对每次试验的脑电信号进行不重叠分段，每次试验得到多个样本，则得到每个被试的样本总数，每个样本包含有多个采样点，每个采样点包含步骤1中提取的多个通道的数据，即得到RAW特征；

对分段以后的脑电信号按通道进行归一化，得到每个被试时域上的NORM特征，在4-45Hz频带上利用快速傅立叶变换算法在单个样本的每个通道上使用Hamming窗无重叠地滑动提取NORM特征的PSD特征；

最后对被试在每次试验中RAW特征、NORM特征和PSD特征在1-9范围内的情感评价值，以中位数5作为阈值将效价和唤醒度上的评价值划分为两类，大于5代表高类或正性指标，用1表示；小于或等于5代表低类或负性指标，用0表示；然后对RAW特征、NORM特征和PSD特征以及RAW特征的评价、NORM特征的评价和PSD特征的评价进行均衡化处理。

进一步的，所述步骤3的具体步骤如下：

时间点t的脑电信号用一维数据向量

进一步的，所述步骤4的具体步骤如下：

应用滑动窗将二维网状矩阵序列划分为若干个片段P

进一步的，所述步骤5中构建CASC_CNN_LSTM模型，从每个片段P

构建CASC_CNN_LSTM模型，将每个片段P

然后将表示深层空间特征的序列输入到一个双向LSTM模型中，该模型的每个传播方向上都包含s个LSTM单元，LSTM单元在当前时间点t处的隐状态用h

进一步的，所述步骤5中构建CASC_CNN_CNN模型，所述CASC_CNN_CNN模型从每个片段P

构建CASC_CNN_CNN模型，将每个片段P

与现有技术相比，本发明至少包括以下有益效果：

本发明提供了一种基于混合神经网络的脑电时空特征学习与情感分类方法，通过从多个通道的脑电信号中提取PSD特征，然后将一维链式PSD特征转换成二维网状矩阵序列，并利用滑动窗将二维矩阵序列分成一个个等长的时间片段，能够从原始脑电信号中选择并提取更有效的脑电特征，并对特征进行表示，使其具有更明显的时空相关性和判别性，而且本发明将此二维网状PSD特征输入Casc_CNN_LSTM和Casc_CNN_CNN两种混合神经网络中进行被试，挖掘更深层情感相关性特征，分别取得了93.15和92.37的分类准确率，这两种混合模型的性能均优于几种基准模型和最新方法的分类性能；而且与以往研究相比，该模型对原始数据的预处理较少，更适合于BCI等实时应用。

附图说明

图1为本发明提供的处理原始EEG信号的流程图；

图2为本发明提出的将一维脑电序列转换后的二维网状矩阵序列图；

图3为本发明提供的CASC_CNN_LSTM模型结构图；

图4为本发明提供的CASC_CNN_CNN模型结构图；

图5为基准模型与级联混合模型在效价上进行两类情感分类准确率的比较表格；

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的说明。

如图1所示，本发明提供了一种基于混合神经的脑电时空特征学习与情感分类方法，针对大型公开DEAP数据集上的原始EEG脑电信号提出一种新的EEG特征表示的方法，在此基础上提出两种新的混合深度神经网络模型，学习并提取判别性更高的深层时空相关性特征，并对依赖于被试的两类情感进行分类，与现有方法相关，获得了更好的分类准确率，包括如下步骤：

步骤1：采集多个通道的脑电信号并对多个通道的脑电信号进行预处理；本发明在公开的大规模脑电情感数据集DEAP上进行脑电情感分类实验和模型性能的验证；

步骤2：从DEAP数据集预处理的多个通道的脑电信号中提取PSD功率谱密度特征；

步骤3：对PSD特征进行特征转换，将PSD特征由一维向量序列形式转换为二维网状矩阵序列；

步骤4：应用滑动窗将二维网状矩阵序列划分为若干个片段P

步骤5：构建级联卷积-循环神经网络(CASC_CNN_LSTM)模型和级联卷积-卷积神经网络(CASC_CNN_CNN)模型，通过CASC_CNN_LSTM模型从每个片段P

具体的，如图1左半部分所示，步骤1的具体步骤如下：

基于EEG的情感脑-机接口系统通常使用便携式可穿戴的多通道电极帽采集EEG信号，当被试者观看刺激视频时，电极帽上的传感器捕获被试大脑头皮电流的波动情况；

本实施例中基于公开的大规模DEAP数据集中采集的脑电信号进行实验，该数据集记录了32个被试者观看40个时长约为1分钟的、带有不同情感倾向的音乐视频所诱发的脑电、心电、肌电等生理信号，之后被试对所观看的视频在唤醒度，效价，喜好，优势度和熟悉度方面使用1-9的连续数值表示由弱到强的各项指标进行情感评价，评价值由小到大分别表示各项指标由负到正或由弱到强。40个刺激视频中包含20个高效价/唤醒度刺激和20个低效价/唤醒度刺激；

本实施例中，提取32个通道的EEG信号，采样频率降至128Hz，为了消除直流噪声、电源噪声和其他伪迹，使用4-45Hz的带通滤波器进行数据过滤，再采用盲源分离技术去除眼电干扰，得到总时长为63秒的EEG信号，包括观看视频的60秒和观看前静息态的3秒。

进一步的，步骤2的具体步骤如下：

本发明从上述63秒EEG信号中提取每个视频诱发的60秒的EEG序列做进一步分析；为了校正与刺激无关的信号随时间的变化，将观看视频之前3秒的EEG信号作为基线，从60秒试验信号中去除基线，得到刺激相关的序列变化，以1秒为窗长对每个序列进行不重叠分段，每次试验得到60个片段，则每个被试40次试验的EEG片段(也称样本)总数为40*60＝2400个，每个片段包含128个采样点(即窗口大小为128)，每个采样点包含32个EEG通道的数据，简称RAW特征，其维度大小表示为2400×128×32。再对分段以后的EEG数据按通道进行归一化，得到每个被试时域上的NORM特征。在4-45Hz频带上利用快速傅立叶变换算法在1s的EEG片段的每个通道上使用0.5s的Hamming窗无重叠地滑动提取NORM特征上的64个PSD特征，每个被试40次试验共提取PSD特征的维度是2400×64×32；

然后，基于被试对每个视频在1-9范围内的情感评价值，以中位数5作为阈值将效价和唤醒度上的评价值划分为两类，在某个维度上解决2分类问题时，大于5代表高类或正性指标，用1表示；小于或等于5代表低类或负性指标，用0表示。再对数据和标签做均衡化处理，使两类中每一类EEG数据和标签数量相同，数据分别指的是RAW特征、NORM特征和PSD特征，标签分别指的是对RAW特征的评价、NORM特征的评价和PSD特征的评价。

进一步的，所述步骤3和步骤4的步骤如图1右半部分所示，其中，EEG电极地图显示了一种BCI常用电极帽上的电极位置分布，不同BCI系统的脑电记录通道数量不同，其电极的分布也有所不同。EEG采集系统获取的传感器读数表示一定采样频率下的脑电信号时间序列；通常，时间点t采集的原始EEG信号用一个一维数据向量

从EEG头皮电极分布图可以看出，每个电极在物理上都与多个电极相邻，用于测量大脑某一区域的EEG信号，而且不同的大脑区域对应于不同的大脑活动。上述一维链式EEG数据向量仅能表示两个相邻电极位置的相关性，所述步骤3将上述脑电信号PSD特征的一维链式向量序列转换成二维网状矩阵序列，使矩阵结构与EEG电极位置的脑区分布相对应，以此来更好的表示物理上多个相邻电极EEG信号之间的空间相关性，具体的：

本发明根据EEG采集系统的电极空间位置关系，将32个通道的一维EEG数据向量X

所述步骤4的具体步骤如下：然后，如图1的最后一步所示，应用滑动窗将二维网状矩阵序列划分为一个个单独的片段P

进一步的，所述步骤5里CASC_CNN_LSTM模型的实现过程：构建CASC_CNN_LSTM模型如图3所示，模型的输入是经过上述预处理的二维网状矩阵序列(如样本P

为了提取每一个二维网状矩阵的深层空间特征，我们采用如图3所示的一个深度二维CNN网络进行空间特征学习，

具体的：首先获取每一个被试脑电特征的二维网状矩阵序列，然后如图3所示构建级联混合Casc_CNN_LSTM模型，输入模型的第j个EEG片段用二维网状矩阵序列P

将每一个网状矩阵分别输入到一个2D-CNN网络，经学习得到对应的深层空间特征表示Z

然后，将深层空间特征表示序列Q

至此，EEG网状矩阵序列P

综上所述，脑电信号的一维PSD特征序列经由特征转换和Casc-CNN-LSTM模型处理的过程可以描述为：Input(s×n)-Trans(s×h×w)-Conv(s×h×w×16)-Conv(s×h×w×32)-Conv(s×h×w×64)-Conv(s×h×w×128)-FC(l)-LSTM(s×2i)-FC(l)-softmax(k)。其中，Input(s×n)表示分段大小为s且包含n个通道的一维脑电PSD特征序列；Trans(s×h×w)表是将一维PSD特征序列转换为长度为s大小为h×w的网状矩阵序列；Conv(s×h×w×m)表示一个卷积层从一个网状矩阵学习得到m个特征映射；FC(l)表示有l个神经元的全连接层；LSTM(s×2i)表示顺逆两个传播方向分别具有s个LSTM单元的隐含层学习得到大小为i的隐状态：softmax(k)表示用于预测k个情感类别。

所述步骤5中构建CASC_CNN_CNN模型，所述CASC_CNN_CNN模型从每个片段P

具体的，如图4所示，构建CASC_CNN_CNN模型，将二维网状矩阵序列P

综上所述，脑电信号的一维PSD特征序列经由特征转换和Cas_CNN_CNN模型处理的过程可以描述：Input(s×n)-Trans(s×h×w)-Conv(s×h×w×16)-Conv(s×h×w×32)-Conv(s×h×w×64)-Conv(s×h×w×128)-FC(l)-Cat(b)-Trans(s×h×w)-Conv(s×h×w×32)-Pooling(max,2)-Conv(s×h×w×64)-Pooling(max,2)-FC(l)-softmax(k)。其中，Input(s×n)表示分段大小为s且包含n个通道数据的一维PSD特征序列；Trans(s×h×w)表示将一维EEG记录序列转换成长度为s大小为h×w的网状矩阵序列；Conv(s×h×w×m)表示一个卷积层从一个网状矩阵学习得到m个特征映射；Cat(b)表示将b个向量按时间顺序连接；Pooling(max,2)表示使用步长为2，核为2*2的最大池化层；FC(l)表示具有l个神经元的全连接层；softmax(k)表示用于预测k个情感类别的softmax层。

由图5可以直观的发现以二维网状PSD特征为输入的Casc_CNN_LSTM和Casc_CNN_CNN模型分别取得了93.15和92.37％的情感分类准确率，两种混合模型均优于几种基准模型和最新方法的分类性能，这表明了本发明中学习的深层空间和时间信息对于提升EEG情感分类识别性能非常关键。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。