一种基于特征与状态二部图的脑电情感识别方法

摘要

本发明提供一种基于特征与状态二部图的脑电情感识别方法。该方法的具体步骤包括引导被试者观看带有明显情感倾向的影片片段，同时采集脑电数据，对其进行预处理和特征提取后，生成数据矩阵。为得到能够很好刻画特征与样本之间关联的二部图，首先使用数据矩阵对二部图进行初始化，一层为特征，另一层为样本，层内无连接，层间全连接。然后基于图结构化学习理论，通过对其约束非负性，行归一化及拉普拉斯秩约束，学习到最优的二部图，再联合半监督图标记传播模型，得到无标记样本的标签，其内在机理是同类情感样本有相似的特征分布。最后，对学习到的标签矩阵按列拆分，每一列代表一类情感与特征之间的关联程度。

说明书

技术领域

本发明属于脑电信号处理技术领域，具体涉及一种基于特征与状态二部图的脑电情感识别方法。

背景技术

情感在人际交往中必不可少，影响我们的决策、认知和行为表达，这使得情感识别成为认知神经科学、健康信息学、心理学等多个领域的研究热点。情感通常是自发而非有意识地发生的一种心理状态，并且往往伴随着中枢神经和外周的生理反应，因此人类大脑皮层电活动产生的脑电图(EEG)为我们提供了可靠的情绪识别数据源。而不同于其他数据源像文本、面部表情、语音等非生理信号，脑电信号属于生理信号，不容易伪装，使得其识别结果更加可靠。近年来，随着可穿戴设备、信号采集设备和脑电数据处理技术的快速发展，基于脑电的情感识别引起工业界和学术界的广泛关注。

基于图的半监督学习方法通常通过样本与样本之间的相似性来构建图邻接矩阵，其中相似性可以通过计算欧几里德距离、高斯核等度量方式。在图的邻接矩阵中，若两个样本之间权重值越大，则两个样本越相似，其标签应该相同，故基于图的标签传播过程可以被看作有限的标记样本的标签传播到大量无标记样本。而我们不同于传统构建图的方法，将经过预处理和特征提取的脑电数据作为二部图的输入，一侧为特征，另一侧为样本(部分样本带标记，其余样本无标记)，层内无连接，层间全连接，基于图结构化理论，得到最优的能够很好地反映特征与样本关联关系的二部图。

基于学到的最优二部图，一方面，我们可以得到无标签样本的标签，其内在机理是同类情感样本有相似的特征分布；另一方面，可以分析出每类情感样本与特征之间的关联。而每一个EEG特征与相应的EEG频段和通道存在耦合。假设有P个频段(通常P取5,即 Delta,Theta,Alpha,Beta,Gamma)和Q个通道(Q通常取64，128等)，每个EEG样本向量是通过将P个频段中每个频段的Q个特征连接在一起形成的。通过每类情感样本与特征重要性度量，从而获得每类情感识别的关键频段和通道。

发明内容

本发明的目的在于提供一种基于特征与状态二部图的脑电情感识别方法；该方法通过对结构化图P及标签矩阵F进行联合迭代优化，得到能够很好描述特征与样本关联的二部图。根据这二部图，一方面，我们可以得到无标记样本的标签，该预测值标签即为样本对应的被试者在采集时刻的情感状态；另一方面，可以获得每类情感的特征重要性，而特征又与脑电图的通道和频段存在耦合关系，从而分析出脑电情感激活模式。

该基于二部图的脑电特征情感类别识别方法的具体步骤如下：

步骤1、在被试者处于不同的情感类别时采集脑电数据。

步骤2、对步骤1采集得到的脑电数据进行预处理和特征提取，得到数据矩阵

步骤3、基于特征-样本二部图的半监督标签传播模型，通过强制非负性，行归一化以及拉普拉斯矩阵秩的约束来学习结构化图P，并对秩的约束优化及放松，得到优化后的目标函数。所得的目标函数如下：

其中，

步骤4、对目标函数中的关矩阵P及标签矩阵F进行联合迭代优化。

步骤5、将被测对象的脑电数据经过预处理后，输入经过联合迭代优化的优化模型，获得，获得标签矩阵F

作为优选，步骤3中学习得到的结构化图P为：

其中，d是原始特征维度，n是样本数；图关联矩阵

作为优选，步骤3中，获取目标函数的过程如下：

将结构化图P转化成：

其中，σ

通过放松对F的正交约束到行归一化及非负，获取得到目标函数。

作为优选，步骤4中，对关联矩阵P及标签矩阵F进行联合迭代优化的具体过程如下：

步骤4.1、固定标签矩阵F，更新关联矩阵P，目标函数为：

求解公式(5)，得到更新后的关联矩阵P。

步骤4.2、固定关联矩阵P，更新标签矩阵F，目标函数为：

将F和L

求解公式(7)，得到更新后的标签矩阵G。

步骤4.3、重复步骤4.1、4.2，完成二部图关联矩阵P以及标签矩阵G的联合迭代优化。

作为优选，步骤5执行后，提取不同情感类别对应的关键频段和通道，过程如下：

提取标签矩阵G中的

θ

ω(p)＝θ

作为优选，需要识别被测对象是否处于一种情感时，采集被测对象该情感类别对应的关键频段和通道脑电数据；将脑电数据经过预处理后输入到目标函数，确认被测对象是否处于该种情感中。

本发明具有以下有益效果：

1、本发明构建出能够很好地描述特征与样本之间关联的二部图，从而能够准确地识别出被试者的情感状态。

2、不同于现有方法只关注提高情感识别的性能，而进一步分析这些重要特征来自哪里(来自哪些通道或者频段)很有必要。本发明基于特征标记矩阵F

附图说明

图1为本发明的识别流程示意图。

具体实施方式

以下结合附图对本发明作进一步的解释说明；

如图1所示，一种基于特征与状态二部图的脑电情感识别方法，具体包括以下步骤：

步骤1、脑电数据采集。

人的情感在日常情况下并不会显得十分强烈，因此，为了采集到强烈的情感信息，是需要对被试者进行一定的诱导的，因此选取几种具有明显情感倾向的影片片段(比如带有悲伤情绪的电影，带有高兴情绪的电影等)在不同的时间分别播放给被试者观看，在观看影片的同时通过脑电帽导联连接到对应的脑区采集被试者的脑电数据作为原始的情感脑电数据集。

步骤2、数据预处理。

对步骤1采集得到的脑电数据进行采样，采样率为200hz，然后通过1hz～75hz的带通滤波器滤除噪声和伪影，分别在Q(Q通常取5)个频段(Delta(1-4Hz)，Theta(4-8Hz)，Alpha(8-14Hz)，Beta(14-31Hz)和Gamma(31-50Hz))计算其微分熵(DE)作为数据矩阵B：

其中，σ为概率密度函数的标准差；μ为概率密度函数的期望。

可以看出，本质上微分熵特征为功率谱密度特征的对数形式，即

初始化二部图，将数据矩阵B作为输入，其中

步骤3.1、建立结构化图P：

通过强制非负性、行归一化以及秩的约束来学习结构化图P，以保证构造出一个好的二部图，

步骤3.2、由于直接优化秩处理是非凸且是NP难的，将其转化成：

其中，σ

通过放松对标签矩阵F的正交约束到行归一化，得到我们的目标函数：

其中，

步骤4、根据步骤3.2建立的优化模型，对关联矩阵P及标签矩阵F进行联合迭代优化。

步骤4.1、固定标签矩阵F，更新关联矩阵P，目标函数为：

其中，第一项

该目标函数对不同的i都是独立的，定义

此时，令

式(19)的拉格朗日函数

式中，α，φ为拉格朗日乘子。对

x-m-α1-φ＝0(21)

式(21)结合约束条件x

把式(22)代回式(21)可得：

针对式(23)，定义如下变量：

此时，式可写为：

x＝u+(φ-φ

根据凸优化问题中的KKT条件可得出如下结论：

结合式(25)与式(26)可知：若

式中，(a)

式(27)结合约束条件x

此时，对式(28)使用牛顿法即可求解φ

步骤4.2、固定关联矩阵P，更新标签矩阵F，目标函数为：

将F和L

第一项

其中，

再令

基于增广的拉格朗日法(ALM)，式(33)可变换为：

式(34)通过迭代更新的方法来求解：

固定z更新x,通过配方法，式(34)可继续化简为：

式中，β为拉格朗日乘数，μ为增长系数。令

固定x更新z，此时，可直接对式(33)关于z求导并令导数为0，可得到z的更新公式为：

步骤4.3、重复步骤4.1、4.2，完成二部图关联矩阵P以及无标记样本和特征的标记矩阵G 的联合迭代优化。

步骤5、通过步骤4得到的标签矩阵G＝[F

步骤6、标签矩阵G中的

根据式(8)计算出第i个EEG特征对该类情感的重要性θ

θ

ω(p)＝θ

步骤7、步骤6中获取不同情感类别对应的EEG频段和通道；需要识别被测对象是否需要处于一种情感(如是否处于悲伤的状态)时，提前对被试者采集该情绪类别对应的关键EEG 频段和通道脑电数据；依据所得脑电数据重新执行步骤2到步骤4，获得新的目标函数；仅采集被测对象关键的EEG频段和通道的脑电数据，通过预处理输入到新的目标函数，确认被测对象是否处于该种情绪。