联合半监督回归与图标签传播的脑电迁移情感识别方法

摘要

本发明公开了联合半监督回归与图标签传播的脑电迁移情感识别方法。该方法采集来自不同被试者的脑电数据，提取特征作为样本矩阵。构建双映射域适应模型和半监督回归与图标记传播联合模型两个子模型，进行联合优化。在优化过程中，对不同变量进行交替迭代优化，从而不断优化特征共享子空间，缩减源域和目标域之间的数据分布差异，得以学习到更加准确的目标域标签，进一步缩减两域之间的差异。本方法可以缩减被试之间脑电数据的分布差异，同时进一步抑制被试数据特征间存在的差异对情感识别过程的影响，解决在跨被试情感识别领域由于被试之间的个体差异性带来的识别效果不佳的问题。

说明书

技术领域

本发明属于脑电信号处理技术领域，具体涉及一种联合半监督回归与图标签传播的脑电迁移情感识别方法。

背景技术

在1990年，Salovey和Mayer提出了情感智能的概念，并认为除了逻辑智能外，情感智能也是人工智能的重要组成部分，对于机器来说，能够自动并准确地识别人的情感状态是实现机器情感智能的关键，而情感是一种综合了人的感觉、思想和行为的状态，不仅包括人对外界环境或自身刺激的心理反应，还包括伴随这种心理反应的生理反应，并且人们的情感表现，例如表情、语音等，会因外部环境、自身认知等因素的影响不自觉的进行伪装以及变化，但是，源自中枢神经系统活动的脑电信号与人们的真实情感之间存在着直接关联，是不可伪装的，因此而被广泛应用于客观情感识别领域，并已成为该领域的研究热点，同时随着计算机技术、生物科学、神经科学等学科的不断发展，脑电信号对于提高人机交互中情感状态识别的准确性以及可靠性起到了越发重要的帮助。

虽然脑电信号因其不可伪装性而能够客观地进行情感状态识别，但是，脑电信号存在有一个重要的问题，个体差异性，人与人之间的脑电信号以及一个人在不同时间的脑电信号，均存在着分布差异，这就会导致以同分布为假设的机器学习方法难以泛化。因此，迁移学习的概念被提出，其基本思路是使用辅助域的知识来促进目标域的识别任务。常见的迁移学习方法一般可分为四类：基于模型、基于特征、基于样本、基于关系。其中，基于特征的方法是最广泛使用的迁移方法，该类方法目的是学习一种共享特征表示并结合一些分布度量策略，例如最大均值差异等，将目标域和源域数据映射到共享子空间中以缩减两域差异，达到一个基本近似分布的状态。其中对于条件分布的计算是与源域以及目标域的标签息息相关的，因此，如果能够学习到准确的目标域标签，就可以得出更好的投影矩阵，进而可以更好地缩小源域和目标域之间的分布差异以得出更加优秀的目标标签，提升模型识别精度，保证情感人机交互的可靠性。两域原始数据的映射方法可以分为单映射以及双映射，理论上来说，相较于单映射，双映射在映射过程中会考虑两域各自的个性特征，但为防止两域个性特征在共享子空间中的过度体现，还需要对两域的映射矩阵进行一定的约束，因此，理论上认为单映射应包含于双映射之中，而现有技术大多采用单映射的方式，忽略映射过程中域本身的有益个性特征，仅保留可用于迁移的共有特征。

同时，由于脑电信号的个体差异性，使得不同被试针对于同一情感的脑电信号的特征表示也会有所差异，而大多现有技术只简单地进行跨被试迁移识别，并不能很好的满足人机交互对于情感识别准确性的要求，因此，需要结合一定的学习方法，对其识别过程进行优化，基于图的标记传播是一种较为适用的方式，并且其效果在现有技术(CN113157094A)中得到了体现，但是其构造的无向图在用于两域间标签传播时，不仅考虑了源域与目标域之间的关联，还会考虑域内样本的关联，而这一关联在双映射环境中，可能会因为两域部分个性特征的保留而影响到最终的识别结果。

发明内容

针对现有技术的不足，本发明提出了一种联合半监督回归与图标签传播的脑电迁移情感识别方法，通过对源域数据和目标域数据在共享子空间对齐的投影矩阵P

步骤1、采集多名被试者在c种不同情感状态下的脑电数据。

步骤2、对步骤1采集得到的脑电数据进行预处理和特征提取，每一个样本矩阵X由一个被试者的脑电特征组成，标签向量y为样本矩阵X中脑电特征对应的情感标签。选择两个来自不同被试者的样本矩阵X，分别作为源域数据X

步骤3、构建联合半监督回归与图标签传播的脑电迁移情感识别模型，包括双映射域适应模型和半监督回归与图标签传播联合模型。

步骤3.1、建立双映射域适应模型：

其中，

步骤3.2、建立半监督回归与图标签传播联合模型：

s.t.G≥0,G1＝1,F≥0,F1＝1,

其中，

步骤3.3、联合步骤3.1、3.2构建的两个模型，将双映射域适应模型与半监督回归与图标签传播联合模型整合至一个统一的框架中进行联合优化，计算目标域情感标签F

步骤4、根据步骤3.3建立的优化模型，对源域数据和目标域数据在共享子空间对齐的投影矩阵P

步骤4.1、初始化目标域数据标签F

作为优选，共享子空间映射矩阵由主成分分析方法(Principal ComponentAnalysis,PCA)构建。

步骤4.2、固定目标域数据标签F

求解公式(4)，得到更新后的样本-标签映射矩阵W′。

步骤4.3、固定样本-标签映射矩阵W和目标域数据标签F

求解公式(5)，得到更新后的共享子空间映射矩阵P

步骤4.4、固定共享子空间映射矩阵P

s.t.G≥0,G1＝1

求解公式(6)，得到更新后的样本-特征二部图关联矩阵S′和特征标签F

步骤4.5、固定样本-标签映射矩阵W、共享子空间映射矩阵P

s.t.F≥0,F1＝1

求解公式(7)，得到更新后的目标域数据标签F

步骤4.6、多次重复步骤4.2、4.3、4.4、4.5，完成样本-标签映射矩阵W、共享子空间映射矩阵P

步骤5、将步骤4联合迭代优化后的结果代入公式(3)中，然后将情感状态未知的脑电数据特征X

本发明具有以下有益效果：

1、本发明提出的联合半监督回归与图标签传播的脑电迁移情感识别模型为情感人机交互提供了一种具有更高准确性的有效工具，通过数学模型不断迭代优化目标标签，能够根据脑电数据准确地识别被试者的情感状态。

2、本发明针对的是脑电研究领域较难的跨被试情景，通过双映射域适应模型与半监督回归与图标记传播联合模型联合进行迭代优化，通过对源域数据和目标域数据在共享子空间对齐的投影矩阵P

3、本发明提出了双映射域适应模型和半监督回归与图标签传播联合模型两个子模型。其中双映射预适应模型采用将源域和目标域分别映射到共享子空间的方法，同时结合两域映射矩阵的约束，既保留了域间公共特征，又没有完全忽略两域各自的有益个性特征；半监督回归与图标签传播联合模型，采用多模型联合的方式联合半监督回归模型和基于样本-特征二部图的标签传播方法共同进行目标域标签识别，前者用于刻画域内有益关联，后者基于同类样本应具有相似特征分布的认知用于刻画基于特征的源域与目标域之间的标签传播，从而忽略域内样本关联对于标签传播过程可能存在的不利影响，同时摒弃了常规二部图基于样本间关联的构造方式，加入特征层面，从特征分布的相似程度的角度进行两域之间的标签传播。

附图说明

图1为脑电迁移情感识别方法的框架图；

图2为脑电迁移情感识别方法的流程图；

图3为构造样本-特征二部图的表现形式。

具体实施方式

本发明通过双映射域适应模型和半监督回归与图标签传播模型进行联合迭代对未知情感状态标签的样本进行识别，对于双映射预适应模型，源域和目标域分别对应有各自的共享子空间映射矩阵P

如图1及图2所示，联合半监督回归与图标签传播的脑电迁移情感识别方法，具体包括以下步骤：

步骤1、脑电数据采集。

人的情感在日常情况下并不会显得十分强烈，为了采集到强烈的情感信息，需要对被试者进行一定的诱导，本实施例选取4种具有明显情感倾向的影片片段，在不同的时间分别播放给不同的被试者观看，在观看影片的同时通过脑电帽导联连接到对应的脑区采集被试者的脑电数据作为原始的情感脑电数据集。

步骤2、数据预处理。

对步骤1采集得到的脑电数据进行采样，采样率为200hz，然后通过1hz～75hz的带通滤波器滤除噪声和伪影，分别在5个频段：Delta(1-4Hz)，Theta(4-8Hz)，Alpha(8-14Hz)，Beta(14-31Hz)和Gamma(31-50Hz)，计算其微分熵(DE)作为样本矩阵X：

其中，σ为概率密度函数的标准差；μ为概率密度函数的期望。

可以看出，本质上微分熵特征为功率谱密度特征的对数形式，即

步骤3、建立联合半监督回归与图标签传播的脑电迁移情感识别模型，将双映射域适应模型以及联合标签识别模型进行统一整合：前者得到共享子空间，缩减源域和目标域之间的分布差异，后者基于得到的对齐数据进行联合标签识别，得到优化的目标域标签用于前者以更好地对齐两域条件分布，从而得到联合优化的目标函数，具体步骤为：

步骤3.1、建立双映射域适应模型：

其中，

步骤3.2、建立半监督回归与图标签传播联合模型：

s.t.G≥0,G1＝1,F≥0,F1＝1,

其中，

步骤3.3、联合步骤3.1、3.2构建的两个模型，根据式(11)所示的优化模型进行联合优化：

步骤4、根据步骤3.3建立的优化模型，对源域数据和目标域数据在共享子空间对齐的投影矩阵P

步骤4.1、初始化目标域数据标签F

步骤4.2、固定目标域数据标签F

该目标式是一个无约束优化问题，采用拉格朗日函数进行计算，构造如下拉格朗日函数：

其中，矩阵

根据式(12)对向量b进行求导，并赋值为零，得到：

再将式(14)代入式(13)中进行消元处理：

根据式(15)对矩阵W进行求导，并赋值为零得到：

步骤4.3、固定样本-标签映射矩阵W和目标域数据标签F

定义矩阵

||P

定义：

将式(14)、式(18)以及式(19)代入式(17)中构造拉格朗日函数：

根据式(20)对矩阵P求导，并赋值为零得到：

(XHX

使用西尔维斯特方程求解式(21)。

步骤4.4、固定共享子空间映射矩阵P

s.t.G≥0,G1＝1.

拆分式(22)得到：

s.t.G≥0,G1＝1,

采用按行求解的方式求解式(23)：

其中

将式(24)重写为：

求解式(26)，即可得到更新后的样本-特征关联矩阵S′，相应地更新矩阵D和矩阵L，然后通过对式(22)中的λTr(Y

F

步骤4.5、固定样本-标签映射矩阵W、共享子空间映射矩阵P

s.t.F≥0,F1＝1.

拆解拓展矩阵

将式(28)中的

式(28)中的

式(28)中的λTr(Y

基于式(28)、式(30)、式(31)、式(32)构造拉格朗日函数：

根据式(33)对矩阵F

其中：

基于KKT条件F

其中

步骤4.6、多次重复步骤4.2、4.3、4.4、4.5，完成样本-标签映射矩阵W、共享子空间映射矩阵P

步骤5、将步骤2得到样本矩阵X输入到经过步骤4迭代优化后的目标函数中，获得对应的预测值标签，该预测值标签即为样本对应的被试者在采集时刻的情感状态。本方法的预测结果与现有技术相比如表1所示：

表1

表中将本方法与四种常规方法以及背景技术中提到的现有技术，就模型识别精度进行了测试对比，subject表示被试者，“1-->2”表示源域为被试1，目标域为被试2，其余以此类推，表中数值表示模型识别精度，每组实验精度保留四位小数，方法平均精度保留六位小数，可以看到，本方法的识别精度明显优于其余五种方法。