一种跨诱发模式情绪脑电识别建模方法

摘要

本发明公开了一种跨诱发模式情绪脑电识别建模方法，所述方法包括以下步骤：设计不同刺激模式的诱发实验；脑电数据采集及预处理；从预处理后的脑电数据中提取情绪脑电特征；将视频和图片诱发样本中的一部分作为训练集，将另一部分作为测试集，且训练集和测试集中的样本来自于不同的素材源，通过基于递归特征筛选的支持向量机分类器对训练集所对应的情绪脑电特征进行分类识别。本方法对不同诱发模式的情绪脑电样本均做了测试，更符合实际应用场景；这种客观、稳健的情绪识别方法可以为在轨航天员的情绪检测提供技术支持，或在人机交互领域计算机具备感知、识别和理解人类情绪的能力，从而对用户的情绪做出灵敏、友好的反应，营造真正智能、人性化的人机环境。

说明书

技术领域

本发明涉及人机情感交互领域、在轨航天领域用于宇航员的情绪监测领域，特别涉及一 种跨诱发模式情绪脑电识别建模方法。

背景技术

情绪是人脑的高级功能，保证着有机体的生存和适应，对个体的学习、记忆、决策有着 重要的影响。情绪也是个体差异的来源，是许多个性特征和心理病理的关键成分。随着社会 的发展，各年龄、各领域人们的情绪困扰越来越多、越来越严重，对情绪的正确识别和调节 对改善人类生活品质，保障身心健康具有重大意义。

目前国内外研究者通过表情、语音、姿势信号来识别人的情绪，运用多种模式的识别方 法已经得到了一些效果，但由于信号的易控性及可伪装性，识别结果无法排除被试主观因素 的影响，有时无法观测到潜在的、真实的情感状态。情绪是大脑皮层和皮层下神经过程协同 活动的结果，且瞬变性强。脑电是自发的不受人为控制的放电活动，具有时间分辨率高、功 能特异性强、简便易行的优势，而且在情绪识别方面正确率相对较高，因此基于脑电的情绪 识别研究近年来备受研究关注并成为研究热点。

尽管情绪脑电识别已取得丰硕的成果，但该项研究还远未成熟。目前的研究基本上都是 分析单一的、特定诱发模式（视觉、听觉、视听）下情绪脑电响应并提取特征，例如只对情 绪图片诱发脑电进行识别，训练集和测试集均来自同一刺激模式下的样本。然而这种做法存 在一个很大的局限：单一情绪诱发模式下建立的分类模型很可能考虑了一部分仅与刺激属性 响应有关而与情绪无关的特征（既脑电特征可能仅与诱发模式有关，并未包含情绪特异性信 息），该分类模型无法保证对其他刺激模式诱发的情绪脑电样本具备良好的识别能力。而现实 生活中人们的情绪可由多种不同的刺激源诱发（例视频、图片、音乐），对实践应用的在线识 别系统来说，最迫切需要的是一个可以对不同自然条件下得到的多类情绪数据集自动选择最 重要特征并准确分类的模型。

发明内容

本发明提供了一种跨诱发模式情绪脑电识别建模方法，本发明通过对多种刺激模式下的 情绪脑电进行分析和特征提取，在建模过程中对不同刺激模式下的特征进行融合，增强分类 器的学习能力，来建立一种新的、稳定、可靠的情绪诱发脑电分类模型，详见下文描述：

一种跨诱发模式情绪脑电识别建模方法，所述方法包括以下步骤：

（1）设计不同刺激模式的诱发实验；

（2）脑电数据采集及预处理；

（3）从预处理后的脑电数据中提取情绪脑电特征；

（4）将视频和图片诱发样本中的一部分作为训练集，将另一部分作为测试集，且训练集 和测试集中的样本来自于不同的素材源，通过基于递归特征筛选的支持向量机分类器对训练 集所对应的情绪脑电特征进行分类识别。

所述脑电数据采集及预处理的操作具体为：

对于视频诱发实验，使用KMPlayer播放视频，被试者佩戴Philips耳机观看，对于图片 诱发实验，使用Eprime2.0编写刺激程序并呈现刺激，使用键盘录入被试者评分反应；

脑电采集仪器使用的是为Neuroscan公司的Neuroscan4.5系统，电极遵照国际脑电协会 规定的标准10-20标准放置，左右耳两导为参考电极，前额顶侧中央处电极接地，共采集36 导脑电，采样频率为1000Hz，电极阻抗保持在5K欧姆以下；采集到36导EEG数据后进行 带通滤波、去除眼电、保留30导脑电并截取有效数据段处理。

所述从预处理后的脑电数据中提取情绪脑电特征的操作具体为：

对每个长度为1000个数据点的样本，分别计算30导脑电每一导6个频段的功率谱密度， 将每个频段内的各个频率点对应的幅值相加，得到每一导联该频段的功率谱能量值，该特征 维数为30*6=180维；

计算12对位置对称导联的各频段的不对称指数，不对称指数是将左侧导联的功率谱能量 值除以左右对称导联的功率谱能量和。

所述6个频段具体为：θ(4～8Hz)、α(8～12Hz)、β1(13～18Hz)、β2(18～30Hz)、γ1(30～36 Hz)、γ2(36～44Hz)。

所述12对位置对称导联具体为：

FP1-FP2，F7-F8，F3-F4，FT7-FT8，FC3-FC4，T7-T8，C3-C4，TP7-TP8，CP3-CP4，P3-P4， P7-P8，O1-O2。

本发明提供的技术方案的有益效果是：本方法考虑了不同的情绪诱发模式对情绪分类模 型识别性能（应用扩展性）的影响，在建模过程中融合了多种诱发模式下的情绪脑电样本的 特征，而且在对分类器的测试过程中，对不同诱发模式下全新的素材源对应的情绪脑电样本 均做了测试，更符合实际应用场景。本发明建立了一种独立于情绪诱发模式、识别性能更加 稳健、可靠的分类模型。这种客观、稳健的情绪识别方法可以为在轨航天员的情绪检测提供 技术支持，或在人机交互领域帮助设计更加人性化、友好的交互界面。

附图说明

图1为视频诱发任务的时间分布图；

图2为图片诱发任务的呈现形式；

图3电极导联的分布示意图；

图4为一种跨诱发模式情绪脑电识别建模方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进 一步地详细描述。

针对目前存在的问题，本方法提出跨模式识别的方法，首先针对不同刺激模式（例如视 频、图片刺激等）下的情绪诱发脑电进行特征提取和分析，在建模训练过程中，将刺激模式 Ⅰ、Ⅱ下脑电样本的特征都拿来进行训练，在测试过程中用刺激模式Ⅰ、Ⅱ下全新的诱发素 材对应的情绪脑电样本来测试，以检验建立的分类模型是否对全新的刺激内容下的情绪诱发 脑电样本具备识别能力，从而寻找一种独立于诱发模式，符合实际应用的、稳定可靠且有效 的情绪识别方法。

101：设计不同刺激模式的诱发实验；

1、视频诱发试验：

对于视频诱发实验，本发明选取约15个电影片段，高兴、平静、紧张、悲伤、厌恶主 题的片段各有2～3个，每个片段平均长度约为3分钟，这些材料包括下文所述的图片诱发材 料均在实验前由30多名志愿者进行过情绪评定，确保能够有效诱发出各类情绪。在预实验中 发现，按照“平静——悲伤——紧张——高兴——厌恶”的顺序进行诱发，情绪诱发效果最 好，因此本实验按该顺序进行诱发。每段视频的实验流程如图1所示：包括开始提示，视频 播放，自我评定和休息4部分。开始提示时间为2秒，提醒被试者集中注意力，视频即将播 放。接着开始播放诱发视频，播放时间为视频片段时长。每个诱发视频播放结束后，会给被 试者呈现一段风景片段（自然风光），帮助被试者平复情绪。之后让被试者根据真实的情绪 感受和情绪自我评定量表对刚看过的视频进行主观评估，反馈观看视频后的主要情绪感受、 强度、纯度、愉悦度、唤醒度和所诱发情绪片段的起止时刻。在完成前三步后被试者有1～3 分钟的休息时间，当他们恢复到平静状态之后下个影片的开始提示才会出现，整个实验过程 大约需要75分钟。

由于个人经历和体验的角度不同，所以对同一实验材料，不同被试的感受与预期会有一 定的差异。为使实验结果更具科学性和可靠性，实验中采用情绪主观评定量表做辅助，根据 被试者的行为表现和主观感受判断被试是否诱发出了相应情绪。

2、图片诱发试验；

为减小图片诱发与视频诱发感受的差距，同时为了避免频繁的各类情绪图片切换，刺激 图片以小节为单位，小节中为同类的情绪图片，每小节含2～5张图片（如图2所示），为了 避免大脑掌握一些跟实验初衷无关的规律，尽量减少与实验目的无关的影响，不同类的小节 以随机顺序呈现。

每次实验开始前先采集1分钟的静息数据，静息期间受试者处于安静、不思考状态，这 样可使被试者进入平静的状态，以利于后续的实验。实验分为3个test（分为3组），每个 test包含12小节共49张图片（即49次任务），每张图片为1次任务，包括4部分内容：1） 提醒被试者集中注意力；2）接着在屏幕中央呈现情绪图片，持续5s，图片呈现期要求被试者 集中精力观察和感受图片内容；3）进入情绪自我评估期，让被试者根据真实的情绪体验对图 片分别进行愉悦度和唤醒度两个维度的7点评分，分数越接近7，代表愉悦程度或唤醒度越 高。分数越接近1，代表愉悦程度或唤醒度越低。评分通过按键盘数字键录入，虽然不限制 评分时间，但原则上要求被试者根据真实感受尽快评分；4）提示被试者休息，休息时间为4 秒。每个test结束后让被试休息6分钟，然后进入下一组实验。

102：脑电数据采集及预处理；

十二名健康被试者(6名男性，6名女性，年龄19～24周岁)参加了本实验，所有被试者 听力正常，视力或矫正视力正常，无精神病史或精神病家族史。有研究者发现，在晚上人们 的情绪活动比较丰富，更容易被感染或诱发情绪。因此实验时间均在晚上7点开始，实验当 天被试者精神状态良好，无任何情绪波动。

本实验的刺激平台主要分两种：对于视频诱发实验，使用KMPlayer播放视频，被试者 佩戴Philips耳机观看。对于图片诱发实验，使用Eprime2.0编写刺激程序并呈现刺激，使用 键盘录入被试者评分反应。计算机的显示器亮度、对比度和色彩均在实验前设置为统一标准。 实验中被试者舒适地坐在距离PC机显示屏正前方1m处的扶手椅上，状态轻松自然。

其中，脑电采集仪器使用的是为Neuroscan公司的Neuroscan4.5系统，电极遵照国际脑 电协会规定的标准10-20标准放置，左右耳两导为参考电极，前额顶侧中央处电极接地，共 采集36导脑电，采样频率为1000Hz，电极阻抗保持在5K欧姆以下。采集到36导EEG数 据后，要进行数据预处理。数据预处理流程主要包括带通滤波、去除眼电、保留30导脑电并 截取有效数据段3个步骤。

本发明进行了1Hz～45Hz的带通滤波以去除直流干扰以及高频信号。此外，由于本发明 设计的实验是通过视觉诱发，因此采集到的脑电信号不可避免地会含有眼电（包括眼球的上 下、左右移动，眨眼）及肌电信号带来的影响。对于脑电信号中掺杂的眼电信号及肌电信号 产生的影响，本发明通过独立分量分析滤波的方法予以滤除，接下来保留除去眼电和参考电 极外的30导联数据，参见图3，根据被试者的主观评定结果截取有效的数据段，具体为：1） 对于视频诱发脑电，根据情绪自我评定量表中被试者提供的情绪诱发的起止时刻，保留脑电 中对应时间段（即情绪诱发的起止时刻）的信号，并作为有效的数据段，供后续分析，一秒 数据为一个情绪样本。2）对于图片诱发脑电，根据被试者反映，在图片呈现的5秒内，通常 在第2秒他们的情绪感受最为强烈，充沛和稳定，因此本研究对每一名被试者，采用被有效 诱发的图片呈现的第2秒数据作为有效数据段。

103：从预处理后的脑电数据中提取情绪脑电特征；

本发明在特征提取环节，主要提取了频域特征，频域特征是通过基于AR模型^[1]的功率 谱估计来计算，模型参数计算方法采用的是伯格(Burg)算法^[2]，模型阶数选为8阶。对每个 长度为1000个数据点的样本，分别计算30导脑电（参见图3）每一导6个频段的功率谱密 度，6个频段定义如下：θ(4～8Hz)、α(8～12Hz)、β1(13～18Hz)、β2(18～30Hz)、γ1(30～36 Hz)、γ2(36～44Hz)。然后将每个频段内的各个频率点对应的幅值相加，得到每一导联该频段 的功率谱能量值E，该特征维数为30*6=180维。

其次，计算了12对位置对称导联的各频段的不对称指数，这12对导联组合为FP1-FP2， F7-F8，F3-F4，FT7-FT8，FC3-FC4，T7-T8，C3-C4，TP7-TP8，CP3-CP4，P3-P4，P7-P8， O1-O2（相应的英文字符均表示导联名称），不对称指数是将左侧导联的功率谱能量值除以 左右对称导联的功率谱能量和，其定义如下：

例如：F7-F8导联处的不对称指数即为：E_F7/(E_F7+E_F8)，F7相当于E_左，F8相当于 E_右，该值大小在0～1之间，不对称指数的特征维数为12*6=72维。

即通过本步骤的操作，得到252维情绪脑电特征。

104：将视频和图片诱发样本中的一部分作为训练集，将另一部分作为测试集，且训练集 和测试集中的样本来自于不同的素材源（例如：利用A、B视频诱发的样本作为训练集，C 视频诱发的样本作为测试集），通过基于递归特征筛选的支持向量机分类器对训练集所对应 的情绪脑电特征进行分类识别。

本发明的创新点在于训练集和测试集的划分上，在分类模型训练过程中，训练集样本中 不仅包括视频诱发脑电样本，也包括图片诱发脑电样本，这种方法与传统的情绪脑电识别模 型（仅根据特定的、单一诱发模式的情绪脑电样本来训练）思路不同，本发明在分类器训练 过程中融合了不同诱发模式的情绪脑电样本，可以使分类器学习得更充分，在测试过程中， 本发明选用那些从未在训练集中出现的、能诱发出同类情绪的全新的视频诱发脑电样本和图 片诱发脑电样本作为测试集，确保分类器的测试是客观的，和现实应用的场景相一致。

由于样本集具有样本量偏小、特征维数高的特点，特征提取后，使用基于递归特征筛选 的支持向量机（Recursive feature elimination Support Vector Machine,RFE-SVM）分类器^[3]对特 征进行识别（核函数选用线性核函数）。

综上所述，本方法通过提取不同诱发模式下的情绪脑电样本的频域能量和不对称特征， 在建模过程中，通过对不同诱发模式下的情绪脑电样本的训练学习，使得分类器获得充分的 综合学习能力，在测试过程中，通过对不同刺激模式下的全新的情绪脑电样本的测试，来衡 量分类器的性能，该建模方法更加客观、严谨、可靠。该项发明可有效地提高今后应用实践 中情绪状态识别的准确率和可靠性，并获得可观的社会效益和经济效益。最佳实施方案拟采 用专利转让、技术合作或产品开发。

参考文献

[1]邢务强,钮金鑫.基于AR模型的功率谱估计.现代电子技术,2011,34(7):49-51.

[2]闫庆华,程兆刚,段云龙.AR模型功率谱估计及Matlab实现.计算机与数字工程,2010, 38(004):154-156.

[3]刘冲，赵海滨，李春胜等，基于频带能量归一化和SVM-RFE的ECoG分类，仪器仪表学报， 2011，32(3)：534～539

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅 仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之 内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。