基于EEG-NIRS双模态动作意图的分类识别

摘要

理解动作意图指的是在观察他人动作时，人自发地领会动作所包含的意图的一类行为，此类行为对语言、心智以及社会化的发展均具备重要的意义。如今针对领会动作意图的大部分研究采用单模态的脑成像技术，在测量的效果与时空分辨率上均存在一定的不足。而本研究采用脑电图（electroencephalography, EEG）和近红外光谱(near-infraredspectroscopy, NIRS)结合的双模态脑成像技术，能够同步测量大脑活动的电位信号与血氧变化信号，达到领会动作意图神经机制的多信息、多层面的研究。本研究选取了两类手与杯子进行接触的图片分别表示手拿杯子喝水和移动杯子的动作意图，取得了以下研究成果:
　　(1)本文主要研究了EEG信号的频域特征、时频特征以及共同空间模式(commonspatial pattern，CSP)的分类识别率，并做了比较与分析，研究发现提取的CSP特征能够获得较好的分类正确率;从方差、幅值平均绝对值以及峰值三个方面，对动作意图血氧信号做了分析，发现两种动作意图的血氧变化不一致;幅值平均绝对值特征能较好地区分两种动作意图。通过对EEG和NIRS的特征研究发现在左侧脑区移动杯子意图的激活强于拿杯子喝水意图，而在右侧脑区喝水意图的激活更强，说明了动作意图的理解存在偏侧化。
　　(2)为了充分地利用双模态信号，本文构建的BCI系统输出决策之前做了数据融合处理。本文的两类信号来自于两种不同类型的传感器，因此本文以研究基于线性判别分析(linear discriminant analysis，LDA)的特征层融合为主。首先利用LDA分别对提取到的EEG信号以及NIRS信号的特征做模式分类，获得单模态的分类准确率;然后利用基于LDA的特征层融合，把两种类型的单模态特征信息联合起来再做模式分类，获得融合之后的识别正确率。基于LDA的双模态特征层融合BCI系统分类正确率均值达74.4％，均比任意单模态分类正确率高。且因为采用数据融合技术，致使对某类脑信号采集技术反应不明显的被试者，可以在另一种技术上获得补充，于是双模态获得的平均分类正确率比EEG单模态提高4.2％，比NIRS单模态提高19.8％。并且基于LDA的特征层融合将融合和决策同时进行节约了系统信号处理的时间，提高了响应速度。
　　(3)本文还提出基于误差反向传播算法（error back propagation algorithm，BP）的决策层融合方法:首先利用BP分别对EEG信号以及NIRS信号提取的特征做模式分类，然后把两类信号的输出结果串联作为BP的输入变量，即可实现决策层融合。BP决策层融合的识别正确率比单模态的亦有提高，但不及LDA的特征层融合的。可能因为特征层融合可以容纳较多的信息，提高了系统的可信度，而决策层融合包含的信息或许不及特征层融合丰富。LDA有严谨的数学理论，其参数能够在训练中获取;而BP则更依赖于数据集的先验知识，以采用适合的参数。BP是依据经验风险最小化原则，易于收敛得局部最优解。采用双模态数据融合构建BCI系统，使得系统的时间覆盖能力和空间覆盖能力得以提高，信息模糊度得以降低，以致双模态BCI系统具备了良好的鲁棒性，大大减少BCI盲。

目录

声明

摘要

第一章 绪论

1．1 脑机接口研究背景

1．2 脑机接口的研究现状

1．2．1 单模态脑机接口研究现状

1．2．2 单模态脑机接口存在的问题

1．2．3 双模态脑机接口的研究现状

1．3 动作意图理解诱发的脑电生理学基础

1．3．1 脑电信号的产生机理

1．3．2 动作意图导致的事件相关同步／去同步现象

1．4 动作意图领会诱发的血氧信息的生理学基础

1．4．1 神经血流动力学响应

1．4．2 动作意图理解诱发的血氧变化

1．5 本文的主要研究内容

1．6 论文的章节安排

第二章 基于动作意图理解的双模态脑机接口系统实验设计

2．1 实验环境

2．2 被试

2．3 实验范式

2．4 双模态脑机接口信号的采集

2．4．1 脑电信号的采集

2．4．2 近红外光谱血氧信号的采集

2．5 本章小结

第三章 双模态脑机接口系统的特征提取

3．1 信号的预处理

3．1．1 脑电信号的预处理

3．1．2 血氧信号的预处理

3．2 脑电信号的特征提取

3．2．1 频域分析法

3．2．2 时频分析

3．2．3 共同空间模式

3．2．4 特征提取方法比较

3．3 血氧信号的特征提取

3．3．1 血氧变化的方差特征

3．3．2 血氧变化的幅度平均绝对值特征

3．3．3 血氧变化的峰值特征

3．3．4 血氧信号特征提取方法对比

3．4 本章小结

第四章 双模态脑机接口系统的动作意图识别分类

4．1 数据融合方法理论

4．2 基于线性判别分析的特征层数据融合和分类

4．2．1 线性判别分析的基本原理

4．2．2 LDA分类器设计

4．2．3 基于线性判别分析的融合及分类

4．2．4 样本划分

4．2．5 实验的结果与分析

4．3 基于神经网络的决策层数据融合和分类

4．3．1 神经网络的基本原理

4．3．2 基于神经网络的融合和分类

4．3．3 决策层融合参数选择

4．3．4 实验的结果与分析

4．4 LDA特征层融合和BP决策层融合的比较分析

4．5 本章小结

第五章 总结与展望

5．1 总结

5．2 展望

致谢

参考文献