基于EEG和fNIRS的多模态脑-机接口的特征提取与分类方法研究

摘要

脑-机接口（Brain-Computer Interfaces，BCI）是一种直接从中枢神经系统提取信息，采用人的思维直接操作外围设备的新技术，是未来人机交互的最高形态。脑-机接口不仅广泛应用于医学康复领域，在军事、休闲娱乐、心理卫生和人工智能等多个领域都具有较高的研究意义和价值。本文首先介绍了脑-机接口的相关研究背景，针对传统基于单一模态脑电（electroencephalography，EEG）脑-机接口易受环境噪声干扰、分类精度低等问题，在 EEG脑-机接口的研究基础上，引入功能近红外成像（function Near Infrared Spectroscopy，fNIRS）技术，设计并简化了基于握拳动作的 EEG-fNIRS多模态脑-机接口的实验范式，研究最重要的特征提取与分类环节。
　　首先，利用实验室EEG、fNIRS采集与分析系统对三名受试者进行EEG-fNIRS的同步采集实验，并对原始信号进行滤波去噪、基线校正等预处理。根据握拳动作诱发的EEG信号的事件相关去同步、事件相关同步现象及其时频特性，提取了EEG信号的频带能量、AR模型系数和小波系数特征；同时根据握拳动作引起的血液动力学响应的特点，提取含氧血红蛋白浓度不同时段的均值及斜率特征。对特征向量进行归一化处理之后，采用线性判别分析（Linear Differential Analysis，LDA）及支持向量机（Support Vector Machines，SVM）对不同类型特征分类并进行8次5折交叉验证。结果表明，EEG的小波系数特征分类效果要好于频带能量与AR模型参数结合的特征；fNIRS的斜率特征分类效果要好于均值特征，其中斜率特征分类正确率最高的时间段在执行动作任务之后的3~5s。
　　其次，根据单模态特征分类结果，提出了基于EEG小波系数和fNIRS斜率结合的融合特征，并对结合特征使用主成分分析（Principal Component Analysis，PCA）。然后采用LDA、SVM分类，并进行8次5折交叉验证，对比多模态信号与单模态信号的分类正确率。结果表明，经过特征融合的握拳动作任务平均识别率比单独的 EEG特征和fNIRS特征提高3~9％。表明fNIRS能够显著增强基于EEG的脑-机接口性能，利用多模态脑信号能够提高传统脑-机接口系统的性能，以及对实验范式的简化，对提高EEG-fNIRS多模态BCI的应用有一定的意义。

目录

声明

第1章 绪论

1.1脑-机接口技术的基本概念

1.2 脑-机接口的研究意义

1.3 多模态脑-机接口系统

1.4 本文主要工作和章节安排

第2章 EEG和fNIRS生理学基础

2.1 人脑结构与大脑皮层功能分区

2.2 EEG的生理学基础

2.3 fNIRS生理学基础

第3章 EEG和fNIRS同步采集实验设计

3.1 EEG采集与分析系统

3.2 fNIRS采集与分析系统

3.3 EEG和fNIRS同步采集实验设计

第4章 EEG和fNIRS信号预处理及特征提取方法

4.1 EEG信号预处理

4.2 EEG信号特征提取

4.3 fNIRS信号预处理

4.4 fNIRS信号特征提取

4.5特征向量的归一化处理

第5章 EEG和fNIRS特征分类及结果分析

5.1 分类算法

5.2 基于单模态信号特征的分类

5.3 基于EEG小波系数和fNIRS斜率融合特征的分类

第6章 总结与展望

6.1 总结

6.2 展望

致谢

参考文献

附录