基于多模态脑电信号的脑机接口关键技术研究

摘要

脑机接口(BrainComputerInterface，BCI)旨在建立脑思维活动的意向与行为之间的关联，实现直接的人机信息交互和控制，在脑认知和生物反馈训练等有着广阔的发展应用前景。EEG(Electroencephalogram)具有非线性、非平稳性且易受外界干扰等特点，是综合反映大脑组织电活动及大脑的功能状态的载体，具有较高的时间分辨率和响应实时性。
　　 脑思维具有高度复杂性，目前典型单模态BCI是基于单一类别EEG信号，只能在简单思维活动层面识别不同类别任务，识别效率低、系统通用性差。旨在通过多种途径分析思维任务的多模态BCI系统，基于多种形式EEG信号之间的互补性，通过融合和综合利用多类型EEG信号，提供多类型多任务意识识别，并提高系统通用性和识别正确率，已经成为BCI发展的趋势。如何快速有效地从多模态EEG信号中识别表征意识任务的特征量，区分不同的意识任务，产生反映大脑意识的控制命令，是基于多模态EEG信号的多模态BCI系统的核心问题，预处理、特征提取和分类识别算法是其中的关键技术。
　　 以实现左、右手和左、右脚的四分类意识指令识别的多模态BCI系统为目标;以稳态视觉诱发(SteadyStateVisualEvokedPotential，SSVEP)和运动想象(MotorImagery，MI)的多模态EEG信号处理关键算法作为核心，以提高多模态BCI系统识别正确率和速度为切入点，构建基于多模态EEG信号的BCI系统框架，设计多模态BCI系统的实验范式，采集多模态EEG信号，设计预处理、特征提取和分类识别等关键算法，实现四分类的BCI控制。实验结果表明，系统具有高识别准确率和速度。主要研究结果包括:
　　 1)对比研究了典型基于EEG信号的BCI系统，针对单模态的EEG信号易受主观影响，特征信息单一，传输速度受制约等问题，提出融合运动想象MI和视觉稳态诱发SSVEP构建多模态EEG信号，为实现BCI系统的左、右手和左、右脚的最佳分类控制提供了研究基础;
　　 2)围绕多模态EEG信号的BCI系统的核心算法，以实现左、右手和左、右脚的四分类BCI系统为目标，设计了特定的实验范式，采集大样本被试的多模态EEG信号;确定了C3、C4、FC3、FC4和Cz等12个采集通道，选取了相干平均预处理算法，通过比较AR模型、WT、WPT和HHT等特征提取算法，以及Fisher和SVM分类识别算法的大样本被试基础上的实验结果，设计了AR+HHT的特征提取和SVM分类识别的组合算法;
　　 3)针对实现多模态BCI系统中的问题，基于上述核心算法，构建了识别大脑的左、右手和左、右脚的不同躯体部位的运动想象的BCI系统框架，并编程实现了上述系统框架，设计并进行了大样本对比实验，验证算法和系统框架的有效性，实验结果表明，基于多模态EEG信号的BCI系统达到了高识别准确率和速度。

目录

声明

摘要

1 绪论

1．1 研究背景

1．2 研究现状

1．3 本文主要工作

2 基于EEG信号的BCI

2．1 基于单模态EEG信号的BCI

2．1．1 Mu／Bata-BCI

2．1．2 SCP-BCI

2．1．3 SSVEP-BCI

2．1．4 ERD／ERS-BCI

2．1．5 P300-BCI

2．2 基于多模态EEG信号的BCI

2．3 小结

3 多模态EEG信号处理关键技术研究

3．1 实验范式设计

3．2 多模态EEG信号采集

3．2．1 电极导联

3．2．2 采集系统

3．3 多模态EEG信号预处理

3．3．1 眼电伪迹

3．3．2 基线漂移伪迹

3．4 多模态EEG信号特征提取

3．4．1 自回归模型

3．4．2 小波变换

3．4．3 小波包变换

3．4．4 希尔伯特-黄变换

3．4．5 实验结果分析

3．5 多模态EEG信号分类识别

3．5．1 Fisher线性判别

3．5．2 支持向量机

3．5．3 实验结果分析

3．6 小结

4 基于SSVEP和MI的多模态EEG信号BCI

4．1 多模态BCI系统构建

4．2 多模态EEG信号识别

4．2．1 预处理

4．2．2 特征提取

4．2．3 分类识别

4．3 实验分析

4．4 小结

5 总结与展望

5．1 总结

5．2 展望

参考文献

致谢

个人简历、在校期间发表的学术论文及参与的项目