基于注意力机制的EEG-fNIRS多模态时空融合分类方法

摘要

本发明提出了一种基于注意力机制的EEG‑fNIRS的多模态的时空融合分类算法。EEG具有高时间分辨率但是空间分辨率较低，而fNIRS具有高空间分辨率但是时间分辨率较低，本发明利用EEG、fNIRS的多模态融合信息提取在运动想象中的大脑指令，以充分利用EEG、fNIRS之间的信息优势互补。本发明针对运动想象的时空特征的提取，本发明采用CNN提取空间特征，然后再利用LSTM提取时间特征，同时在CNN中使用ECA注意力机制以将有限的资源专注于重要的特征。本发明能够在运动想象的分类任务中，充分利用多模态的时空特性，可以有效的提高大脑中指令的识别。