基于脑电时空频特征和眼动特征的多模态情绪分类方法

摘要

一种基于脑电时空频特征和眼动特征的多模态情绪分类方法，由获取脑电信号和眼动特征数据集、脑电信号数据集预处理、选取数据样本、增强脑电数据、脑电数据标准化、划分训练集和测试集以及验证集、构建三维卷积神经网络和深度神经网络、训练三维卷积神经网络和深度神经网络、多模态决策融合、测试网络性能步骤组成。本发明采用多模态方法从决策级融合层次将脑电信号和眼动信息两种模态进行融合，进行情绪分类；针对脑电信号数据集训练了三维卷积神经网络，针对眼动特征数据训练了深度卷积神经网络，将脑电信号在时间域、空间域和频率域特征三种特征进行融合，对脑电信号和眼动信息模态进行情绪分类，提高了情绪分类的准确率。