一种多模态情感识别分类方法

摘要

本发明提供一种多模态情感识别分类方法，所述方法包括对待检测的包含人脸的视频和对应同一时间内包含身体动作的视频进行处理，将其转变为由图像帧组成的图像时间序列，提取图像时间序列中的时间特征和空间特征，基于获得的多层深度时空特征，对特征进行多种特征级融合，并对分类结果进行决策级融合，从而从多模态上识别待检测视频中任务的情感类型，本发明提供的方法，充分利用了各模态中存在的有效信息，提升了情感识别的识别率。