一种基于多模态数据融合的特殊人员情感识别方法及系统

摘要

本发明涉及一种基于多模态数据融合的特殊人员情感识别方法及系统，包括步骤如下：(1)对获取的特殊人员的生理参数、姿态参数、音频、视频进行预处理，并提取对应的空时特征矢量；(2)融合生理参数、姿态参数、音频、视频的空时特征矢量，提取联合特征矢量；(3)将联合特征矢量输入训练好的情感识别模型进行情感识别。本发明实现多模态数据的采集、处理及融合，提高特殊人员情感识别准确率。本发明有助于监管人员及时把握特殊人员的情感状况，采取针对性的监管矫治策略，减少极端事件的发生，维护特殊场所的安全和稳定。