语音情感和面部表情双模态识别系统

摘要

本发明公开了一种语音情感和面部表情双模态识别系统，包括情感数据的输入及其预处理模块、情感特征提取模块以及特征融合情感识别模块；情感数据的输入及其预处理模块，用于选择和建立所使用的情感数据库，根据不同数据库的数据特征以及不同模态数据的特性选择预处理方法；情感特征提取模块，用于表情特征提取和语音特征提取，表情特征包括LBP特征；本发明在保留整体信息完整性情况下，考虑了不同模态特征，不同特征种类间的差异性，增强了特征层融合的性能，在建立大数据和神经网络模型等基础上，通过数据采集和标注建立训练数据库，能快速分析和筛查精神病患者病情。