一种基于多模态情感识别的虚拟学习环境自然交互方法

摘要

本发明请求保护一种基于多模态情感识别的虚拟学习环境自然交互方法，包括：获取表征学生学习状态的表情、姿态和语音信息，构建基于彩色图像、深度信息、语音信号和骨骼信息的多模态情感特征；对彩色和深度图像进行人脸检测、预处理和特征提取，用支持向量机SVM和AdaBoost方法混合进行人脸表情分类；其次对语音情感信息进行预处理和情感特征的提取，利用隐马尔可夫模型对语音情感进行识别；对骨骼信息进行规则化处理得到人体姿势表示向量，用多类支持向量机SVM进行姿势情感分类；对三类情感的识别结果构建求积规则融合算法在决策层进行融合，根据融合结果生成虚拟智能体的表情、语音和姿势等情感表现。