基于情感上下文的视觉语音多模态协同分析方法

摘要

本发明公开了一种基于情感上下文的视觉语音多模态协同情感分析方法，所述方法包括：S1、动态提取与分析视觉语音场景中基于情景和分析对象的情感上下文信息；S2、实时提取视觉场景中分析对象的视觉情感特征和语音场景中分析对象的语音情感特征；S3、对情感上下文信息、姿态特征、表情特征和语音情感特征分别进行结构化稀疏表示；S4、采用情感分类代理对多模态的情感信息进行协同分析和识别。本发明利用情感上下文信息、姿态特征、语音情感特征以及表情特征中包含大量情感信息且这些信息互为补充的特性，结合结构化稀疏表示和多情感代理协同分析，解决在部分通道信息丢失的情况下准确分析待分析者情感的问题，可提高自然交互环境下情感分析的准确性和鲁棒性。