双模态情绪强度估计方法研究

摘要

情绪是指人对认知内容的特殊态度，是以个体的愿望和需要为中介的一种心理活动。生活中人们有着各种各样的情绪，每一种情绪同时对人们的生活有反作用。因此对情绪进行识别，并相应地对情绪强度进行估计，用以指导人们的生活有着重要的现实意义。本文作者利用计算机技术，针对急躁这一负面情绪进行研究，并且将其扩展到其他情绪，具体工作如下： 由于心理学家认为人的情绪通过面部表情和动作表情体现，其中的动作表情是指与情绪相关的除去谣部表情以外的动作，它包括头部和身体其他部分的运动。因此本文作者将面部表情与动作表情(头部运动)二者结合来估计情绪强度。 首先，对急躁情绪进行数学建模，构建了双模态特征模型，分别采用两种模态信息——人脸表情和头部运动信息来表征急躁情绪。其原因是根据实验观察，人在急躁时往往处于厌恶表情且伴有头部频繁地摆动。根据这一特点，设计用表情强度和头部摆动强度来度量情绪。表情强度采用局部特征方法计算；头部摆动强度采用头部摆动的幅度和频率进行估计，其中幅度采用情绪特征数据的方差进行计算，而频率采用情绪特征数据经DCT变换的期望值来计算。该方法能够扩展到其他情绪，为情绪强度估计提供了一种通用的特征提取方法。实验结果表明该方法能较准确的提取情绪特征。 其次，针对急躁情绪强度估计这一问题，为了更好地结合面部表情与头部运动信息，本文作者采用双层隐马尔科夫模型(DMHMM)对情绪强度进行估计。第一层MHMM对面部表情进行识别，进而得到面部表情强度信息；第二层结合面部表情特征与头部运动特征进行情绪强度的估计，得到情绪强度的三个等级。实验结果表明：该算法实现简单，并且能快速的对情绪强度进行估计，识别的正确率超过了只采用面部表情信息的方法。

目录

文摘

英文文摘

声明

第一章绪论

1.1课题来源

1.2研究意义

1.2.1虚拟人领域的应用

1.2.2远程教学领域的应用

1.2.3医学领域的应用

1.2.4安全检测领域的应用

1.3研究范围及其难点

1.3.1面部表情识别

1.3.2面部表情强度估计

1.3.3情绪分析

1.4本文研究内容及解决方法

1.4.1本文研究内容

1.4.2问题的解决方法

1.5本文组织结构

第二章国内外相关研究工作以及理论基础

2.1引言

2.2面部表情识别的研究现状

2.3面部表情强度研究现状

2.4情绪分析研究现状

2.4.1情绪识别研究现状

2.4.2情绪强度估计现状

2.5 MHMM理论知识介绍

2.5.1 HMM模型的参数

2.5.2 HMM模型的三个基本问题

2.5.3 HMM模型类型的选择

2.5.4 GMM模型

2.5.5 MHMM模型

第三章基于双模态信息提取的情绪强度估计方法

3.1引言

3.2情绪强度估计方法的总体思路

3.3双模态情绪信息提取方法

3.3.1表情强度估计中主FAU的选取

3.3.2动作表情的建模

3.3.3观测值的构成

3.3.4本文采用的跟踪算法简介

3.4基于DMHMM模型的情绪强度估计方法

3.4.1 DMHMM模型

3.4.2 DMHMM参数训练

3.4.3 MHMM测试方法

3.5本章小结

第四章实验结果及分析

4.1实验数据的采集

4.2双模态情绪信息提取结果

4.3基于DMHMM模型的情绪强度估计方法的实验结果

4.3.1数据的标记

4.3.2实验结果

4.4本章小结

第五章总结与展望

5.1本文工作总结

5.2工作展望

参考文献

致谢

攻读硕士学位期间主要的研究成果