基于表情和语音双模态的儿童情感识别研究

摘要

近年来，基于生物信号（如人脸表情图像、语音信号、脑电信号等）的情感识别研究受到了国内外研究人员的广泛关注，已经成为情感计算、模式识别以及计算机视觉等领域的一个研究热点。表情、语音等生物信号是人类表达情感的重要媒介，研究人员通过设计一些特征以及算法对这些生物信号进行分析，可以使计算机具备识别人类情感状态的能力。尽管单模态情感识别研究已经取得了很大的进步，然而可以注意到，目前情感识别的研究很大一部分是针对如表情、语音或脑电等单一生物信号（模态）进行的。相比单模态，两种或多种模态拥有更多的情感信息，因此，深度挖掘和融合多种模态的生物信号，是进一步丰富情感识别的研究、提出更为有效的情感识别方法的一种有效途径。本文主要研究了基于语音信号和视频信号的双模态情感识别这一问题，在双模态数据采集与整理、双模态特征提取以及分类等方面做了一些工作，具体研究内容如下:
　　(1)创建了一个儿童双模态情感数据库。现有的双模态情感数据库均以成人为采集对象，以儿童为对象的公共数据库很少。借助儿童发展与学习科学教育部重点实验室这个平台，设计了专业的针对儿童的情感诱发实验范式，共采集了26名儿童的语音和表情双模态情感数据，并通过投票方式，对数据进行情感标注。
　　(2)全面综述了基于表情或语音的单模态情感识别研究中的特征提取技术，并详细介绍表情识别、语音情感识别中常用的特征，同时在多个人脸表情库、语音数据库上做了简单的单模态情感识别实验。此外，结合上述表情和语音特征，给出了儿童双模态情感数据库的基准识别性能。
　　(3)提出了一种基于双稀疏线性判别分析(Bi-Sparse Linear Discriminant Analysis，BSLDA)的语音与表情特征融合算法。BSLDA算法首先利用语音和视频的情感标签信息构造出一个语义特征空间，然后将语音和视频特征同时投影到该语义特征空间中。在该语义特征空间中，投影后的语音和视频特征集具有尽可能相似的分布，从而能够有效地进行更进一步的融合，融合后的特征具有较强的情感判别能力。此外，在特征投影过程中，BSLDA还能够根据各模态的特征对于情感分类的贡献，分别选择出各模态的重要的特征。
　　(4)提出一种融合全局与局部信息的双模态情感识别方法。现有的双模态情感识别研究大多采用的是全局特征，较少考虑各模态信号的时序和局部信息。针对语音和视频的时序信号特点，本方法考虑了两种模态的局部信息，提出一种多尺度特征提取方法提取两种模态的局部特征与全局特征，一起用于双模态情感识别。为了进一步地对全局与局部特征进行处理以及实现双模态情感识别，提出了一个联合稀疏减秩回归模型(JointSparse Reduced Rank Regression，JSRRR)。JSRRR模型能够根据全局特征和局部特征对于情感识别的贡献大小，学习出衡量它们贡献度的权值。同时，JSRRR还能够对加权后的全局与局部特征进行二次学习，选择出其中具有区分不同情感状态能力的特征。

目录

声明

摘要

第一章 绪论

1．1 课题背景和研究意义

1．2 单模态情感识别

1．2．1 人脸表情识别

1．2．2 语音情感识别

1．3 基于语音和人脸表情的双模态情感识别

1．4 论文的研究内容

1．5 论文的章节安排

第二章 儿童双模态情感数据库的建立

2．1 儿童双模态情感数据库的建立流程

2．2 儿童双模态情感数据库的采集过程

2．2．1 实验前准备工作

2．2．2 “失望任务”原理及实验过程

2．2．3 “延迟满足任务”原理及实验过程

2．3 儿童双模态情感数据库的数据处理

2．3．1 视频数据的处理

2．3．2 情感类别标签的确定

2．4 本章小结

第三章 情感特征提取

3．1 引言

3．2 特征提取方法

3．2．1 LBP特征

3．2．2 SIFT特征

3．2．3 LBP-TOP特征

3．2．4 语音情感特征集

3．3 单模态情感识别实验

3．3．1 人脸表情库实验

3．3．2 语音情感数据库实验

3．3．3 双模态情感数据库视频(动态表情)单模态实验

3．3．4 儿童双模态情感数据库的基准实验

3．4 总结与讨论

第四章 基于双稀疏线性判别分析的语音与表情特征融合算法

4．1 引言

4．2 基于BSLDA的双模态特征融合与情感分类

4．2．1 从LDA到LSR

4．2．2 BSLDA模型的建立

4．2．3 BSLDA模型的优化

4．2．4 基于BSLDA的特征融合和情感分类

4．3 实验与分析

4．4 本章小结

第五章 融合全局与局部信息的语音和视频双模态情感识别

5．1 引言

5．2 多尺度语音和视频双模态情感特征提取

5．3 基于JSRRR的双模态特征融合及情感识别方法

5．3．1 JSRRR模型的建立

5．3．2 JSRRR模型的优化

5．3．3 基于JSRRR的情感识别准则

5．4 实验与分析

5．5 本章小结

第六章 总结与展望

6．1 论文研究工作总结

6．2 研究展望

致谢

参考文献