自发表情数据库分析和自发表情识别研究

摘要

心理学研究指出人的感情主要通过人的面部表情表达，因此，表情是人类情感交流的重要途径之一，表情识别研究对于实现拟人化的人机交互具有重要的理论和现实意义。目前的人脸表情识别研究主要针对人为表情，而用户在镜头前按照要求做出的表情，与用户在日常生活中所表现的自发表情的产生机理和外在表现皆不相同。自发表情研究具有明显的现实意义。
　　 本文对自发表情数据库和自发表情识别中的若干关键问题进行了研究，具体工作如下:
　　 (1)研究自发表情数据库中表情标签用户评估的一致性。到目前为止，对于自发表情数据库中表情标签的用户评估没有统一的标准。本文采用Kappa和Kendall和谐系数对USTC-NVIE数据库中夸张帧和序列表情标签的评估数据进行了统计分析。分析结果表明，表情序列比夸张帧包含更多有用信息，多类别的表情强度标注优于单类别标注。
　　 (2)分析自发表情数据库的偏差。不同的数据库收集方式和标注方式不同，这些数据库可变性可能会影响数据库的泛化性能。本文提出一种利用交叉数据库验证分析自发表情数据库之间的差异。本文分别从夸张帧和序列的角度进行偏差分析。首先从自发表情库USTC-NVIE、VAM、BELFAST、SEMAINE的夸张帧中提取局部二值模式(Local Binary Patterns)、伽柏(Gabor)、特征脸(Eigenface)和Fisher脸(Fisherface)四种特征，从自发表情库UTDALLAS、USTC-NVIE、DEAP、MAHNOB的序列中提取差值Gabor和差值LBP特征，然后分别使用支持向量机(SVM: Support VectorMachine)和隐马尔可夫(HMM: Hidden Markov Model)对夸张帧和序列进行愉悦度和唤醒度分类识别。实验结果表明，不同的自发表情库之间存在着偏差，这些偏差影响算法的性能。这些差异性主要来自情绪诱发的方式，被试者的多样性、评估者的评估质量等。
　　 (3)提出特征级融合可见和红外表情图像的自发表情识别方法。由于可见光对图像外观和纹理特征有较大影响，而红外图像对光照条件不敏感，因此融合可见和红外图像可以弥补可见图像的不足。首先，分别从可见图像和红外图像中提取纹理特征和温度统计特征;然后使用方差分析(ANOVA)方法分别从可见特征和红外特征中选择最佳的特征子集，将选择的特征子集拼接成最终的特征向量;最后，采用KNN分类器进行表情识别。在USTC-NVIE自发表情数据库上的实验结果表明融合可见图像和红外图像可以提高负类表情的识别率，并降低不同类别识别的差异，从而提高表情识别的性能。
　　 (4)提出利用标签之间依赖关系进行多表情识别和多情绪标注方法。目前的表情识别和情绪标注都是作为单标签问题处理，而实际是表情、情绪之间存在着共生和互斥关系，首先，从样本中提取特征;其次，使用4种传统的多标签学习算法Binary Relevance(BR)，Random k label sets(RAkEL)，BinaryRelevance k Nearest Neighbours(BRkNN)和Multi-Label k Nearest Neighbours(MLkNN)获取表情（情绪）的measurement;然后，使用BN结构学习算法建立标签间的关系;最后，结合传统方法获取的measurement和情绪之间的依赖关系，使用BN进行多标签推理。在USTC-NVIE、JAFFE和两个视频库上实验结果表明利用简单关系的RAkEL方法的识别结果好于其它3种没有考虑关系的方法，本文所提的方法比传统多标签分类方法在大部分参数上都有显著的提高，说明了本文方法的有效性。

目录

声明

摘要

表格

插图

第一章 绪论

1．1 研究背景与意义

1．2 自发表情问题的研究现状

1．2．1 表情识别研究的历史及现状

1．2．2 自发表情数据库分析

1．2．3 特征级融合表情识别

1．2．4 多表情识别和多情绪标注

1．3 本文的主要研究内容

1．4 论文组织结构

第二章 USTC-NVIE自发数据库用户评估一致性研究

2．1 方法介绍

2．1．1 USTC-NVIE自发表情数据库

2．1．2 分析方法

2．2 结果分析

2．3 本章小结

第三章 自发表情数据库偏差分析

3．1 数据集介绍

3．1．1 USTC-NVIE

3．1．2 VAM

3．1．3 BELFAST

3．1．4 SEMAINE

3．1．5 DEAP

3．1．6 MAHNOB

3．1．7 UTDALLAS

3．2 方法介绍

3．2．1 特征提取

3．2．2 分类器

3．3 实验与结果分析

3．3．1 实验条件

3．3．2 结果与分析

3．4 本章小结

第四章 特征级融合可见和红外图像的自发表情识别

4．1 方法介绍

4．1．1 特征提取

4．1．2 方差分析

4．1．3 K近邻分类算法

4．2 实验与结果分析

4．2．1 实验条件

4．2．2 结果与分析

4．3 本章小结

第五章 多表情识别和视频多情绪标注

5．1 方法介绍

5．1．1 特征提取

5．1．2 Measurement提取

5．1．3 BN建模情绪关系

5．2 实验与结果分析

5．2．1 实验条件

5．2．2 USTC-NVIE库实验结果

5．2．3 JAFFE库实验结果

5．2．4 MUSIC库的实验结果

5．2．5 视频库的实验结果

5．3 本章小结

第六章 总结与展望

6．1 本文总结

6．2 下一步工作

参考文献

致谢

读硕期间发表的学术论文与参加的科研科研项目

作者简历