堆栈式混合自编码器和迁移学习在人脸表情识别中的研究

摘要

人脸表情识别作为情感识别智能系统中的关键技术，它能够很好地表达出入类的心理、情绪和意图等，是实现人机交互的重要基础之一。然而传统的人脸表情特征提取方法不仅增加了模型的训练时间和空间复杂度，而且还会在一定的程度上丢失原有图像中的表情特征信息，影响识别效果。因此，本文将深度学习中的方法引入到人脸表情识别的任务中，论文主要工作如下： 1．在人脸表情识别过程中，针对提高识别准确率的问题。本文将去噪自编码器、稀疏自编码器以及普通自编码器这3种自编码器进行级联，形成一个多层的全连接网络，然后在该网络上最后一层加上softmax分类器构成一个新的分类网络，即堆栈式混合自编码器。并按照贪婪逐层训练方式（即将前一个自编码器的输出层去掉并将该自编码器的隐层作为下一个自编码器的输入层）进行训练来解决局部最优的问题。由于该网络组合了多种自编码器，从而使得该网络具有多个自编码器的优点，使得提取的特征更加具有代表性。使用堆栈式混合自编码器网络在TAFFE（The Japanese Female Facial Expression Database）数据库和CK+(The Extended Cohn-Kanade Dataset)数据库上进行仿真实验，并分别获得了96.38%和96.70%的识别准确率。 2．针对在人脸表情识别过程中，测试和训练所使用的人脸图像不满足同分布的情况下，提高表情识别准确率的问题。本文采用了一种迁移卷积网络的方法来进行研究。首先定义一个新的全连接层，然后将在ImageNet数据集分类比赛中获得较好成绩的3个神经网络(AlexNet、VGG16、InceptionV3)中的卷积层迁移到新定义的全连接层上，构成一个模型迁移网络来进行表情识别，使用CK+数据库和JAFFE数据库组合而成的混合数据库进行实验。通过实验结果可知，文中采用的3种迁移网络都取得了较好的识别效果，其中InceptionV3的迁移网络的识别效果最好，在训练时迭代次数为800的时候基本收敛了，识别的准确率达到了93.86%。

目录

声明

1绪论

1.2表情识别的类别概述

1.3国内外研究现状

1.3.1人脸表情识别算法研究现状

1.3.2迁移学习的研究现状

1.4本文研究内容及章节安排

1.5本章小结

2人脸表情数据库与图像预处理

2.1人脸表情数据库简介

2.2图像预处理

2.2.2归一化处理

2.2.3直方图均衡化

2.3本章小结

3堆栈式混合自编码器的人脸表情识别

3.1.2稀疏自编码器

3.1.3去噪自编码器

3.1.4堆栈式自编码器

3.2.2反向传播算法

3.2.3堆栈式混合自编码器的人脸表情识别路线

3.3实验分析与结论

3.3.2实验结果对比与分析

3.4本章小结

4模型迁移的人脸表情识别

4.2模型迁移的人脸表情识别

4.2.2深度模型选择

4.2.3模型迁移实现过程

4.3模型迁移实验和实验分析

4.3.2实验结果与分析

4.3.3InceptionV3迁移网络测试实例化

4.4本章小结

5总结与展望

5.2展望

致谢

参考文献

攻读硕士学位期间发表的论文