容忍姿态变化的人脸表情识别方法研究

摘要

把人脸表情识别系统应用在现实场景中是人机交互的终极目标，但人脸表情图像往往包含不同的人脸姿态，例如头部的运动和镜头的位置的变换。现阶段多姿态或者姿态无关表情识别系统有两种:(1)为每种人脸姿态分别训练相应的表情分类器;(2)使用单一分类器完成所有人脸姿态的表情分类任务。多分类器需要训练众多的模型参数和冗余的标签信息，而单一分类器却无法去除有关姿态的干扰信息。为了解决这两点问题，本文提出层次主题模型和层次深度模型，用于提取多姿态人脸表情的中间层语义特征与姿态无关表情特征。本文的主要贡献有以下三点:
　　1)针对人脸表情底层视觉特征无法表达高层语义的问题，提出一种基于语义属、性的人脸表情识别新方法。该方法利用表情语义属性这一中间人脸表情特征表示方法可在个别类别样本很少的情况下共享情感特征信息的特点，通过统计人脸表情AU(Action Unit)编码建立表情语义属性与表情类别矩阵，然后采用SIFT(Scale-InvariantFeature Transform)底层视觉特征训练获得语义属性标注器，最后利用贝叶斯模型识别人脸表情。在CK+和BU-3DFE两个公开人脸表情数据库上的实验结果表明，与其它底层特征提取方法相比，该方法能有效提取表情特征信息并且把8种表情类别的平均识别率提高了4％。
　　2)针对人脸表情图像中出现人脸姿态、尺度和人物等条件变得复杂时，识别准确率也随之降低的问题，本文提出基于多姿态人脸表情识别的层次主题模型。该方法在表情识别之前，首先结合局部纹理特征和全局几何信息学习人脸表情的中间层特征表示。通过共享不同姿态之间的特征池信息，可以对不同的姿态使用统一的解决方案，而不需要对每个姿态训练相应的模型参数。这种共享特征与模型参数的方法可以扩展到姿态多样的现实场景人脸表情识别系统中。该方法在多姿态人脸表情识别标准库(RAFD、KDEF和BU-3DFE)和网络图像上都取得现阶段较好的识别结果。
　　3)针对层次主题模型中人脸不正确的特征点信息会干扰多姿态人脸表情特征提取的问题，提出基于层次深度模型的姿态无关人脸表情识别方法。该方法从多姿态人脸图像学习深度特征表示，并且结合主题模型组成该方法的特征学习结构。首先从堆叠的PCA(Principal Component Analysis)滤波器组预学习正脸表情特征向量，以预提取正脸表情特征为标准，使用深度卷积网络(Convolutional Neural Networks，CNN)学习相应非正脸与正脸特征的重构关系。利用该重构关系，正脸和非正脸统一使用CNN提取特征向量作为分类阶段的特征输入。最后，结合单一类依赖主题模型(class-specific-simplex Latent Dirichlet Allocation，css-LDA)作为人脸表情分类器。本文采用包含多姿态人脸和自发表情的两个公开人脸表情识别标准库(BU-3DFE和SFEW)验证本文提出的层次深度模型，实验结果表明该方法的姿态无关人脸表情识别准确率高于当前最好方法。

目录

声明

摘要

第一章 绪论

1．1 研究背景和意义

1．2 人脸表情识别研究难点及趋势

1．2．1 表情信息表示方法

1．2．2 人为表情vs自发表情

1．2．3 头部旋转和复杂场景

1．2．4 表情数据库

1．3 主要研究内容

1．4 论文的组织结构

第二章 多姿态人脸表情识别的相关技术及发展现状

2．1 多姿态人脸表情识别技术及发展现状

2．1．1 人脸检测方法

2．1．2 人脸预处理方法

2．1．3 人脸特征提取与表示方法

2．1．4 多姿态人脸表情识别方法

2．2 主题模型

2．2．1 主题模型概述

2．2．2 主题模型与人脸表情识别的关系

2．3 深度特征学习

2．3．1 深度特征学习模型概述

2．3．2 深度特征学习与人脸表情识别的关系

2．4 本章小结

第三章 基于语义属性的人脸表情识别新方法

3．1 概述

3．2 基于语义属性的人脸表情识别方法

3．2．1 基于语义属性的人脸表情识别方法

3．2．2 人脸表情语义属性-类别矩阵的构建

3．2．3 语义属性标注器

3．2．4 人脸表情识别算法描述

3．2．5 人脸检测与特征表示

3．3 实验和结果分析

3．3．1 表情库

3．3．2 参数的选择

3．3．3 实验结果和分析

3．4 本章小结

第四章 基于层次主题模型的多姿态人脸表情识别方法与分析

4．1 概述

4．2 基于层次主题模型的人脸表情识别

4．2．1 层次主题模型

4．2．2 模型推导

4．2．3 参数估计

4．3 表情特征提取

4．3．1 姿态估计与特征点定位

4．3．2 特征点采样

4．3．3 词袋编码

4．3．4 中间层特征

4．4 实验与结果分析

4．4．1 表情库与实验设置

4．4．2 参数选择

4．4．3 实验结果与分析

4．5 本章小结

第五章 基于层次深度模型的姿态无关人脸表情识别方法

5．1 概述

5．2 基于深度卷积网络的人脸姿态无关表情表示方法

5．2．1 正脸特征预提取

5．2．2 非正睑特征输出训练

5．3 基于css-LDA的人脸姿态无关表情识别方法

5．4 实验与结果分析

5．4．1 表情库与实验设置

5．4．2 参数选择

5．4．3 实验结果与分析

5．5 本章小结

第六章 总结与展望

6．1 总结

6．2 展望

致谢

参考文献

攻读硕士学位期间发表的学术论文