基于子空间分析的面部表情特征提取算法研究

摘要

面部表情能够提供人们情绪的敏感线索，对其的识别作为人机交互的一个关键功能受到科研人员的广泛关注。由于面部表情呈现出的非刚性特点，致使传统的表情识别方法难以达到令人满意的效果。子空间分析方法是当前模式识别领域的一个研究热点，它利用统计分析方法将样本投影到某个最优子空间，以实现数据降维和特征提取。本文主要针对基于子空间分析的面部表情特征提取算法进行了研究，旨在提取出用于有效表征面部表情的特征进行分类识别，论文的主要贡献如下:
　　第一，针对基于差准则的特征提取算法无法有效提取鉴别信息的问题，提出广义多重最大散布差准则(GMMSD)及相应的特征提取算法。该算法利用差准则代替熵准则避免了“小样本”问题，并且利用QR分解能够提取出更有效的鉴别特征用于面部表情识别，同时也降低了特征提取时的运算复杂度。与传统特征提取方法相比，GMMSD具有如下三个特点:(1)避免了“小样本”问题，无须对样本进行预处理步骤;(2)利用QR分解对原始样本进行特征提取，保留了原始样本的分布特征;(3)根据不同的变化矩阵，GMMSD可以演化成不同的特征提取算法，表明了GMMSD的广义性特点。实验表明GMMSD能够有效提取面部表情的鉴别特征，提高面部表情的识别精度。
　　第二，针对训练集可能添加样本的情况，提出了增量型广义散布差准则算法(IGMMSD+)。IGMMSD+将增量更新的情况分为两种:添加新样本到新类别和添加新样本到存在的类别，分别给出了以上两种情况下的增量更新算法，避免了实际应用中训练集更新时重新对整个库进行训练的问题。IGMMSD+算法有以下几个方面值得强调:(1)IGMMSD+的性能完全等价于GMMSD+，即增量更新过程并没有近似计算过程，而其它增量算法多是近似形式，无法达到原始算法的识别性能;(2)GMMSD+可将每类训练样本的均值矩阵分成两部分:训练集共有成分(ICC)和鉴别差异成分(DDC)。更甚的是，提出的算法能自动丢弃包含有较少鉴别信息的ICC，同时保留包含有真正鉴别信息的DDC。
　　第三，为了有效地揭示面部表情中存在的潜在结构，提出多流形鉴别分析算法(MMDA)。传统的流形学习方法假设不同表情处于同一个流形上，然而这种假设至今没有被科研人员所证明，即并不能肯定各类面部表情仅仅处于一个流形。与多数算法不同的是，MMDA利用能够反映表情变化的面部表情显著区域作为训练，结合多流形学习方法，提取具体表情下的流形鉴别信息。多流形鉴别分析方法具有以下三个优点:(1)MMDA只利用面部表情的显著区域作为训练和测试。这种方式避免了非表情显著区域对识别结果的干扰，同时也减少了算法的运算复杂度;(2)对比以往的单流形表情识别方法，基于多流形学习的算法不但可以避免训练过程中由于样本数量的限制可能造成的过拟合问题，同时也有助于提高表情识别性能。
　　第四，针对多数方法将图像转化为一维向量，造成维数过高，运算复杂度大以及可能出现的“小样本”等问题，提出二维多流形鉴别分析(2DMMDA)算法。2DMMDA直接利用图像的二维数据进行特征提取，解决了维数过高的问题，同时也避免了小样本问题的发生。本文在二维鉴别局部保留投影的基础上，构建同类样本之间的相似性矩阵和异类样本之间的差异性矩阵。另外，考虑到同类样本之间的差异性对各表情特征提取的重要性，将同类样本之间的差异性信息引入到算法当中，从而提高表情的识别效果。

目录

声明

摘要

图目录

表目录

缩写词对照表

数学符号对照表

1 绪论

1．1 研究背景与意义

1．2 面部表情识别的国内外研究现状

1．2．1 概述

1．2．2 子空间分析方法的研究现状

1．2．3 数据库简介

1．3 面部表情识别存在的难点

1．4 本文的主要内容

1．5 章节安排

2 广义多重最大散布差算法(GMMSD)

2．1 引言

2．2 GMMSD算法

2．2．1 GMMSD准则

2．2．2 基于GMMSD的特征提取步骤

2．2．3 GMMSD复杂度分析

2．3 GMMSD与其它特征提取算法的联系

2．3．1 GMMSD与N-LDA算法的联系

2．3．2 GMMSD与MMSD算法的联系

2．4 实验结果及分析

2．4．1 GMMSDSD vs．MMSD

2．4．2 表情库中各算法特征提取性能分析

2．4．3 人脸库中各算法特征提取性能分析

2．4．4 计算复杂度对比与分析

2．4．5 GMMSD与其它算法的特征提取性能对比

2．4．6 讨论

2．5 本章小结

3 增量更新的广义多重最大散布差算法(IGMMSD+)

3．1 引言

3．2 GMMSD+算法

3．2．1 模型表述

3．2．2 算法分析

3．3 增量更新步骤

3．3．1 添加新样本到存在的类别

3．3．2 添加新样本到新类别

3．4 复杂度分析

3．5 实验结果及分析

3．5．1 各算法的特征提取性能分析

3．5．2 增量型GMMSD+的训练性能

3．6 本章小结

4 多流形鉴别分析的表情特征提取算法(MMDA)

4．1 引言

4．2 基于MMDA的面部表情识别算法

4．2．1 模型建立

4．2．2 分类器设计

4．3 基于MMDA的表情识别系统设计框架

4．4 实验结果及分析

4．4．1 显著区域检测

4．4．2 面部表情特征表示

4．4．3 特征提取性能分析

4．5 本章小结

5 二维多流形鉴别分析的表情特征提取算法(2DMMDA)

5．1 引言

5．2 二维多流形鉴别分析算法

5．2．1 模型建立

5．2．2 算法步骤

5．2．3 2DMMDA与其它算法之l司的联系

5．2．4 讨论

5．3 基于2DMMDA的面部表情识别框架

5．4 实验结果及分析

5．4．1 2DMMDA的参数选择

5．4．2 特征提取性能分析

5．4．3 针对不同显著区域的表情识别性能分析

5．5 本章小结

6 总结与展望

6．1 工作总结

6．2 展望

参考文献

作者简介

在校期间发表的学术论文及参与的科研项目

致谢