基于光流与HMM的疲态人脸中运动单元识别研究

摘要

表情识别是当前研究的热点方向之一，对于情感分析，人机交互，智能系统方面有重要的意义。人脸运动单元的识别是表情识别的基础，能更加精细的分析不同情感与精神状态下面部特征变化，促进更好地分析表情。面部表情含有丰富的信息，但目前的AU识别研究大多数针对传统的基本表情，突破传统表情，深入挖掘诸如疲劳，困惑等特定表情的AU特征，并对相关AU进行有效的识别，对拓展表情识别的研究以及应用领域都具有广阔的前景。
　　本文从面部表情的角度出发分析疲劳特征，深入分析了疲态人脸特征并探讨显著特征的AU表示方法。 FACS理论将不同面部动作进行分解并用独立的AU单元来表示，这为情感分析，表情建模提供了可靠的依据。通过对疲态人脸特征的动作分析，总结出能表示疲态的AU单元。但FACS仅仅为指导性的系统理论，其中脸部运动单元也为单纯的静态的空间模板，然而表情动作的产生是一个面部多肌肉动态合成过程，为了凸显这一特征，文中通过检测图像序列来提取特征并进行动态AU单元识别。
　　本文算法采用光流法提取动态特征，光流中包含对象的运动信息，可被用来表示目标对象的运动情况。在处理之前采用AMM定位人脸特征点并划分特征区域，区域划分有助于更有针对性分析人脸特征，有效去除冗余信息，减少计算量。由于光流特征数据的维度较高，不适合直接进行分类处理，因而采用PCA进行降维处理，通过提取降维后的系数序列达到降维的目的，同时将多帧AU图像PCA系数组合构造特征值序列。在建模阶段，针对序列观测值为多维行向量的特点，采用连续型的隐马尔科夫模型来建立疲态特征的AU单元模型。连续隐马尔科夫模型的观测值概率则用混合高斯模型来建立，模型的状态数以及高斯混合系数均由实验分析得出。
　　实验测试了特征值生成方案，确定了相关参数并建立AU单元HMM模型，最后对疲态样本以及非疲态样本下的人脸AU单元识别进行了测试分析。验证了本文方法能较好识别人脸AU单元以及疲态人脸中简单AU组合。另外，对细微动作的AU单元识别还有待提高。

目录

摘要

第一章 绪论

1．1 研究背景及意义

1．2 AU单元与表情识别研究现状

1．3 疲态人脸表情识别相关研究

1．4 本文的主要研究内容及组织结构

1．4．1 本文的主要研究内容

1．4．2 本文的章节安排

第二章 疲态人脸运动特征分析

2．1 FACS与表情识别

2．1．1 FACS理论

2．1．2 基本表情AU模型

2．2 疲态人脸AU单元分析

2．2．1 疲态人脸显著表情特征分析

2．2．2 疲态人脸显著表情特征的AU表示

2．3 AU识别算法概述

2．4 本章小结

第三章 人脸特征点定位与区域划分

3．1 人脸检测与图像预处理

3．1．1 人脸检测概述

3．1．2 利用AdaBoost算法的人脸检测

3．1．3 图像归一化与预处理

3．2 基于AAM的人脸特征点定位

3．2．1 AMM理论基础

3．2．2 AMM建模方法

3．2．3 误差最小化的拟合定位算法

3．3 脸部特征区域划分

3．4 实验与小结

3．4．1 实验结果分析

3．4．2 本章小结

第四章 AU序列的光流动态特征提取

4．1 AU序列光流动态特征提取

4．1．1 光流场的计算

4．1．2 光流计算方法的改进

4．1．3 AU序列的光流提取

4．2 构造AU特征序列

4．2．1 光流数据K-L变换原理

4．2．2 AU特征值序列生成方法

4．3 本章小结

第五章 疲态人脸中的AU单元HMM建模与识别

5．1 隐马尔科夫模型理论知识

5．1．1 隐马尔科夫模型问题描述

5．1．2 HMM基本算法

5．2 基于改进HMM算法的AU单元建模

5．2．1 AU单元HMM结构设计

5．2．2 改进的AU单元HMM训练方法

5．3 脸部AU单元识别

5．3．1 系统总体流程

5．3．2 AU识别方法

5．4 实验结果与分析

5．4．1 实验方案设计

5．4．2 实验内容与结果分析

5．5 本章小结

总结与展望

全文总结

工作展望

参考文献

攻读硕士学位期间发表的论文

声明

致谢