基于肌肉运动的人脸表情识别

摘要

情感计算，是未来计算机领域发展的一个重要方向，是让计算机可以了解人的情感和情绪，并且能够以带有感情的方式与人进行交互。而最简单也是最直接的方式，就是从分析人类的面部表情入手进行研究。
　　由于人类的面部表情是面部肌肉运动形成的，想要研究人类的面部表情，应该从面部肌肉的具体运动形式入手，动态跟踪这些运动。本文提出了基于肌肉运动的人脸表情识别方法。本文描述的工作基于艾克曼的FACS，心理学家的研究结果证明了，人类的表情对应这固定的面部肌肉运动形式，这是不受年龄、性别、种族、受教育程度等因素影响的。本文首先简要介绍了与面部基本表情相关的若干AU，基于这些AU运动，进行了一系列的研究工作，并获得了以下研究成果：
　　1.本文提出了一种快速自动识别面部特征点的方法。当前有些面部表情研究是建立在手工标注面部特征点的基础上进行的。手工标注面部特征点，这一过程本身就加入了标注者对当前表情的主观判断。而当前有些自动识别特征点的方法速度很慢，根本不能满足实时分析系统的要求。本文提出的方法，是首先对目标区域进行一次筛选，选出所有纹理特征明显的像素点，然后在这些被筛选出的点中寻找真正的面部特征点。经过试验证明，这一方法速度快，识别率高，可以满足实时系统的需求。
　　2.本文提出了一种基于运动模板的面部AU运动识别方法。大多数的AU运动或不存在明显的特征点，或难以使用跟踪特征点的方法准确识别。运动模板理论研究的是运动的本身和运动的历史，使用这一方法，可以准确的识别出需要的AU运动。对于感兴趣的AU，本文使用Boosting算法训练了专门的识别器来识别，这些识别器可以准确识别AU的运动。
　　3.本文提出了一种新的识别头部运动姿态的方法。传统识别头部运动姿态的方法通过识别和跟踪眼睛区域的运动形式来研究头部运动姿态。而识别眼睛区域的工作量是很大的，需要通过大量运算才能准确识别并跟踪，或者使用特殊的设备支持。本文提出以更便于识别和跟踪的鼻孔来代替眼睛识别头部运动，又提出了一种不仅能识别点头和摇头，还能正确识别低头与侧脸的方法。
　　4.本文描述了一个实时识别人的面部表情的系统的设计方法，并尝试了对“高兴”这一表情进行了层次上的划分。在本文中已经提出了很好的方法来准确识别面部肌肉的运动情况，本文把这些运动的情况输入到一个BP神经网络来识别这些表情，得到了不错的结果。在本文中，还使用Fuzzy理论，在已经识别出具体表情的基础上，通过分析MHI图像，对表情的程度进行了衡量，也得到了比较理想的结果。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1研究背景

1.2情感在人体的具体表现

1.3研究内容和创新点

1.4本文结构

第二章 面部动作编码系统（FACS）

2.1面部各部位术语

2.2上半脸主要运动单元

2.3下半脸主要运动单元——上下运动

2.4下半脸斜向AU运动：Action Unit 12——拉升嘴角

2.5由口轮匝肌控制的AU运动

2.6其他AU

2.7 AU组合与基本表情的对应关系

2.8本章总结

第三章 基于光流算法的快速特征点定位

3.1 AdaBoost与GentleBoost算法

3.2复杂背景中的人脸检测

3.3图象的Gabor特征提取

3.4光流（LK）算法与最佳特征点的选择

3.5特征点识别器的训练

3.6使用Canny算子的上眼皮轮廓检测

3.7本章小结

第四章 基于运动模板的面部AU识别

4.1运动模板

4.2训练样本提取及识别器的训练

4.3识别器性能测试

4.4本章小结

第五章 基于AU的面部表情分析

5.1头部运动姿态识别

5.2基于BP神经网络的面部表情分析

5.3基于模糊数学（Fuzzy）的表情程度衡量

5.4本章小结

第六章 总结与展望

6.1本文工作总结

6.2未来研究展望

参考文献

发表论文和科研情况说明

附录一 FACS

附录二 AdaBoost

附录三 Gabor特征

附录四 LK算法

附录五 神经网络

致谢