多特征融合人脸表情识别算法研究

摘要

人脸表情识别作为情感研究的重要部分，是人与机器实现智能交互的必要条件，具有重要的研究意义及潜在的商业价值。由于人类情感表达的多样性和人脸表情自身的复杂性，单一类别特征并不能很好地用于表情识别，为此，越来越多的研究者开始趋于多特征融合方向的研究。本文主要从人脸图像光照补偿去噪、纹理特征融合人脸表情识别及多特征融合人脸表情识别开展人脸表情识别算法的研究工作：　　(1)研究了一种用于人脸图像光照补偿去噪的多方法结合算法。鉴于光照变化会严重影响人脸图像识别的问题，提出一种改进的光照补偿算法，消除光照变化等噪声。利用YaleB07库仿真测试，本文从主观（人眼）和客观（特征点有效率及运行时间、亮度、信息熵）两方面对各算法处理效果进行对比分析，验证了算法的有效性。　　(2)研究了一种用于人脸表情识别的纹理特征融合算法。针对方向性局部二值模式（DLBP）在单尺度下获取图像纹理特征的不足，提出一种异或-非对称方向性局部二值模式（XOR-AR-DLBP）多尺度多方向融合的特征提取算法。对预处理后的人脸表情图像进行光照补偿；对人脸及眉、眼、嘴局部表情关键区域进行分割和归一化，并计算关键区域的贡献度（CM）；提取人脸及关键区域的XOR-AR-DLBP直方图特征信息，由CM对关键区域特征信息进行加权级联，将整幅人脸图像的特征信息与其串联，得到纹理融合特征；支持向量机（SVM）分类器对纹理融合特征训练识别。利用JAFFE库、CK库仿真测试，实验结果表明，相较于传统算法，纹理特征融合算法能有效的提高人脸表情的识别率与实时性。　　(3)研究了一种用于人脸表情识别的多特征融合算法。为了克服单特征表情识别的局限性，本文提出一种基于表情识别率权值选择的多特征融合算法。将纹理融合特征、几何特征、全局特征送入SVM分类器训练识别，由识别率权值选择算法对得到的三个不同结果进行决策融合，获取多类融合特征的识别结果。利用JAFFE库、CK库仿真测试，实验结果表明，与三类单特征表情识别算法相比，多特征融合算法对人脸表情的平均识别率提升较大，与现有多特征融合算法相比，平均识别率提高了0.52%~2.27%。

目录

声明

1 绪 论

1.1 课题研究的背景及意义

1.2 课题研究现状

1.3 常用的人脸表情数据库

1.4 人脸表情识别的难点

1.5 课题主要研究内容

1.6 论文的结构安排

2 人脸表情识别算法相关基础理论

2.1 人脸检测

2.2 人脸表情预处理

2.3 人脸表情特征提取

2.4 人脸表情多特征融合

2.5 人脸表情分类识别

2.6 本章小结

3 多方法结合人脸图像光照补偿算法研究及改进

3.1 Retinex理论

3.2 改进的多方法结合算法

3.3 实验结果及分析

3.4 本章小结

4 非对称方向性局部二值模式人脸表情识别

4.1 基于方向性的局部二值模式

4.2 异或-非对称方向性局部二值模式

4.3 特征融合

4.4 实验结果及分析

4.5 本章小结

5 多特征融合人脸表情识别

5.1 基于主动外观模型的人脸表情识别

5.2 基于特征脸的人脸表情识别

5.3 多特征融合人脸表情识别

5.4 实验结果及分析

5.5 本章小结

6 总结与展望

6.1 总结

6.2 研究展望

致谢

参考文献

个人简历、在学期间发表的学术论文及取得的研究成果