基于视频序列的人脸表情识别算法研究

摘要

表情是人类情感交流中最有效的方式，广泛应用于心理学研究、视频会议、情感计算、智能人机交互和医疗等领域。基于视频序列的人脸表情的识别研究因更符合现实场景而成为研究的重点。但人的外貌、脸型以及表情的复杂性等因素给人脸表情的识别研究带来了一定的难度。如何有效地获得人脸表情特征和准确地进行表情分类成为目前研究的主要工作。本文提出的基于视频序列的人脸表情识别算法，能够充分利用序列信息提取动态时空纹理特征，进而进行表情识别。
　　本研究主要内容包括：⑴在表情序列图像预处理上，对图像进行剪切、尺度缩放以及直方图均衡化处理，并采用空间金字塔分割方式对人脸表情序列图像进行分层分块处理，增强了局部细节信息。⑵在人脸表情识别的特征提取方法中，提出三维正交平面的Haar-like中心化二值模式算法(Haar-like Centralized Binary Patterns from Three Orthogonal Panels，HCBP-TOP)，用于提取人脸表情序列图像的动态时空纹理特征，另外采用空间金字塔的加权方式分配人脸表情序列图像的动态时空纹理特征直方图的权重，将人脸表情序列图像的动态时空纹理特征直方图合并作为整体人脸表情序列图像的动态时空纹理特征。利用不同的权重来表达各层图像的空间信息在图像分类中的重要性，克服了各层图像子块在图像分类时所起到的作用不突出的缺陷。⑶采用SVM分类器对人脸表情序列图像进行分类，SVM分类器采用自定义核函数，采用交叉验证选择最佳参数c与g，将提取到的人脸表情序列图像的动态时空纹理特征数据输入SVM训练分类器进行人脸表情的训练和预测，实验采用留一法，在小样本训练集上表现出了很好的分类效果。⑷提出的方法在Cohn-Kanade视频序列数据库和“实验室”环境采集的SFEW数据库上进行了实验，结果表明，本方法的识别精度明显优于LBP-TOP算法和HLBP-TOP算法，且对多变的环境具有很好的鲁棒性。

目录

声明

第一章 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3表情识别方法概述

1.4 本文的主要工作

1.5 本文篇章结构

第二章 人脸表情的预处理方法

2.1 图像的灰度化

2.2 图像的尺度归一化

2.3 图像的直方图均衡化

2.4 本章小结

第三章 人脸表情图像的特征提取方法

3.1 表情特征的二值模式

3.2 Haar特征型的二值模式

3.3 空间金字塔

3.4 基于HCBP-TOP算法的动态时空纹理特征提取

3.5 本章小结

第四章 表情的识别与分类方法研究

4.1 SVM分类器

4.2 HCBP-TOP特征的SVM分类算法

4.3 本章小结

第五章 实验结果与分析

5.1 常用的数据库介绍

5.2 Cohn-Kanade数据库实验分析

5.3 金字塔层数对Cohn-Kanade数据库的影响

5.4 静态SFEW数据库实验分析

5.5 金字塔层数对SFEW数据库的影响

5.6 本章小结

第六章 总结与展望

6.1 总结

6.2 展望

参考文献

致谢