基于局部特征分析的人脸表情识别问题研究

摘要

随着计算机科学技术的不断发展，人机交互技术日益成为人工智能领域研究的热点，人与计算机之间交流情感的问题开始受到广泛关注。如果计算机和机器人能够像人类那样具有理解和表达情感的能力，根据人所处的环境、人的心情、爱好和习惯等信息主动进行判断来帮助人完成各项任务，那将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。因此，对表情识别技术进行深入研究，让计算机更好地理解和表达情感，成为社会发展的需要。这不但可以促进多门相关学科的发展，而且为其在安全监控、视频交流、医疗领域、游戏娱乐等领域的应用提供理论支持。
　　 虽然经过多年的发展，人脸表情识别技术已经取得了很大的进步。但是，总体而言仍属于探索性质的研究，距离模仿人类进行表情识别还有一定差距。特别是在计算机人脸表情自动识别系统中的表情图像预处理问题、表情特征提取的本征性问题、表情识别的准确率和实时性问题、以及针对复杂表情的识别问题上等，还存在着许多的理论问题和技术问题需要解决。因此，本文主要基于静态图像针对人脸表情特征提取问题进行了研究，提出了相关人脸检测与预处理、人眼自动定位和表情识别的方法。如通过对人脸检测和人脸表情图像预处理方法进行分析，实现了一种基于肤色检测和AdaBoost的人脸检测算法，设计了表情图像归一化的策略；研究了人眼精确定位方法，提出了一种基于区域投影的人眼定位方法和一种自适应比率局部二值模式的描述方法，实现了眼睛中心的定位；对于人脸表情识别问题，提出了一种基于特征块和局部二值模式的表情识别方法，建立了一种特征分析模型，利用D-S证据理论对特征矢量的各个分量进行数据融合，并对融合的结果进行分析和决策。
　　 论文的具体研究工作与成果如下：
　　 (1)针对人脸检测和表情图像预处理问题，研究了基于肤色检测和AdaBoost算法相结合的人脸检测方法。首先采用Haar-Like特征训练分类器，然后对于彩色图像利用肤色特征进行粗检测，获得人脸候选区域，最后利用AdaBoost方法进行精确检测。分析了人脸表情图像进行几何标准化和灰度标准化的方法，从原始图像中获得适合于进行表情分析的区域，为后续将要进行的表情特征提取和识别做好准备。
　　 (2)对当前的人眼定位方法进行了分析，针对传统灰度投影方法抗干扰能力较差的弱点，提出了一种基于区域投影的人眼精确定位方法。该方法考虑到投影过程中的二维特性，在水平方向和垂直方向将眼睛图像分成不相重叠的区域；分别将各区域内的灰度值投影获得瞳孔的候选区域，将该区域进行扩展获得瞳孔窗口，并利用灰度特性通过边界跟踪的方法实现了对瞳孔中心的精确定位；给出了人眼定位精确度判定准则，并采用Caltech faces数据库和JAFFE数据库进行测试；实验验证了该方法的有效性，与传统的投影方法比较，该方法具有较强的鲁棒性，人眼定位精度更高。
　　 (3)针对眼睛区域灰度特征的分布特点，在分析传统的局部二值模式原理的基础上，提出了一种自适应比率局部二值模式(Adaptive Ratio Local Binary Pattern，ARLBP)的描述方法。详细分析了获得自适应比率的原理及其实现方法，通过统计图像中直方图的方式，得到局部二值模式分析中某中心点与其邻域点像素值的比率；利用人眼粗定位和精定位相结合的方式实现了眼睛中心的定位；基于两个标准数据库进行实验，实验结果表明该方法简单有效，能够更好地提取人眼、眉毛等区域的梯度信息，对图像中环境光照的变化不敏感，具有一定的自适应能力。
　　 (4)对于人脸表情识别问题，提出了一种基于特征块和局部二值模式的表情识别方法。这种方法采用了一种线性空间分析的框架模式，首先将人脸区域进行分块，根据人脸各部位对表情识别贡献的不同，最终提取眼睛区域和嘴巴区域用于表情分析；对获得的眼睛区域和嘴巴区域分别提取LBP特征，将各区域内LBP直方图依次连接组合成单一的特性直方图；最后基于PCA分析的方法在线性空间降低特征维数提高识别性能。算法的有效性通过在JAFFE和TFEID表情数据库上得到了验证，取得了良好的效果。
　　 (5)针对人脸表情识别中的特征选择和多特征融合问题，提出了一种基于证据理论和局部纹理特征描述的方法，建立了一种特征分析模型。该方法首先将表情图像分割成多个具有显著识别特征的区域，提取各区域中的局部二值模式(LBP)作为其纹理特征；然后将各区域内LBP直方图依次连接组合成单一的特性直方图，基于卡方距离相似性度量方法进行置信度分配，建立一种证据合成准则；最后利用D-S证据理论对特征矢量的各个分量进行数据融合，并对融合后结果进行决策和判断；实验表明该方法可以提高表情识别的准确率，改善了表情识别系统的性能。
　　 本文的主要工作是为了丰富现有的人脸表情分析算法而进行了一些有益的探索和尝试。实验结果表明，所提出的算法能够基本满足实际应用的要求，在此基础上进一步的研究并加以完善，将可以不断优化人脸表情自动识别系统。