基于机器人视觉的面部表情识别技术研究

摘要

随着服务机器人智能化程度不断提高，基于表情识别的人机交互技术已逐渐成为研究热点。相对于语音和手势，表情交互在服务机器人多方式人机交互中的地位无可替代，例如对于行动或语言能力有缺陷的病人，机器人理解其面部表情则成为最主要的交互方式。因此服务机器人具备面部表情识别功能，对实现人性化，自然化和智能化的人机交互有着重大意义。
　　本文面向室内环境下人机交互需求，基于机器人单目摄像头获取视频信息，提出了层次化的面部检测及表情识别系统，分别就该系统的两个关键环节：（1）人脸检测定位与跟踪；（2）表情特征提取与分类开展了深入研究，开发出具有较高实时性及识别率的面部表情识别系统，实现了对愤怒、厌恶、恐惧、高兴、中性、悲伤及惊奇共7种基本表情的实时识别。
　　在人脸检测识别与跟踪部分，本文提出一种由粗到精的人脸检测定位方法，即在基于肤色概率模型进行人脸区域粗定位的基础上，提出了基于颜色、纹理特征混合模型的人脸特征定位方法，对嘴唇及双眼进行了定位。在此基础上，本文使用高效粒子滤波算法对人脸区域进行实时跟踪，代替耗时的人脸粗定位算法，从而有效提高了系统的实时性。同时，本文对检测到的人脸区域进行了尺寸及灰度的规范化处理以满足后续基于统一标准提取表情特征的需求。
　　针对表情特征提取与分类部分，本文采用二维Gabor变换与支持向量机理论相结合的方法。首先分析了二维Gabor变换的空频域局部化特性及其对表情图像的响应特性，实验对比了在不同分辨率下提取表情特征对分类性能的影响，设计覆盖3个尺度4个方向的二维Gabor小波滤波器组提取规范化表情图像的纹理特征。在此基础上，通过基于 JAFFE表情数据库的分类器性能测试实验，对支持向量机核函数的形式及参数组合进行优选，综合考虑识别性能与实时性能，设计了基于支持向量机理论的表情分类器。
　　实验部分通过人脸检测定位、人脸跟踪及面部表情识别实验，验证该系统具有可靠的人脸检测性能，对于特定人及非特定人的正面姿态面部表情均具有较高的识别率以及较好的实时性。

目录

基于机器人视觉的面部表情识别技术研究

FACIAL EXPRESSION RECOGNITIONTECHNIQUE BASED ON ROBOT VISION

摘 要

Abstract

目 录

第1章 绪论

1.1 课题来源及研究目的和意义

1.2 国内外相关领域研究进展

1.2.1 表情识别研究进展

1.2.2 表情识别在机器人领域的应用

1.3 表情识别方法分类

1.3.1 面部表情自动识别系统

1.3.2 人脸检测、定位与跟踪方法

1.3.3 面部表情特征提取方法

1.3.4 面部表情分类方法

1.4 本文内容及结构

第2章 人脸检测定位与跟踪

2.1 人脸图像获取与预处理

2.1.1 光照补偿

2.1.2 中值滤波平滑

2.2 人脸检测定位

2.2.1 基于肤色的人脸粗定位

2.2.2 人脸精确定位

2.2.3 人脸检测结果验证

2.3 人脸跟踪

2.3.1 粒子滤波原理

2.3.2 粒子滤波跟踪算法

2.4 人脸检测定位与跟踪结果的规范化

2.4.1 尺寸归一化

2.4.2 灰度归一化

2.5 本章小结

第3章 二维Gabor 变换及基于SVM 的表情识别

3.1 引言

3.2 二维Gabor 变换及小波滤波器组构建

3.3 表情图像的Gabor 响应特性及表情特征提取

3.3.1 表情图像的Gabor 响应特性

3.3.2 表情特征提取

3.4 基于支持向量机的表情分类研究

3.4.1 支持向量机原理

3.4.2 支持向量机多类分类策略

3.4.3 基于支持向量机的表情分类器设计

3.5 本章小结

第4章 面部表情识别系统实现与实验结果

4.1 面部表情识别系统设计

4.1.1 系统设备与界面

4.1.2 表情识别系统流程

4.2 人脸检测定位及跟踪实验

4.2.1 人脸检测定位实验结果及分析

4.2.2 人脸跟踪实验

4.3 面部表情识别实验

4.3.1 特定人表情识别实验

4.3.2 非特定人表情识别实验

4.4 本章小结

结 论

参考文献

攻读学位期间发表的学术论文

哈尔滨工业大学硕士学位论文原创性声明

哈尔滨工业大学硕士学位论文使用授权书

致 谢