人脸表情视频数据库系统的实现及相关算法研究

摘要

人脸表情分析与合成是近年来人机交互领域的研究热点。研究人员在该领域投入了大量的精力，提出了很多新的观点和方法。由于不同研究小组使用的数据集各异，不同方法的效果和适用性缺乏统一的测试基础。为此，本文研究了人脸表情分析与合成的问题空间，建立了一个小型人脸表情视频数据库，并制定了一套人脸表情视频数据库技术规范。该数据库采集时采用正面充分光照，从三个不同的视角记录图像数据，内容包括了7个人的100段脸部表情视频，涵盖了常见的8类情感类表情和中文语音发音的说话类表情，并对表情序列采用了FACS(脸部动作编码系统)评价。该数据库是目前人脸表情研究较全面的基础资源库，可以作为人脸识别、人脸表情识别与合成算法的一个标准测试平台。本文介绍了建立人脸表情视频数据库的一系列关键技术，并给出了该数据库的技术标准。论文的另一部分工作是在建立的人脸表情视频数据库的基础上，进行了特征点定位和人脸表情跟踪相关算法的研究。特征点定位首先根据人脸图像的灰度特性用投影图的方法初步确定人脸的大概位置，然后采用主动形状模型(ActiveShapeModels，ASM)的方法进行特征点定位，对图像的形状特征和灰度特征分别建模，迭代搜索特征点位置，取得了较好的效果。另外，还跟踪了数据库中的表情视频序列，用38个特征点表示人脸表情变化时的面部动作。表情跟踪是在特征点定位工作的基础上，利用Gabor小波变换对特征点进行跟踪，搜索过程中采用了一种符合人眼视觉特性的有效的跳跃式搜索策略，并利用主分量分析方法建立了人脸表情模型。最后，对跟踪结果采取基于模型的校正，从而得到了令人满意的跟踪结果，是一种鲁棒、实时的表情跟踪方法。

目录

文摘

英文文摘

独创性声明和学位论文版权使用授权书

第一章引言

1.1课题的目的和意义

1.2应用前景

1.3论文主要内容

第二章人脸表情视频数据库的设计和实现

2.1背景知识

2.1.1人脸研究的复杂性

2.1.2人脸表情视频数据库概述

2.2人脸数据库发展现状

2.3确定数据库各项指标

2.3.1情感类表情

2.3.2说话类表情

2.4建立拍摄采集环境

2.5后期处理

2.5.1图像压缩

2.5.2用FACS描述人脸表情

2.6数据库总结

2.7数据库用途

2.7.1人脸识别

2.7.2表情分析

2.7.3视位研究

2.7.4合成

第三章脸部特征点定位

3.1脸部特征点定位方法

3.1.1概述

3.1.2蛇模型(Snakes Module)

3.1.3变形模板

3.2用ASM模型定位脸部特征点

3.3建立ASM模型

3.3.1 ASM模型的形状模型和灰度模型

3.3.2图象对准(Alignment)

3.4用主分量分析方法对形状建模

3.4.1 PCA概述

3.4.2 PCA人脸识别方法

3.4.3实验结果

3.4.4用PCA对形状建摸

3.5粗定位人脸位置

3.6 ASM的图像搜索过程

3.7结论

第四章人脸表情跟踪

4.1人脸表情跟踪简介

4.2基于Gabor小波变换的特征点跟踪

4.2.1 Gabor小波变换

4.2.2特征点的表示

4.2.3特征点的比较和匹配

4.3基于模型的校正

4.3.1建立表情模型

4.3.2用表情模型校正跟踪结果

4.4实验结果及小结

第五章总结与展望

5.1本文研究内容的总结

5.2研究展望

参考文献

致谢