基于多种方法的人脸特征跟踪及人脸动画

摘要

视频驱动的人脸动画一直是计算机图形学和计算机视觉研究领域中的难点，并成为近年来的研究热点，在视频会议、网络游戏、数字娱乐等诸多方面有着非常广泛的应用。本文重点研究三方面的内容：视频人脸特征跟踪、二维夸张化卡通人脸生成以及基于MPEG-4的二维人脸动画技术。 在视频人脸特征跟踪中，根据特征点所在人脸部位具有不同的纹理特征进行分组，提出在不借助任何外部条件(如贴标记点)的情况下对不同组特征点采用不同的跟踪方法。首先，对于纹理变化不大的眉部等一组特征点，采用光流方法进行跟踪，同时对其进行了改进，将通常只参考前一帧图像改为利用初始帧和前一帧的加权和进行预测，提高了光流跟踪的准确性。其次，对于嘴部特征点，通过分析其多样的纹理信息，采用弹性图匹配的方法进行跟踪。该方法中，Gabor变换能够提取特征点周围丰富的频域特征而助于跟踪，但速度慢，无法实时。本文通过光流预测、Jet值估计等方法提高了匹配时的搜索速度以满足实时要求。再次，对于眼皮上的特征点，因眼睛周围有着特殊的边缘纹理特征，可采用图像二值化方法得到特征点的大致位置以达到跟踪的目的。实验表明，这样将多种方法相结合跟踪特征点的方法是有效的。 在二维夸张化卡通人脸生成中，本文通过特征分析提取出人脸与众不同的特征，之后将基于规则和基于样例学习的两种方法统一起来对这种与众不同的特征进行形状夸张。实验表明，这种方法既减少了训练样本，又可以使生成的人脸具有画家的风格。 在基于MPEG-4的二维人脸动画技术中，本文将针对于三维人脸设计的MPEG-4人脸动画机制中的FAP和FDP参数进行了修改，使其符合本文的二维卡通人脸动画。这样，既满足了实际需要的同时，又提高了表情动画的合成速度。 最后，在以上各项研究的基础上，构建了视频驱动下的夸张化卡通人脸动画系统。该系统可完成任意输入真实人脸的卡通肖像生成、表情合成和FAP流驱动的人脸动画等功能，具有很强的娱乐色彩。

目录

文摘

英文文摘

声明

第1章绪论

1.1研究背景及意义

1.2国内外研究发展现状

1.2.1人脸跟踪

1.2.2人脸建模

1.2.3人脸动画

1.3文章的研究内容和组织结构

第2章视频人脸特征跟踪

2.1问题的提出

2.2多种方法相结合的特征点跟踪

2.2.1基于光流的特征点跟踪

2.2.2基于弹性图匹配的特征点跟踪

2.2.3基于图像二值化的特征点跟踪

2.3本章小结

第3章夸张化卡通人脸生成技术

3.1问题的提出

3.2夸张化卡通人脸的生成过程

3.3人脸特征分析

3.3.1人脸全局特征统计及局部特征分类

3.3.2人脸特征提取

3.4人脸夸张变形参数

3.4.1基于规则的全局夸张参数

3.4.2基于样例的局部组件夸张参数

3.5夸张变形

3.5.1常见的图像变形方法及比较

3.5.2改进的人脸局部变形方法

3.6本章小结

第4章基于MPEG-4的二维人脸动画技术

4.1问题的提出

4.2背景知识

4.2.1 FDP、FAP以及FAPU的人脸定义

4.2.2基于FAP的人脸动画

4.3基于MPEG-4的二维人脸动画数据获取

4.3.1二维人脸通用网格模型

4.3.2通用网格模型的特定化

4.3.3 FDP及FAP的修改

4.3.4特定人脸FAP参数计算

4.4本章小结

第5章系统框架及实验结果

5.1系统框架

5.2实验结果及分析

5.3本章小结

结论

参考文献

攻读硕士学位期间发表的学术论文

致谢