基于视频驱动的卡通人脸动画研究

摘要

所谓视频驱动就是对视频中的人脸进行跟踪，利用人脸的表情信息驱动卡通人脸模型，使其产生一致的动画效果。视频驱动的人脸动画一直是计算机图形学和计算机视觉研究领域中的难点，并成为近年来的研究热点，在视频会议、网络游戏、数字娱乐等诸多方面有着非常广泛的应用。本文重点研究三个方面的内容：人脸特征定位及人脸匹配、视频人脸特征跟踪以及基于MPEG-4的二维卡通人脸动画技术。 在人脸特征定位中本文先对ASM进行改进，然后设计一个层次人脸特征编辑工具。并将改进后的ASM与Hausdorff距离相结合提出一种人脸相似度匹配的算法。 在视频人脸特征跟踪中，使用ASM对人脸进行定位，根据特征点所在人脸部位具有不同的纹理特征进行分组，提出在不借助任何外部条件(如贴标记点)的情况下对不同组特征点采用不同的跟踪方法。首先，对于纹理变化不大的眉部等一组特征点，采用光流方法进行跟踪，同时对其进行了改进，将通常只参考前一帧图像改为利用初始帧和前一帧的加权和进行预测，提高了光流跟踪的准确性。其次，对于嘴部特征点，通过分析其多样的纹理信息，采用弹性图匹配的方法进行跟踪。该方法中，Gabor变换能够提取特征点周围丰富的频域特征而助于跟踪，但速度慢，无法实时。本文通过光流预测、Jet值估计等方法提高了匹配时的搜索速度以满足实时要求。再次，对于眼皮上的特征点，因眼睛周围有着特殊的边缘纹理特征，可采用二值化方法得到特征点的大致位置以达到跟踪的目的。实验表明，将这三种方法相结合进行人脸特征点的跟踪是有效的。 在基于MPEG-4的二维人脸动画技术中，本文将针对于三维人脸设计的MPEG-4人脸动画机制中的FAP和FDP参数进行了修改，使其符合本文的二维卡通人脸动画。这样，既满足了实际需要的同时，又提高了表情动画的合成速度。 最后，在以上各项研究的基础上，构建了视频驱动下的卡通人脸动画系统。该系统可完成视频人脸的定位及跟踪，FAP流驱动的卡通人脸动画等功能，具有很强的娱乐色彩。

目录

文摘

英文文摘

声明

第一章前言

1.1研究背景及意义

1.2国内外研究发展现状

1.2.1面部特征定位

1.2.2人脸跟踪

1.2.3人脸建模

1.2.4人脸动画

1.3文章的研究内容和组织结构

第二章人脸特征定位人脸匹配研究

2.1问题提出

2.2 ASM人脸定位方法

2.2.1形状建模

2.2.2局部纹理建模

2.2.3 ASM目标搜索过程

2.2.4 ASM方法的改进

2.3层次性人脸特征编辑工具

2.3.1功能结构图

2.3.2功能说明

2.4基于ASM的人脸匹配算法

2.4.1人脸检索系统框架

2.4.2 Hausdorff距离及其改进方法

2.4.3基于改进Hausdorff距离的人脸相似度匹配算法

2.4.4人脸相似检索实验和结果

2.5本章小结

第三章视频人脸特征跟踪

3.1 问题的提出

3.2人脸特征点跟踪

3.2.1基于光流的特征点跟踪

3.2.2基于弹性图匹配的特征点跟踪

3.2.3基于图像二值化的特征点跟踪

3.3本章小结

第四章基于MPEG-4的二维人脸动画技术

4.1问题的提出

4.2背景知识

4.2.1FDP、FAP以及FAPU的人脸定义

4.2.2基于FAP的人脸动画

4.3基于MPEG-4的二维人脸动画数据获取

4.3.1二维人脸通用网格模型

4.3.2通用网格模型的特定化

4.3.3FDP及FAP的修改

4.4二维人脸动画实现

4.4.1人脸动画规则及动画定义表的建立

4.4.2特定人脸FAP参数计算

4.4.3纹理映射

4.5二维人脸动画数据编辑工具

4.6本章小结

第五章系统框架及实验结果

5.1系统框架

5.2实验结果及分析

5.3本章小结

结论

致谢

参考文献

攻读硕士学位期间完成的学术论文