数据驱动的实时人脸表情动画研究

摘要

数据驱动的实时的人脸表情动画需要能够快速的重建出具有丰富而细腻表情的面部模型。科学工作者对于人脸动画方面的研究已经有很多年了，期间有很多优秀的研究工作者提出很多新颖独特的技术方法，也产生了很多优秀的系统，随着硬件水平的大幅度提高，人们利用先进的运动捕捉设备可以精确捕捉到人面部的细微运动，然而如何利用廉价的运动捕捉设备实时重建出具有真实细腻的人脸表情模型是当前该领域炙手可热的课题。
　　人脸表情重建的目标就是将表演者的面部表情动作迁移到另一个中性人脸模型上，也就是将代表表演者面部动作的特征点的运动向量通过算法处理映射到重建的目标模型上，利用变形算法的保留几何特征的特性重建出具有细腻且真实感强烈的表情模型。随着人物特效在电影制作以及动画制作中的大量应用，如何快速重建出表情细腻的目标模型成为时下热门的研究方向。
　　本文主要实现一种基于数据驱动的实时的人脸表情重建技术。利用廉价的数据捕捉设备获取表演者面部表情数据，从中选取可以表示人脸表情动作的特征点，实时追踪特征点的运动，构建出一个覆盖整个人脸的简易网格模型，将捕获的人脸特征点分为上中下三部分，同时将目标模型分为三块，利用径向基插值变形算法将源模型上顶点的运动向量映射到目标模型上，最后将经过变形处理的模型的三个部分进行融合处理重建出完整的目标模型，本文通过大量实验证明该方法可以快速重建出质量较高表情细腻的模型。
　　本文利用基于径向基插值的变形算法以及基于拉普拉斯的变形算法分别进行了实时的表情重建实验，并提出一种结合最短路径与径向基插值的网格变形方法。首先利用数据捕捉设备获取人脸特征点数据，从中选取作为变形使用的控制点。接着利用迪杰斯特拉算法计算出控制点到其它各顶点的最短路径。然后将此最短路径替换径向基变形算法中特征点到其它顶点的欧几里德距离。最后计算得到变形之后所有顶点的位移完成目标模型重建。通过本文实验对比，该方法不仅可以对源模型的表情动作进行快速重建，而且充分考虑了控制点对周围顶点的影响因子，使得最终的变形保存了原始的几何特征。

目录

声明

第一章 绪论

1.1 课题背景和研究意义

1.2 国内外技术现状

1.3 表情动画的应用

1.4 本文的主要研究内容及章节安排

第二章 人脸表情动画

2.1 基于二维图像的方法

2.2 基于三维模型的方法

2.3 基于数据驱动的方法

2.4 基于网格变形的算法

2.5 本章小结

第三章 单帧的三维人脸表情重建的实现

3.1 源模型数据捕捉

3.2 选取控制点

3.3 选取基本表情

3.4 目标模型建立

3.5 表情迁移

3.6 实验结果

3.7 本章小结

第四章 数据驱动实时的人脸表情动画的实现

4.1 人脸实时追踪

4.2 选取变形控制点

4.3 模型数据匹配

4.4 添加纹理

4.5 三维人脸表情重建

4.6 分块融合

4.7 实验结果及讨论

4.8 本章小结

第五章 总结与展望

5.1 总结

5.2 展望

参考文献

攻读学位期间所取得的相关科研成果

致谢