基于Blendshape的人脸表情动画生成的研究与实现

摘要

人脸表情动画是计算机视觉、计算机动画、虚拟现实等领域研究的热点和难点之一。在人脸表情动画逐渐发展的近二十年里，国内外很多学者在相关领域开展了大量研究工作，取得了丰富的理论和实践成果，包括人脸表情数据的捕捉方式研究，表情动画真实感的研究，表情动画生成系统的设计和开发等。本文针对表演驱动的表情动画方法进行研究，研究内容主要包括表情数据的捕获、人脸表情子空间的建立以及Blendshape表情基的自动生成三个方面，具体研究内容及创新点归纳如下:
　　1.提出一种基于张量(Tensor)构建人脸表情子空间的方法。该方法的核心思想是找到一个核张量张成的覆盖全部训练样本的表情子空间，并利用这个核张量对新的表情数据进行拟合。由于基于张量的方法在构建人脸表情子空间的过程中使用了多个人脸对应的多个表情数据，因此，该方法较常规的PCA构建子空间的方法更能体现数据的细节特征，并且在拟合精度上优于基于PCA的方法。实验表明，基于张量构建的人脸表情子空间泛化能力更强，更能胜任拟合表情训练样本中不存在的人的面部表情。
　　2.提出一种基于样例的Blendshape表情基自动生成方法。该方法首先通过使用变形传输技术，实现源模型到目标模型的粗粒度映射;然后针对目标模型建立梯度空间的约束，形成关于表情基调整的最优化问题;最后使用交替迭代方法优化目标模型的拓扑结构。实验表明，该方法是切实可行的，同时能在一定程度上提高目标模型的真实感，生成高质量、个性化的Blendshape表情基。
　　3.设计并实现了基于Kinect摄像机与OGRE三维渲染引擎结合的表演驱动人脸表情动画系统。本系统具有设备简单、廉价、精度高、实时预览表情动画效果、单人独立操作等优点。

目录

声明

摘要

插图索引

附表索引

第1章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．2．1 国外研究现状

1．2．2 国内研究现状

1．3 本文主要工作

1．4 本文组织结构

第2章 相关技术和知识

2．1 Blendshape动画技术

2．1．1 Blendshape概念

2．1．2 Blendshape分类

2．1．3 Blendshape权值

2．1．4 重定向方法的分类

2．2 张量

2．2．1 基本概念

2．2．2 张量分解

2．3 表情映射

2．3．1 解一般二次规划的有效集法

2．3．2 计算Blendshape权重

2．4 非线性最小二乘问题

2．4．1 问题描述

2．4．2 Gauss-Newton(G-N)法

2．4．3 Levenberg-Marquardt(L-M)法

2．5 小结

第3章 表情数据捕获和表情子空间建立

3．1 表情数据捕获

3．1．1 三维数据捕获技术

3．1．2 基于光学运动捕捉人脸数据

3．1．3 基于Kinect捕捉人脸数据

3．2 表情子空间建立

3．2．1 三维人脸特征点提取

3．2．2 基于PCA构建表情子空间

3．2．3 基于张量构建表情子空间

3．3 实验结果

3．4 小结

第4章 基于样例的Blendshape表情基自动生成

4．1 常用面部模型库

4．2 变形传输

4．2．1 变形传输定义

4．2．2 顶点公式表示

4．2．3 对应关系设置

4．3 Blendshape表情基自动生成

4．3．1 基于样例的表情合成技术

4．3．2 基于样例自动生成表情基

4．3．3 优化Blendshape表情基

4．3．4 优化混合权重

4．4 实验结果

4．5 小结

第5章 表演驱动人脸表情动画系统实现

5．1 系统框架设计

5．2 系统环境配置

5．3 系统模块功能

5．4 系统优势分析

5．5 小结

结论

参考文献

附录A 读研期间发表学术论文和参与科研项目

致谢