基于扫描数据的三维人脸表情合成

摘要

表情是除语言外传递信息的最佳途径，是体现情绪状态的直接通道。虽然表情仅产生于面积有限的脸部，但通过协调控制43块表情肌，可以组合出上万种表情。俗话说“出门看天色，进门看脸色”，透过表情可以观察人物内心情感世界，因此表情成为心理学科中重要的研究内容；与此对应，自发明计算机以来，人们就期望有一天它能像人类一样自如地通过表情表达情感，虽然至今为止，该目标并未完全实现，但人脸表情合成与识别的阶段性研究成果已经在数字娱乐、人机交互及计算机安全领域获得应用。如今，随着三维扫描设备及计算机设备不断改进，基于扫描数据的真实三维人脸表情合成及识别已经成为计算机图形学与视觉领域的热点。本文以建立基于真实三维人脸数据的表情合成系统为主线，详细研究三维人脸数据处理和表情合成中的理论及关键算法。论文的主要贡献如下：
　　 第一，受三维扫描设备能力所限及高光影响，三维人脸表情数据通常带有缺失区域，并且在某些应用中分辨率不足。为了解决这个问题，提出一种名为“双边径向基函数曲面”的重建技术。首先，通过与经典物理学中的平板电容模型类比，将三维曲面表达为平板电容的零等势面；接着由三维人脸点云数据，产生对应的正负电荷对，并初始化电荷能量配置；然后通过一种非线性优化算法不断调整电荷对的空间位置及能量配置，达到精确拟合曲面的目的；最后使用GPU加速技术可视化零等势面，得到人脸高分辨率点云模型。
　　 第二，为了合成具有真实感的三维人脸表情，提出一种基于稀疏编码的表情合成方法。该方法源于人类神经系统使用稀疏形式表达物体的特点。首先通过稀疏编码提取同一人脸不同表情的共同特征；接着由任意输入的自然表情自动恢复出基本表情；然后通过给定插值系数或表情样例的方式合成新表情；同时，通过引入部分投影法，还能有效修复带噪声和不完整的三维人脸表情数据。
　　 第三，为了适应人脸表情非线性分布的特点，提出一种基于非线性子空间的表情合成框架。首先分析人脸表情合成中的三个基本问题，将其归纳为“联合学习”过程；为了实现联合学习，在非线性子空间方法中引入投影约束，使得具有共同属性(如带有相同表情或属于同一人脸)的人脸表情在对应子空间中具有相同的坐标；接着通过投影与坐标传递，人脸基本表情可以由给定的自然表情得以合成；同时还能解决表情克隆和人脸表情数据修复问题。
　　 第四，为了将本文提出的三维人脸表情合成中的关键技术转化为实际应用，开发了基于扫描数据的三维人脸表情合成原型系统。

目录

文摘

英文文摘

图目录

表目录

第1章 绪论

1.1 课题背景

1.2 三维人脸表情合成的难点

1.3 论文的主要目标和工作

1.3.1 人脸重建技术

1.3.2 基于稀疏编码的表情合成技术

1.3.3 基于径向基函数联合学习的表情合成技术

1.3.4 人脸表情合成交互系统

1.4 论文组织

第2章 三维人脸表情合成相关技术综述

2.1 三维数据获取

2.1.1 被动式方法

2.1.2 主动式方法

2.2 三维重建

2.2.1 全局拟合

2.2.2 分片拟合

2.2.3 点集曲面方法

2.2.4 其它曲面重建方法

2.3 传统三维人脸表情合成方法

2.3.1 基于物理模拟的合成方法

2.3.2 基于插值的表情合成方法

2.3.3 参数化合成方法

2.3.4 数据驱动表情合成方法

2.4 基于机器学习的三维人脸表情合成

2.5 本章小结

第3章 三维人脸重建

3.1 研究背景

3.2 平板电容模型与隐曲面重建

3.3 问题定义与双边径向基函数曲面算法流程

3.4 双边径向基函数曲面拟合

3.4.1 模型初始化

3.4.2 模型优化

3.5 多层拟合模型

3.6 双边径向基函数曲面可视化

3.6.1 等值面跟踪

3.6.2 基于GPU加速的可视化方法

3.7 实验结果与分析

3.8 本章小结

第4章 基于稀疏编码的三维人脸表情建模

4.1 研究背景

4.2 稀疏编码

4.3 三维人脸表情合成问题

4.4 基于交互的表情合成

4.4.1 基本表情合成

4.4.2 基于表情空间插值的表情合成

4.5 基于样例的表情合成

4.5.1 基本表情合成

4.5.2 表情传递

4.6 不完整及带噪声的表情数据修复

4.7 实验结果

4.7.1 数据获取

4.7.2 数据对齐

4.7.3 实验比较

4.8 分析与讨论

4.9 本章小结

第5章 基于径向基函数联合学习的三维人脸表情建模

5.1 研究背景

5.1.1 基于交互的表情合成

5.1.2 表情克隆

5.1.3 人脸数据修复

5.1.4 表情合成问题归纳

5.2 基于径向基函数的联合学习方法

5.3 基于交互的表情合成

5.3.1 基本表情合成

5.3.2 基于子空间插值的表情合成

5.4 基于样例的表情合成

5.4.1 基本表情合成

5.4.2 表情传递

5.5 基于联合学习的表情数据修复

5.6 实验结果

5.7 比较与分析

5.7.1 与传统线性模型的比较

5.7.2 与稀疏编码模型的比较

5.8 本章小结

第6章 三维人脸表情合成原型系统

6.1 系统框架

6.2 系统运行环境

6.3 各模块功能简介

6.3.1 基本数据处理模块

6.3.2 三维人脸重建模块

6.3.3 人脸表情对齐模块

6.3.4 表情合成模块

6.4 本章小结

第7章 总结与展望

7.1 本文总结

7.2 研究工作展望

参考文献

攻读博士学位期间主要的研究成果

致谢