基于单幅照片与统计模型的三维人脸重建

摘要

脸部具有非常复杂的生理构造，富含重要的生理与心理信息，同时也是非常重要而又复杂的交流通道。人脸建模和人脸动画是目前计算机图形学、计算机视觉领域最根本、最困难的问题之一，同时该问题也是包括生理学、心理学、物理学等多个领域的跨学科问题。该问题的研究和解决可以为复杂的建模提供借鉴，对于类似的科学问题具有重要的促进意义。除了具有重要的科学研究意义，真实感人脸建模还具有广泛的实际应用。人脸建模和动画在影视制作、视频电话、视频会议、电脑游戏、人脸识别、人机交互、虚拟现实、医学、公共安全等多个领域都具有广阔的应用前景。就目前来说，基于图像的三维人脸重建技术是国际国内的研究热点，而基于单幅图像的三维重建技术是难度较高的一种，但国内相关内容较少。本文正是在此背景之下深入研究了基于单幅图像和统计模型的三维人脸重建技术，提出了新的建立统计模型的方法和快速高效的重建方法。具体研究内容可以分为以下几个部分：1)深入分析总结前人研究成果的基础上，详细讨论了三维人脸重建技术的研究现状与应用，重点介绍了基于单幅照片的人脸重建方法。2)研究建立三维人脸统计模型的一般方法，并提出了新的统计模型建立方法。三维人脸统计模型的建立的核心步骤是确立三维人脸数据库中点对点的对应关系。由于三维人脸数据点多，人脸生理结构复杂，因而确立点对点的对应关系是非常棘手的问题。本文在结合二维和三维信息的基础上，利用薄板样条函数(Thin Plate Splines)有效地确立了点对点的对应关系。3)提出了高效率的基于单幅图像的重建方法。只用一副正面人脸图像重建其对应的三维人脸。重建过程包括其三维形状重建和纹理重建两个部分。形状重建在标记点的基础上，利用最优化算法得到人脸形状系数，根据此系数可得到对应的三维形状。为了提高重建效率，纹理的重建不再采用最优化算法，而是直接采用纹理映射并辅以一定的仿射变换，这种可保证真实感的基础上大大缩短了重建时间。对于以上几个方面的研究，本文主要在以下几个方面具有创新之处，并获得了一定的研究成果。1)结合二维和三维信息，创新性地提出了新的确立点对点对应关系的方法，并建立BJUT-3D三维人脸库的统计模型；2)只用一幅图像进行重建；3)三维重建时间大大减少，在Matlab下平均重建时间为4s

目录

摘要

ABSTRACT

第一章 绪论

1.1 三维人脸建模技术概述

1.2 三维人脸模型重建方法

1.2.1 人脸参数模型

1.2.2 生理肌肉模型

1.2.3 基于图像的视觉建模

1.2.4 合成分析的形变模型法

1.3 基于单幅照片的三维人脸重建方法概述

1.3.1 明暗恢复形状法

1.3.2 模型辅助法

1.4 本文研究的内容及其意义

1.5 本文结构

第二章 三维数据库与人脸统计模型

2.1 三维数据库介绍

2.1.1 人脸数据的获取

2.1.2 BJUT-3D 人脸数据库

2.2 点对点对应关系的确立

2.2.1 基于机器学习的形变法

2.2.2 基于光流的对应法

2.2.3 基于网格重采样的对应算法

2.2.4 基于薄板样条函数（TPS）的变形法

2.3 统计模型的建立

2.3.1 定义人脸向量

2.3.2 主成分分析（Principle Component Analysis, PCA）

2.4 本章小结

第三章 基于单幅图像的三维人脸重建

3.1 先进重建算法介绍

3.1.1 牛顿随机最优化（Stochastic Newton Optimization, SNO）

3.1.2 反向合成图像对齐(Inverse Compositional Image Alignment, ICIA)

3.1.3 形状对齐与插值法修正（Shape Alignment and Interpolation Method Correction ，SAIMC）

3.2 基于单幅照片与统计模型的三维人脸重建

3.2.1 列文伯格-马夸尔特优化

3.2.2 形状重建

3.2.3 纹理恢复

3.3 实验结果

3.3.1 时间效率

3.3.2 真实感

3.3.3 需改进之处

3.4 本章小结

第四章 总结与展望

4.1 本文总结

4.2 工作展望

参考文献

致谢

攻读硕士期间发表的学术论文目录