基于图像序列的人脸三维重建的设计与实现

摘要

随着科学技术水平的提高，三维重建技术快速更新进步，在计算机视觉、虚拟现实等方面有广泛的应用。三维重建技术中的人脸三维重建在现实生活中的诸多应用，如虚拟试衣、虚拟发型变换、三维人脸识别、视频会议、影视制作、生物鉴别等，为人们的生产和生活带来了越来越多的便利，并以其“实时性”和“交互性”赢得了广泛关注。由此可见，对人脸三维重建技术的研究非常重要。
　　为了满足普通大众用户在虚拟发型变换等系统中对三维人脸的需要，综合考虑用户的使用情况、系统的可用性及实时性等的要求，本设计以调用计算机网络摄像头的方式来获得人脸的图像信息，通过采集视频获取人脸的图像序列并融合三维可变形人脸网格模型进行人脸的三维重建。本设计采用一种改进的PCA算法，以序列图像相邻帧人脸PCA系数的补偿量按其权系数迭代优化形变模型的PCA系数以重建人脸的三维形状与颜色信息，并利用加权平均Isomap算法将序列图像每一帧中人脸各点纹理Isomap特征值按其权重求和以重建人脸的纹理信息，实现自动、实时的人脸三维重建。
　　在算法方面，除了对三维重建的常见方法及多视图几何的常见概念进行了研究，针对本设计的应用场景及用户的使用情况，提出了本设计人脸三维重建的基本设计思路，研究了其过程中的各项关键技术并选取了适合于本设计的算法。
　　在程序设计方面，以Windows为平台，采用Visual C++为开发环境，结合以机器视觉库OpenCV为主的图像处理工具，编写了人脸三维重建的应用程序，其功能模块包括图像获取、人脸检测、特征点提取、三维人脸重建等。详细分析了其技术流程并对各功能模块的结果进行了测试。通过对比人脸不同姿态三维重建的结果、人脸不同光照背景下三维重建的结果以及不同人脸三维重建的结果，验证了系统的性能。
　　本设计的人脸三维重建具备重建速度快、真实感较强、图像采集设备简单普遍、建模成本低等优点。在视频场景下，当姿态或外部光照变化时，系统对不同人脸仍能取得良好的重建效果，鲁棒性高，符合设计的初衷。

目录

声明

摘要

第1章 引言

1．1 研究的背景和意义

1．2 国内外研究现状和趋势

1．2．1 人脸三维重建的研究现状

1．2．2 人脸三维重建的发展趋势

1．3 研究的关键内容

1．4 本文的主要工作及组织结构

第2章 人脸三维重建技术的相关理论

2．1 人脸三维重建技术的分类

2．2 人脸三维重建技术的常见算法

2．3 多视图几何的常见概念

2．3．1 相关坐标系

2．3．2 小孔成像原理

2．3．3 空间变换方法

2．4 本章小结

第3章 本设计人脸三维重建的关键技术

3．1 基本思路

3．2 图像获取

3．2．1 图像获取方式

3．2．2 图像预处理

3．3 人脸检测

3．4 特征点提取

3．5 人脸一般模型的建立

3．6 人脸三维重建

3．6．1 模型调整

3．6．2 纹理映射

3．7 本章小结

第4章 人脸三维重建的程序设计

4．1 开发环境的选择

4．2 人脸三维重建的设计思路

4．3 各程序功能模块

4．4 本章小结

第5章 人脸三维重建程序的测试与分析

5．1 不同姿态下人脸三维重建的结果与分析

5．2 不同光照背景下人脸三维重建的结果与分析

5．3 不同人脸的三维重建结果与分析

5．4 本章小结

结论

致谢

参考文献

攻读学位期间取得学术成果