基于单张照片的三维人脸重建算法研究

摘要

伴随经济日渐繁荣和科学技术日新月异，人类在物质需求和精神层面都有了更高的追求。在游戏动漫、影视剧作、医疗美容、视频通讯和信息安全等众多方面，不再满足于二维世界带来的视觉感官体验，3D电影、电视，游戏动漫等应运而生。其中，三维人脸建模由于直观的显示效果和广泛的应用场景，成为目前科学研究领域和实际工程项目中的一个关注热点。相对于传统的基于三视图、多视图以及视频流的三维人脸重建，基于单张照片对人脸进行重建需要的用户输入量最少，因此是目前研究的重点。然而由于人脸面部构造极为复杂，并且不同人脸之间的差异巨大，只通过单张人脸照片很难直接获取人脸的深度数据，其实际执行操作更具挑战性。因此，本课题的开展极具研究价值和实用价值。
　　本研究主要内容包括：⑴提出了一种基于特征融合的面部特征点深度恢复算法。首先，对人脸数据库采取预处理工作，获取三维模型对应的二维面部图像;其次通过显式形状回归的方法获取面部特征点位置信息;之后，提取面部几何特征，依据所获得的关键点对人脸进行Delaunay三角剖分，划分人脸特征区域，通过比对待恢复人脸与数据库人脸特征区域的几何特征距离相似度，完成基于几何特征的深度信息恢复;接着，提取局部纹理特征，以关键点划分局部纹理区域，并进行区域局部二值模式算子直方图统计，通过衡量待恢复人脸与数据库人脸的直方图距离相似度，完成基于局部纹理特征的深度恢复;最后，运用最小二乘法进行特征融合，提高特征点的恢复准确度。本文提出的基于特征融合的人脸特征点深度恢复算法，所使用的特征易于提取并且算法复杂度低，实验结果表明恢复的面部特征点深度信息较为精确。⑵提出了两种三维人脸模型的纹理映射算法。基于约束细化Delaunay三角剖分的纹理映射方法是通过关键点计算二维图像和三维模型之间的投影关系,对关键点构建的特征区域进行撒点插值，进行进一步约束细化的Delaunay三角剖分，依据不同区域的映射关系，完成三维人脸的建立以及对应纹理的贴附。基于径向基插值的纹理映射方法是通过已知特征点信息对径向基网络进行拟合训练，形成特定人脸对应的径向基网络，然后对非特征点经构建完成的网络实现插值映射，重建特定的人脸模型。相较于传统的方法，本文提出的方法不需要进行大量的人机交互操作，在使用少量数据的基础上重建出了较为真实的人脸模型，适合应用在实际工程中。

目录

声明

摘要

符号说明

1．1 课题来源与项目支持

1．2 课题背景及意义

1．3 国内外研究现状

1．3．1 国外研究觋}状

1．3．2 国内研究现状

1．4 主要研究内容

1．5 论文结构安排

第二章 三维人脸重建相关技术综述

2．1 三维人脸重建现有方法

2．1．1 基于明暗恢复形状的三维人脸重建

2．1．2 基于形变模型的三维人脸重建

2．1．3 基于立体视觉的三维人脸重建

2．2 纹理特征提取方法

2．2．1 灰度共生矩阵简介

2．2．2 Gabor小波简介

2．2．3 局部二值模式筒介

2．3 三维人脸数据库概述

2．4 本章小结

第三章 基于特征融合的人脸特征点深度恢复

3．1 基于特征融合的人脸特征点深度恢复算法流程设计

3．2 三维人脸数据库预处理步骤

3．3 基于显式形状回归的人脸特征点检测

3．4 Delaunay三角剖分技术概述

3．4．1 Voronoi图

3．4．2 三角剖分

3．4．3 Delaunay三角剖分

3．5 基于几何特征的人脸深度恢复

3．6 基于局部纹理特征的人脸深度恢复

3．6．1 人脸图像灰度化

3．6．2 纹理特征提取

3．6．3 基于局部纹理特征的人脸深度恢复算法设计

3．7 基于最小二乘法的人脸特征融合

3．8 实验结果分析

3．9 本章小结

第四章 人脸模型重建与纹理映射

4．1 OpenGL简介

4．2 纹理映射方法概述

4．2．1 纹理映射概念

4．2．2 纹理类型分类

4．3 基于约束细化Delaunay三角剖分的纹理映射

4．4 基于径向基插值的纹理映射

4．4．1 径向基函数简介

4．4．2 基于径向基插值的纹理映射实现过程

4．5．1 三维人脸模型基本实现

4．5．2 三维人脸纹理贴图实现方法

4．5．3 三维人脸动态显示实现方法

4．5．4 三维人脸模型重建结果分析

4．6 本章小结

5．1 总结

5．2 未来工作展望

参考文献

致谢

攻读硕士研究生期间的科研成果