基于图片序列的三维人脸重建方法研究

摘要

客观世界是三维的，对三维物体进行分析在很多领域都有重要应用，利用简单的二维信息获得三维模型是人们一直探索的主题。现在有很多种重建三维人脸模型的方法，可以根据单幅图像或多幅图像序列重建三维人脸模型，或者利用硬件设备扫描进行三维重建。单视图的三维人脸重建是根据一张人脸正视图来拟合标准人脸模板，会丢失深度信息。而多视图的三维重建只需几幅人脸图片就可以重建三维人脸点云，总的来说，设备要求比较低，实现起来比较容易。
　　本文主要内容是基于多幅图像序列进行人脸表面重建，利用标定好的相机从不同角度拍摄被测人脸的三到六副图像，对人脸特征点进行特征提取和图片序列的特征点匹配，然后获得人脸的三维稀疏点云，对点云进行精简和优化，得到最后的三维人脸模型。本文的主要贡献如下：
　　（1）本文提出了一种局部特征和全局特征加权的特征提取算法。局部特征可以提取人脸关键特征点，但是没有全局特性，不能获得人脸主轮廓特征点；而全局特征可以。本算法利用多层卷积网络的深度学习方法定位人脸全局特征点，在此基础上对人脸进行局部特征提取，获得更多有效人脸特征点。实验结果表明局部特征和全局特征的加权特征提取算法对人脸特征点的提取效果表现好。
　　（2）本文提出了一种邻近点比值选择的人脸特征点匹配算法，对于多个相似特征点的选择，我们针对人脸特征比值选择适合的阈值，并通过实验选择适合的比值阈值，该算法提高了人脸特征匹配的正确率。
　　（3）本文提出了一种点云精简配准优化算法，引用敏感哈希查找邻近点的思想，将三维点云映射到一个平面上，减少了邻近点云的查找时间，效率大大高于基于Kd树优化算法。

目录

声明

引言

1 三维人脸重建相关工作介绍

1.1 选题背景及意义

1.2 三维重建在国内外研究现状

1.3 主要内容及论文章节安排

2 相机标定方法

2.1 相机标定理论

2.2 常用的相机标定方法

2.3 基于模板的相机标定

2.4 相机标定实验及结果分析

2.5 本章小结

3 人脸特征点提取

3.1 角点和尺度空间

3.2 人脸特征点提取算法

3.3 人脸特征提取实验结果

3.4 本章小结

4 人脸特征点匹配

4.1 特征点匹配标准

4.2 实验结果与分析

4.3 本章小结

5 基于图片的三维人脸重建

5.1 点云的三维重建

5.2 点云去噪优化

5.3 人脸点云信息的匹配融合

5.4 基于八叉树的人脸点云精简算法

5.5 本章小结

6 总结与展望

6.1 本文主要研究工作

6.2 本文主要创新点

6.3研究展望

参考文献

在 学 研 究 成 果

致谢