基于多目立体视觉的真实人脸重建和测量系统的研究

摘要

随着社会发展，人们越来越重视美丽，颌面整形变得流行起来。然而，当前医生缺乏一种有效的工具对需要颌面整形的病人进行术前评估，也不能可视化地给病人展示治疗过程或者做出精准的术后预测。医生迫切需要一个用于虚拟整形手术的容易操作、高精度的人脸三维成像和测量系统。
　　本文提出一种基于多目立体视觉的真实人脸重建与测量系统。该系统属于被动立体视觉测量技术，对人无侵入，无干扰，不需要标记，脸部涂料或结构光。同时，本文的系统可以做到瞬时采集，单次拍照即可重建高质量的有真实感的人脸网格模型，被试者几乎不用等待就可以完成采集。本文的主要工作和创新如下：
　　（1）本文设计并实现了一个用于多目立体视觉成像的硬件设备。该硬件设备安装五个消费级数码摄像机和四个软光照明箱，在正对人脸的相机上方安装一面镜子，保持镜子表面和相机光轴垂直。本文用该系统测试了多个被试，都取得了很好的结果，并和激光扫描结果做了对比，平均误差小于0.370mm，表明本文的多目立体视觉重建系统是可靠的。
　　（2）本文提出一种多目相机系统的标定方法，该方法借鉴医生检查病人的方法，在采集图像的时候要求测试者目视中间相机上方镜子中自己的眼睛，经过标定后就可以取得一个正视姿势的人脸模型。模型保持正视图位置，在手术模拟等医学等应用中是很有帮助的。
　　（3）本文提出一种改进的基于金字塔分层的立体匹配算法，本文算法的改进在于设置对称分布的相机采集数据，利用对侧的数据填充本侧图像匹配中出现的孔洞，改进了匹配结果。该算法由低分辨率的匹配迭代出高分辨率的匹配，每一次迭代过程，使视差图变得更加精细。
　　（4）本文研究了计算机图形学的光照原理，实现了一种光照约束的能量最小化网格去噪方法，将原始图像的色彩值和网格模型的反射光强度联系起来，克服了传统去噪方法丢失高频细节的缺点，结果表明去噪效果良好。
　　（5）本文提出了一种交互提取人脸轮廓线的方法，用户通过鼠标选取一个平面，通过该平面和人脸模型的交线提出人脸的轮廓线。结果证明该方法简单可靠，可以作为人脸的特征分析、模拟正畸手术等应用的基础。
　　（6）本文采用OpenCV、OpengGL、Vcglib等计算机图形C/C++库，在windows平台上开发了一套软件，实现了人脸图像采集、存储、重建、测量等诸多功能。该软件的重建工作流程包括:立体视觉标定、图像采集、立体匹配、数据融合、表面重建和纹理映射。经过一次标定后，软件完全自动运行，不需要为个别人调整软件参数，也不需要人工处理，系统自动重建一个人脸模型。本文开发的三维人脸测量软件可以实现诸多测量功能，如面部两点间距离，测地距离，轮廓曲率等。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1 研究工作的背景与意义

1.2 三维人脸成像发展现状

1.3 本文的主要贡献与创新

1.4 本论文的结构安排

第二章 基于多目立体视觉三维重建的研究

2.1 立体视觉中深度计算的原理

2.2 三维重建的一般工作流程

2.3 多目立体视觉重建的发展

2.4 三维重建中存在的困难

2.5 本文系统设计

2.6 本章小结

第三章 一种正视的多目相机系统标定方法

3.1 相机标定方法回顾

3.2 正视的多目相机系统标定法的实现

3.3 实验结果

3.4 本章小结

第四章 一种改进的基于金字塔分层的立体匹配算法

4.1 立体匹配中的困难和约束条件

4.2 立体匹配方法回顾

4.3 基于金子塔分层的立体匹配算法的实现

4.4 实验结果

4.5 本章小结

第五章 一种光照约束的多目重建能量最小化去噪算法

5.1 三维重建去噪方法回顾

5.2 利用点云之外的信息平滑网格

5.3 能量最小化的图像去噪方法的研究

5.4 光照约束的多目重建能量最小化去噪算法的实现

5.5 实验结果

5.6 本章小结

第六章 三维人脸测量系统的实现

6.1 三维人脸测量系统

6.2 一种交互式轮廓线提取方法

6.3 一种交互式网格分割方法

6.4 本章小结

第七章 全文总结和展望

7.1 总结

7.2 展望

致谢

参考文献

硕士期间取得的研究成果