基于立体视觉的高精度三维人脸重建

摘要

如何生成真实感三维人脸模型是计算机图形学和计算机视觉领域一个重点研究课题，当前三维人脸建模技术应用领域涵盖计算机人脸动画、影视、虚拟现实、人脸识别、游戏等多个方面。
　　 本文提出了一个使用立体视觉技术进行高精度三维人脸重建的方法。问题求解的关键在于如何在人脸图像大多区域纹理特征稀少的情况下设计有效的立体匹配算法。我们使用高分辨率图像进行人脸重建，通过使用图像金字塔把问题的求解分解成视差图初值计算和视差图优化两个基本步骤。对于视差图的计算，本文根据人脸图像特点，采用局部和全局立体匹配方法相结合的方式，首先使用匹配扩散方法对人脸图像具有明显特征的区域进行匹配，然后使用全局动态规划方法计算余下纹理稀少但平滑性较好的区域来生成稠密的视差初值。匹配扩散方法基于区域生长思想，其首先匹配图像明显特征作为匹配种子点，然后在种子点邻域内不断寻找更多的对应点来生成准稠密的视差图。结合构建的图像金字塔，本文把匹配扩散方法扩展到多层上。我们首先选取图像金字塔多层，然后通过拼合不同层稀疏或准稠密的匹配信息来生成各层匹配种子点并进行匹配扩散，最后通过多层匹配扩散结果的相互检查和融合得到更加准确和稠密的视差初值。对视差图的优化，本文参考Beeler的优化方法[9]，采用由图像颜色匹配一致项和平滑项确定的迭代优化策略。另外，我们利用ICP算法对不同人脸重建区域进行配准，实现了使用单对相机的完整人脸重建。
　　 在本文中，我们还把方法扩展到使用低分辨率图像进行重建，首先使用多尺度的匹配扩散方法计算深度图初值，然后在各层上使用与视差图优化相似的方法进行深度图优化。在优化中，我们依据visual grouping概念把距离相似性和颜色相似性添加到平滑项的定义中，提高了重建结果的细节表现能力。