单目图像中带有表情的人脸曲面恢复关键技术研究

摘要

在人机交互、模式识别等领域,人脸与面部动作及表情相关问题的研究具有重要的理论价值和巨大的应用前景,一直受到人们的广泛重视。以往,不论是人脸识别还是表情识别,主要研究工作都是针对二维人脸的。随着研究的深入,二维人脸图像信息量的缺乏导致其技术应用受到制约和局限,如不能有效应用于处于不同姿态的人脸表情识别等,同时现实世界中大量存在的图像或视频为单目成像,因此,在人脸表情分析领域,单目图像中带有表情的人脸曲面恢复技术可以有效的利用已有的图像和视频,为表情识别以及其他人脸相关的技术提供较丰富的信息,因而受到越来越多学者的重视和研究。
　　基于明暗的人脸曲面恢复技术具有快速恢复,以及不需要预先构造精细的人脸曲面模型等特点,但该技术无法准确恢复出带有表情的人脸。在该技术的基础上,使用基于梯度的约束条件和控制点方法解决这一问题,具体如下:
　　人脸曲面的梯度计算。在基于从明暗恢复形状技术的基础上,提出了新的带有阈值的梯度约束条件和基于梯度差的平滑性约束条件,用于提高梯度估计的准确性。
　　用于人脸恢复的控制点自动定位方法。基于运动估计算法、阈值分割算法,寻找中性表情人脸演变到非中性表情人脸的过程中没有发生变化的点,作为控制点。
　　研究了基于梯度和控制点恢复人脸曲面的加权最小二乘方法,指出了该方法在控制点间距较大的情况下存在的不足,并提出一种迭代的加权最小二乘方法,解决加权最小二乘方法的不足。理论分析和实验结果表明,迭代的加权最小二乘法在保持控制点对恢复表面的高度约束的同时,也保持了梯度对恢复表面的形状约束。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪言

1.1 研究背景与意义

1.2 国内外研究现状及趋势

1.3 主要研究工作

1.4 论文结构

2 基于明暗信息的梯度估计

2.1 从明暗信息恢复形状

2.2 从明暗信息估计梯度的最小化方法

2.3 以参考模型作为约束条件

2.4 数值解法

2.5 实验配置和结果

2.6 本章小结

3 选取控制点

3.1 肤色分割

3.2 选取候选控制点

3.3 选取最终控制点

3.4 本章小结

4 基于梯度和控制点的人脸曲面恢复

4.1 积分的方法

4.2 加权最小二乘的方法

4.3 迭代加权的最小二乘方法

4.4 实验配置和结果

4.5 本章小结

5 总结与展望

5.1 总结

5.2 展望

致谢

参考文献