基于分类导向的三维联合头部姿态估计与人脸关键点定位

摘要

互联网开启了数字化的时代，利用机器学习和深度学习的方法提取大量数据信息中的高层知识进行学习以完成人机交互成为一大研究热点。人机交互的关键首先在于根据不同的交互需求识别人体的特定部位的特征，生物识别作为一种快捷、友好的身份识别特征应运而生。现有的较为成熟的生物识别技术包括虹膜识别，指纹识别，语音识别，步态识别以及人脸识别等，其中人脸作为一种重要的生物识别特征，由于其具有提取便利以及非侵犯性的特点，更能够被受试者所接受，也因此促使该领域的研究不断成熟。
　　研究人体的头部姿态，以及眼角、鼻尖、嘴巴、下巴等人脸关键点是人脸分析领域的关键性问题，这两个问题已经能够在图片上获得不错的结果，但是基于图片的方法大都对光照的敏感性较强，且不能很好的处理具有大角度头部偏转的人脸以及遮挡的情况。由于三维扫描仪器制造成本的不断降低，扫描数据精度的逐步提升，以及深度数据自身包含的丰富几何信息这一特点，使得越来越多的研究者将深度信息应用于人脸分析领域。头部姿态估计与人脸关键点定位常被分为两个问题独立研究，但是头部姿态估计的结果可以为脸部关键点定位提供很好的空间变换信息，同时脸部关键点的结构又可以反映头部姿态向量的数值，因此如何将两者结合起来优化是本文的一个核心问题。
　　本文提出了一种基于分类导向的3D联合头部姿态估计与人脸关键点定位方法。首先，分类导向是指将头部姿态空间分为若干个类，在各类中分别执行脸部关键点定位算法。这样做可以保证在同一姿态空间下，头部点云数据缺失部位相对一致，对关键点定位算法稳定性的提升大有帮助。其次，本文提出了联合的概念，在级联的随机森林回归框架下，将头部姿态估计的结果与标记有关键点的人脸模板相结合，为级联回归的初始化阶段提供一个很好的初值，且级联过程中每一阶段的关键点定位结果又可以反过来优化头部姿态向量。最后，本文给出了一个三维人脸数据库，它包含了不同身份、不同表情以及不同的头部姿态数据，且给定了头部姿态向量与人脸关键点形状向量的真实值。
　　丰富的实验展示了本方法的有效性和高效性。本文中的方法在BIWI以及B3D(AC)2两个常用的三维数据库上均取得了较现有的方法更为精确的结果。另外，本文的方法也适用于其他涉及姿态估计和关键点定位领域，具有一定的泛化能力。

目录

声明

摘要

表格索引

插图索引

第一章 绪论

1．1 课题的研究背景与意义

1．2 现有方法存在的问题及本文完成的工作

1．2．1 现有方法存在的问题

1．2．2 本文完成的工作

1．3 本文的结构安排

第二章 相关工作

2．1 头部姿态估计

2．1．1 头部姿态的表示方法

2．1．2 头部姿态估计的常用算法

2．2 人脸关键点定位

2．2．1 基于优化方法的三维人脸关键点定位研究

2．2．2 基于回归方法的三维人脸关键点定位研究

2．3 随机森林

2．3．1 随机树的定义及随机森林的特点

2．3．2 基于回归的随机森林算法

2．3．3 级联的形状回归

第三章 联合的头部姿态估计与人脸关键点定位

3．1 预备知识

3．1．1 术语规范

3．1．2 人脸检测

3．1．3 特征选取

3．2 头部姿态估计

3．2．1 训练集的构造

3．2．2 训练阶段

3．2．3 测试阶段

3．3 基于头部姿态估计的人脸关键点检测

3．3．1 头部姿态空间的分类

3．3．2 基于头部姿态的修正初始化方法

3．3．3 联合的头部姿态与人脸关键点回归

4．1 实验环境设定

4．2 头部姿态估计

4．3 人脸关键点定位

5．1 总结

5．2 展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果