基于特征点的3D人脸姿态跟踪

摘要

人脸在人际交往中扮演着非常重要的角色，人脸特征具有精确度高、采集方便、内容丰富、适用性广等优点，使得人脸成为人们在确认一个人身份时所采取的最普遍的生物特征。针对彩色图像序列中的人脸检测、跟踪以及识别是伴随着计算机硬件的快速发展和视觉技术等应用的需求在近几年逐步成为学者们研究的热点，这三者相辅相成，其中人脸动态识别与验证已经成为现代社会日常生活中经常可以见到的技术，比如安防视频监控、门禁系统、视频会议、身份识别等关键技术。人脸跟踪可以实时对后续动态特征进行拟合和定位，具有十分重要的应用前景和理论意义。
　　针对视频中彩色图像帧序列中的人脸跟踪问题，提出基于一个摄像机捕捉的单目视频序列的人脸3D姿态跟踪方法(3D face pose tracking)，在跟踪过程中引入了非高精度人脸网格模型。整个3D人脸跟踪姿态工作主要分成以下几点:
　　1.阐述了人脸跟踪几个广泛应用的算法，包括光流法、Camshift算法以及粒子滤波算法，分析各自的优越性和局限性，通过对上述算法局限性的分析，提出了3D人脸姿态跟踪方法。
　　2.研究实现了一种基于ASM的人脸特征点提取方法，方法利用参数化的采样形状来构成对象形状模型，用于初始化人脸跟踪，对初始帧进行特征点提取和定位，结果实现了对初始帧人脸特征点准确的定位。
　　3.利用改进的PC-SIFT特征点匹配算法来得到可靠的帧间特征匹配，算法找到前帧与所选的关键帧之间特征匹配信息，并将前帧与所选的关键帧特征匹配信息及融入到对当前的姿态估计中，算法实现了对帧间特征点信息准确的匹配，为后续3D姿态估计提供可靠保障。
　　4.通过利用RANSAC随机选取特征点对，并用POSIT和最小化误差组合的3D投影方法以迭代的方式得到精确的当前帧人脸姿态估计。最后引入关键帧对姿态进行校正，解决了3D人脸跟踪的漂移问题。
　　通过多组实验数据对比，表明了该算法在严重遮挡，头部摆动幅度较大、匹配点较少的复杂情况干扰下仍具有鲁棒性，并且该算法解决了3D人脸跟踪的漂移问题，实现对目标人脸的稳定跟踪，对比以往2D跟踪算法在复杂环境下具有明显的改善。

目录

声明

摘要

第1章 绪论

1．1 研究背景及意义

1．2 国内外发展现状

1．2．1 国外人脸跟踪发展现状

1．2．2 国内人脸跟踪发展现状

1．3 人脸跟踪研究

1．4 人脸跟踪的应用领域及展望

1．5 论文主要研究内容以及章节安排

1．5．1 主要研究内容

1．5．2 论文结构

第2章 人脸跟踪算法的概述与分析

2．1 引言

2．2 基于光流法的人脸跟踪

2．3 基于Camshift法人脸跟踪

2．4 基于粒子滤波法人脸跟踪

2．5 本章小结

第3章 基于ASM的人脸特征点标定

3．1 引言

3．2 主动外观模型(AAMs)简介

3．3 AAM算法过程

3．4 ASM(Active Shape Model)算法简介

3．5 ASM算法过程

3．5．1 ASM训练过程：建立形状模型

3．5．2 ASM搜索过程

第4章 基于PC-SIFT的人脸特征点提取与匹配

4．1 引言

4．2 SIFT特征点提取算法与匹配

4．2．1 构建尺度空间

4．2．2 DOG金字塔与极值点选取

4．2．3 利用特征点周围邻域的信息生成特征描述子

4．2．4 特征点匹配

4．2．5 改进的主成份分析PC-SIFT

第5章 3D人脸姿态估计

5．1 引言

5．2 坐标系及坐标变换

5．3 通用人脸3维模型

5．4 四元数简介

5．4．1 四元数的表示方法

5．4．2 四元数的运算

5．4．3 坐标系旋转过程分析

5．4．4 坐标系旋转的四元数表示

5．5 RANSAC随机抽样一致

5．6 RANSAC框架下的姿态参数求解

5．7 最小化投影误差

5．8 POSIT算法：3D姿态估计

5．9 关键帧的选取

5．10 实验结果

5．11 实验环境与参数

结论

展望

参考文献

致谢

攻读学位期间所发表的学术论文目录

攻读学位期间所参与的科研项目