基于三维几何特征与深度特征的人脸识别研究

摘要

人脸识别技术是模式识别和人工智能领域的研究热点之一。基于二维图像的人脸识别技术经过半个多世纪的发展，已经取得了一定的研究成果。受限于所采用的数据形式，二维人脸识别方法不可避免地受到环境和人脸本身等因素的影响。本课题组前期做了大量基于双目立体视觉技术获取三维人脸数据的工作，并在此基础上研究了三维人脸特征的提取方法和识别技术，取得了一定的成果。但课题组尚未对深度图的多种有效特征进行很好的结合，因此，本文主要研究人脸点云的三维几何特征提取以及基于深度图特征的融合识别方法。在对比实验的基础上，验证了融合策略的识别效果。本文的主要研究内容和工作总结如下:
　　(1)三维数据获取与几何特征识别。研究了多种适用于人脸场景的立体匹配算法，利用对比实验分析不同方法的匹配效果。采用金字塔结构和改进的秩变换方法快速获取较高精度的人脸致密视差图，得到具有良好表达能力的三维人脸点云数据。最后根据深度信息准确提取人脸中分轮廓线和鼻尖横切轮廓线，并在两条轮廓线上定位出十三个人脸关键点。计算人脸区域中的曲率、体积、距离、角度共13维的几何特征。在ZJU-3DFED库上，基于几何特征的识别率达到了87％。
　　(2)研究了深度图上基于全局特征与局部特征方法的识别效果。横向对比了四种特征提取方法的识别率及适用的场景。全局特征上，对比了Eigenface与Fisherface方法;局部特征则研究了Gabor与LBP作为人脸表征的识别效果。在3DFACE-XMU库，Z(J)U-3DFED库以及Texas等数据库上验证了四种典型方法的识别率。实验表明单一的特征在不同程度上都存在一定的局限性。其中LBP和Fisherface方法在三个数据库的整体识别结果中表现较好。
　　(3)提出识别算法互补率的定义。对每一种识别方法在三个数据库中的识别结果进行统计，考察不同识别算法在数据库中分类出错样本的分布情况。提出互补率C的计算方法，并把互补率作为算法之间互补程度的评价标准。最后计算了四种单特征算法两两之间的互补率，结果表明LBP和Fisherface方法在三个数据库上的互补率最高，达到了55.4％
　　(4)设计特征融合实验以提高识别率。提出LBP和Fisherface方法的决策级融合与特征级融合策略。采用决策融合的识别率对比单一特征的识别率，在三个数据库上都有不同程度的提升，其中3DFACE-XMU上的识别率达到了99.3％。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 相关技术研究现状

1．2．1 三维人脸识别研究现状

1．2．2 人脸识别性能评价

1．2．3 课题组研究现状

1．3 本文主要研究内容及章节安排

1．3．1 主要工作和创新点

1．3．2 章节安排

第二章 基于三维几何特征的人脸识别

2．1 引言

2．2 摄像机标定

2．3 图像预处理

2．3．1 人脸区域精确定位

2．3．2 极线校正

2．4 人脸视差图获取

2．4．1 立体匹配约束条件

2．4．2 金字塔匹配模型

2．4．3 自适应立体匹配

2．4．4 快速区域立体匹配

2．4．5 秩变换立体匹配

2．5 三维数据重建及规格化

2．6 三维几何特征定义与提取

2．6．1 轮廓线提取及特征点定位

2．6．2 几何特征计算

2．6．3 实验结果

第三章 基于深度图的人脸识别

3．1 深度图获取与归一化

3．2 基于子空间投影的人脸识别方法

3．2．1 主成分分析(PCA)

3．2．2 Fisherface

3．3 局部特征方法

3．3．1 局部二值模式

3．3．2 Gabor小波变换

3．4 算法互补性

第四章 多特征融合的人脸识别方法

4．1 多特征融合方式

4．2 特征级融合实验

4．3 决策级融合实验

第五章 总结与展望

5．1 主要研究工作总结

5．2 进一步的研究和展望

附录A 张正友平面标定方法

附录B 本文采用的数据库简介

参考文献

硕士在读期间科研成果

致谢