基于局部特征提取的人脸识别方法研究

摘要

人脸识别作为一种生物识别技术，相比于指纹识别、虹膜识别等而言，具有采集方式友好、应用场合广泛、潜在的数据资源丰富等优点。随着人类迈入信息时代，计算机和网络技术日渐发达，信息安全日益重要，许多应用领域对与人脸有关的信息处理提出了更高的要求；而同时硬件和软件技术的发展，也为满足实际应用系统对人脸检测、跟踪及识别技术的实时化要求提供了可能性，人脸识别研究更加白热化。由于人脸识别容易受遮挡、光照、噪声等外部因素以及表情、姿态等内部因素的影响，建立对于这些因素不敏感的描述模型是一项艰巨而紧迫的任务。研究发现，相较全局特征描述，局部特征描述更便于削弱或者解除部分影响因素对识别功能的制约。二维离散小波变换（the two-dimensional discrete wavelet transform，2D-DWT）、Gabor小波变换、局部二值模式（local binary pattern，LBP）以及当前炙手可热的卷积神经网络（convolutional neural network，CNN）都是常用的具有一定局部细节描述能力的特征提取方法。本文以提取人脸局部有效判别特征为研究目标，以分块描述和融合描述为主要研究思路，对人脸识别方法进行研究，主要贡献概括如下： （1）提出了基于非一致分块的人脸识别方法（non-uniform patch based face recognition via2D-DWT，NUPDWT）。该方法的核心内容为非一致分块策略（non-uniform patch，NUP），它是以2D-DWT子带的物理意义为依据，结合积分投影的思想，提出的一种对人脸不同区域进行区分性划分的分块方法。相较人工分块与平均分块而言，该种分块策略更为自动且在很大程度上保持了局部信息的完整性。它是基于平均人脸且实施于小波低频子带上的分块策略。分块后提取小波近似系数作为特征，再结合最近邻分类和多数投票法，就构成一种新的人脸识别方法——NUPDWT。在多个人脸数据库包括AR遮挡子库上的实验显示，该方法相比一些基于小波和当前比较流行的方法而言，识别效果更好，且对于处理遮挡等问题有一定的优越性。 （2）提出了基于自适应分块的人脸识别方法（self-adapting patch based face recognition，SAPFR）。沿着非一致分块的思路，延伸提出了一种不仅对人脸不同区域具有区分性，而且对不同人脸样本也具有区分性的分块策略，即块的具体划分与每张图像的具体结构更有对应性，称自适应分块策略（self-adapting patch，SAP）。该策略比非一致分块更适合识别在自然状态下采集到的人脸图像。分块的主要依据是2D-DWT的边缘检测功能，且该分块策略实施在原图像上。之后再采用LBP这种提取局部特征的强有力工具，采用融合稀疏思想的有效分类方法，得到对应的人脸识别方法SAPFR。在Georgia和LFW两大具有挑战性的自然状态人脸数据库上的实验中， SAPFR方法展现了比相关的基于分块或其它局部特征的方法更明显的优势。这归功于自适应分块策略的提出及其与LBP特征提取方法和分类器的有效结合。 （3）提出了采用局部二值模式（ LBP）思想来分析Gabor小波子图的一种新人脸识别算子（LBP-like feature based on Gabor wavelets，GLLBP）。由于Gabor小波子图之间具有一定的关联性，可以采用LBP思想来分析其内在关联性，这样便提出了一种新的人脸描述算子，即GLLBP，它综合了LBP和Gabor的优点，如对光照、噪声不敏感。并根据Gabor小波的复值信息和LBP的等价模式将GLLBP进行推广，提出扩展算子GCLLBP以及二者对应的一致模式。相比其它相关方法， GLLBP及其扩展形式在ORL、FERET、Georgia以及LFW等人脸数据库中展现了更好的识别效果。这是因为新识别算子通过对Gabor系数的LBP形式的再加工，能提炼出对噪声更鲁棒、对判别更有力的特征信息。 （4）基于卷积神经网络的模型框架，提出了三种融合单元——非线性竞争单元（nonlinear competitive unit，NCU）、多层特征融合单元（multi-feature fusion unit，MFFU）和多层决策融合单元（multi-decision fusion unit，MDFU）。其中， NCU将特征进行对比和逐个挑选，择出对人脸认证更有效的特征，放在网络中就是将不同深度的网络层提取到的特征按竞争方式融合进而推动有效特征在网络中的传递和更新。MFFU和MDFU同样基于对网络中各层信息的研究和挖掘，将多个不同深度层的信息进行特征级或决策级融合，融合策略采用串联和加和两种方式。在人脸认证和数字识别上的实验结果都表明融合单元能够有效提升基础模型的性能，这体现出经过三种融合方式得到的信息比原信息判别性更好，也证明了图像融合等传统策略在卷积神经网络中有一定的应用潜力。

目录

声明

第一章绪论

1.2 人脸识别的发展历程

1.3 人脸识别任务介绍

1.4 常用数据库

1.5 本论文主要研究内容

第二章预备知识

2.1 小波变换

2.2 Gabor小波变换

2.3 局部二值模式

2.4 卷积神经网络

第三章基于非一致分块的人脸识别方法

3.1 引言

3.2 基础知识回顾

3.3 研究动机

3.4 NUPDWT方法介绍

3.5 NUPDWT算法流程

3.6 数值实验

3.7 小结

第四章基于自适应分块的人脸识别方法

4.2 基础知识回顾

4.3 基于自适应分块的人脸识别方法

4.4 SAPFR方法流程

4.5 数值实验

4.6 小结

第五章基于LBP思想与Gabor小波变换的新型人脸描述算子

5.2 基础知识回顾

5.3 GLLBP特征与对应方法介绍

5.4 数值实验

5.5 小结

第六章基于融合单元的CNN模型

6.2 基础知识回顾

6.3 三种融合单元与对应的模型框架

6.4 数值实验

6.5 小结

总结与展望

参考文献

发表论文和参加科研情况说明

致谢