一种基于人脸统计知识的人脸识别方法

摘要

本发明属于模式识别技术领域，具体涉及一种基于人脸统计知识的人脸识别方法，该方法利用一张正面标准人脸图像作注册，能够得到该人脸在不同姿态下的虚拟图像，再应用一个将姿态识别和身份识别分开的两阶段识别策略，解决了注册和识别时人脸姿态变化的问题。本方法包含了一个代表人脸结构统计信息的三维可变形人脸模型、一个从正面人脸图像中重建出三维人脸的重建算法和一个姿态－身份两阶段识别策略。本发明在仅有一张正面标准人脸图像作注册的情况下仍能获得对侧面测试图像较高的识别率。

说明书

技术领域

本发明属模式识别技术领域，具体涉及一种基于人脸图像的身份识别方法。

技术背景

虽然人脸识别的研究持续了数十年，但是，时至今日，它依然是模式识别领域中一个极具挑战性的问题。基于两维的方法在过去的研究中取得了长足发展，其中包括Eigenface[1]，Fisherface[2]，以及AAM[3]等等。然而基于两维的人脸识别方法还有一系列难以解决的问题，例如当人脸姿态、表情以及环境光照(PIE)发生较大变化的时候，系统的识别率将急剧下降。如何解决人脸在不同姿态、光照和表情条件下的识别问题，仍然是当前研究的热点。

对于姿态变化的人脸识别问题，传统的方法必须获得足够多的不同姿态下的人脸训练图像，然而很多情况下这些图像并不可得。但是，对于人脑来说，仅仅需要展示一张正面的标准人脸图像就能够进行识别的工作了，即使测试图像存在明显的姿态变化。人脑的这一能力可以归结为联想的功能。

为了模拟人脑的联想功能，实现姿态无关的人脸识别，有两类方法被提出：“归一”的和“扩展”的。“归一”的例子主要有2003年V.Blanz & T.Vetter[4]提出的三维可变形的人脸模型，利用它对输入的两维人脸图像进行形状和纹理的双重匹配，能够获得与姿态无关的三维人脸特征，从而很好地解决了姿态的问题。但是由于它需要对形状和纹理同时进行优化，耗时巨大且易陷入局部最小，且初始的特征点位置需要手工获得，目前不能实用。“扩展”的例子有2004年和2005年Yuxiao Hu et.al[5][6]提出的一种方法，它用一张标准图像，利用三维可变形人脸模型重建出该人脸的三维模型。它的特点在于形状上利用特征点位置自动匹配，纹理上应用纹理贴图技术，从而大大缩短了三维人脸的重建时间。得到的三维人脸可以合成若干不同姿态的虚拟人脸图像，以提供后端两维识别系统使用。

本发明与上述方法相比，主要特点有：(1)在[5][6]的三维人脸重建算法中，只考虑了人脸模型在图像平面内的旋转、平移和缩放，本发明考虑了模型的深度旋转，最终使得重建算法比[5][6]更加准确，比[4]耗时小得多；(2)利用该三维人脸重建算法得到充分的不同姿态下的虚拟人脸图像，而不需要从现实世界获取这些图像，从而在仅有一张正面标准人脸图像的情况下使得下一步的姿态一身份两阶段识别策略可以实施；(3)对测试人脸图像先采用姿态识别后进行该姿态下的身份识别，提高总体身份识别率。

下面介绍与本发明相关的一些概念：

1.三维可变形人脸模型

V.Blanz & T.Vetter[4]提出的三维可变形人脸模型取自200个欧洲人的三维人脸数据，每个人脸数据包含十万左右个顶点，每个顶点的坐标(x，y，z)和纹理(R，G，B)已知。这些三维人脸数据是通过三维扫描仪扫描得到的。对于原始数据首先需要进行预处理，去除非人脸的部分，而后要对所有的人脸数据进行点对点的配准，建立高密度的点点对应关系(即同一个下标的顶点表示同样的语意，比如第1000号顶点对于所有的人脸数据都是鼻尖，等等)。最后将坐标和纹理数据按(1)式排列成形状和纹理向量：

$>>>S>i>>=>>>(>>x>i>1sup>>,>>y>i>1sup>>,>>z>i>1sup>>,>.>.>.>,>>x>i>Msup>>,>>y>i>Msup>>,>>z>i>Msup>>)>>T>>;>>T>i>>=>>>(>>R>i>1sup>>,>>G>i>1sup>>,>>B>i>1sup>>,>.>.>.>,>>R>i>Msup>>,>>G>i>Msup>>,>>B>i>Msup>>)>>T>>->->->>(>1>)>>>s>$

其中i表示第i个人脸数据，M表示模型的顶点数。为了得到一个更为紧凑的参数表示，对所有样本的形状矢量和纹理矢量进行PCA(见相关概念2)，从而得到了一个三维可变形人脸模型：

$>>S>=ver>>s>‾>>+>>\Sigma >>j>=>1>>>m>t>>>>\alpha >j>>>s>j>>;>T>=ver>>t>‾>>+>>\Sigma >>j>=>1>>>m>t>>>>\beta >j>>>t>j>>->->->>(>2>)>>>s>$

其中s为平均人脸形状向量，α_j为第j个形状系数，s_j为第j个形状特征向量，m_s为截取的形状主元个数；同理t为平均纹理向量，β_j为第j个纹理系数，t_j为第j个纹理特征向量，m_t为截取的纹理主元个数。通过变化系数α_j和β_j，即将形状和纹理特征向量分别按照不同的系数进行线性组合，就能够得到不同形状、不同纹理的三维人脸。

2.PCA

PCA是一种常用的无教师的线性降维方法，它寻找一个线性子空间，以使得样本在该子空间投影的协方差尽可能地大。以建立三维可变形人脸的形状模型为例，做法如下(假设共有N个三维人脸数据)：

                  三维人脸数据的形状均值 $>ver>>s>‾>>=>>1>N>>>\Sigma >>i>=>1>>N>>>S>i>>>s>$

                  协方差矩阵 $>>>C>x>>=>>1>N>>>\Sigma >>i>=>1>>N>>>(>>S>i>>-ver>>s>‾>>)>>>>(>>S>i>>-ver>>s>‾>>)>>T>>>s>$

构成PCA子空间的基，即形状特征向量s_j可由以下特征分解得到：

                     C_xs_j＝λ_js_j  j＝1，2，…，m_s

3.LDA

LDA是一种常用的有教师的线性降维方法，它寻找一个线性子空间，以使得样本在该子空间上投影的类内散布紧密、类间散布分散。以人脸图像为例，具体做法如下：

首先我们将所有的两维人脸图像按照行序或者列序排列成列向量的形式x_i i＝1，2，…，N，这样一幅图像对应了高维空间中的一个样本。我们假设这些样本共分为c类，每类有N_i个样本，则有：

                     总均值 $>>m>=>>1>N>>>\Sigma >>i>=>1>>N>>>x>i>>>s>$

                     各类均值 $>>>m>i>>=>>1>>N>i>>>>\Sigma >>>x>j>>\in >>X>i>>>>>x>j>>>(>i>=>1>,>2>,>·>·>·>,>c>)>>>s>$

                     类内散布矩阵 $>>>S>w>>=>>\Sigma >>i>=>1>>c>>>\Sigma >>>x>j>>>>\in >X>>i>>>>>(>>x>j>>->>m>i>>)>>>>(>>x>j>>->>m>i>>)>>T>>->->->>(>3>)>>>s>$

                     类间散布矩阵 $>>>S>b>>=>>\Sigma >>i>=>1>>c>>>N>i>>>(>>m>i>>->m>)>>>>(>>m>i>>->m>)>>T>>->->->>(>4>)>>>s>$

构成LDA子空间的基 $>>>>W>LDA>>=>>>arg>>>max>>w>>>>|>>W>T>>>S>b>>W>|>>>|>>W>T>>>S>w>>W>|>>>=>\left(\begin{array}{}>>>>w>1>>>>>w>2>>>>.>.>.>>>>w>m>>>>>>>s>可由以下广义特征分解得到：\end{array}\right)$

                              S_bw_i＝λ_iS_ww_i

参考文献

[1].M.Turk and A.Pentland，“Face Recognition Using Eigenfaces”，Proc.IEEE Conf.onComputer Vision and Pattern Recognition，1991

[2].P Belhumeur，J.Hespanha & D.Kriegman，“Eigenfaces vs.Fisherfaces：Recognition UsingClass Specific Linear Proection”，IEEE trans on PAMI，July 1997

[3].T.Cootes & C.Taylor，“Statistical Models of Appearance for Computer Vision”，Oct 2001

[4].V.Blanz and T.Vetter，“Face Recognition Based on Fitting a 3D Morphable Model”，IEEEtrans on PAMI，Sept 2003

[5].Yuxiao Hu，et.al“Automatic 3D Reconstruction for Face Recognition”，proc.Int’l Conf.Automatic Face and Gesture Recognition，2004

[6].Dalong Jiang，et.al“Effciem 3D Reconstruction for Face Recognition”，patternRecognition，2004

[7].P.Viola & M.Jones，“Robust real-time face detection”，Proc.IEEE Conf.on ComputerVision，2001

[8].I.Matthews & S.Baker，“Active appearance models revisited”，International Journal OfComputer Vision，Nov 2004

[9].Chengjun Liu & H.Welchsler，“Gabor Feature Based Classification Using the EnhancedFisher Linear Discriminant Model for Face Recognition”，IEEE trans on Image Processing，Apr 2002

发明内容

本方法的目的在于提出一种仅使用一张正面的标准人脸图像作注册，就能对侧面的人脸图像进行识别的方法。

本发明方法包含建立一个三维可变形人脸模型、一个快速的较精确的三维人脸重建算法和一个将人脸识别分为姿态、身份两阶段的识别策略。具体实施时分为训练、注册和测试三个阶段。图1显示了注册和测试阶段的流程图。下面具体介绍相应的步骤和三维人脸重建算法。

1训练阶段：

本阶段的主要目的是获得姿态识别和身份识别所需要的LDA基。

首先将姿态预先定义为p个区间(比如-30°、0°和30°等)。由于在测试阶段，对人脸区域的识别分为姿态识别和身份识别两个阶段。其中，姿态识别就是要将一幅测试人脸图像分类到相应的姿态区间；身份识别的就是要在该姿态区间内完成对图像中人脸的身份识别。这样两阶段的识别策略可以降低因为较大的姿态变化引起的身份识别的困难，而在同一姿态区间内部可以较容易地完成身份识别。

对于姿态识别，将同一姿态的人脸图像构成一类，按(3)(4)式分别计算类内散布矩阵S_w和类间散布矩阵S_b，并得到姿态识别LDA基。将各样本投影到这些基上得到了各样本降维后的特征。求取同一类样本的均值，作为该姿态人脸图像的特征。

对于身份识别，分别在各个姿态区间将同一身份的人脸图像构成一类，按(3)(4)式分别计算类内散布矩阵，i＝1，2，…，p和类间散布矩阵，i＝1，2，…，p，并得到各自的身份识别LDA基。

2、注册阶段：

(1)对于输入的正面标准人脸图像，利用Adaboost方法[7]进行人脸检测，标识出包含人脸的图像子区域；

(2)利用实时AAM方法[8]自动标定人脸区域上n个特征点坐标。特征点选择人脸上比较明显的、容易标定的点，例如：眼角、鼻尖、嘴角、脸廓等等，数目一般在40至100之间。

(3)对该人脸图像进行三维人脸重建。具体算法见第4部分。

(4)在各个姿态区间分别生成一些小角度姿态变化的该人脸的虚拟图像，将它们分别投影到相应姿态的LDA身份识别基上，得到了降维后的特征，对它们求取均值，作为该姿态下该人脸的特征。

3测试阶段：

(1)对于输入的测试人脸图像，利用Adaboost方法进行人脸检测，标识出包含人脸的图像子区域；

(2)对人脸区域进行姿态识别。即将其投影到LDA姿态识别基上，得到了降维后的特征，然后与已有的姿态特征进行比较，用最近邻判决法进行分类，得到该人脸图像的姿态；

(3)对人脸区域进行身份识别。即将其投影到相应姿态的LDA身份识别基上，得到了降维后的特征，然后与已有的身份特征进行比较，用最近邻判决法进行分类，得到该人脸图像的身份。

4维人脸重建算法：

首先需要在三维可变形人脸模型上离线标定特征点下标，它们与实时AAM方法在正面标准人脸图像上标定的特征点具有相同的语意。图2显示了模型上的特征点位置。由于在建模时已对所有三维人脸数据进行了配准，因此在变形过程中这些特征点的语意不会发生变化。

在模型变形和空间变换的过程中，需要知道这些特征点在图像平面上的投影坐标。对于第k个特征点，其三维坐标为：

$>>>>(>>x>k>>,>>y>k>>,>>z>k>>)>>T>>=>>>(>ver>>x>‾>>k>>,>ver>>y>‾>>k>>,>ver>>z>‾>>k>>)>>T>>+>>\Sigma >>i>=>1>>>m>s>>>>\alpha >i>>>>(>>x>i>ksup>>>>,>y>>i>ksup>>,>>z>i>ksup>>)>>T>>->->->>(>5>)>>>s>$

其中(x^k，t^k，z^k)^T为平均人脸形状上该点的三维坐标，(x_i^k，x_i^k，z_i^k)^T为第i个形状特征向量上该点的三维坐标。经过空间变换之后，其坐标变为：

$>>>>(>ver>>x>~>>k>>,>ver>>y>~>>k>>,>ver>>z>~>>k>>)>>T>>=>>R>\theta >>\times >>R>\phi >>>\times >>R>\gamma >>>\times >s>\times >>>(>>x>k>>,>>y>k>>,>>z>k>>)>>T>>+>>>(>>t>x>>,>>t>y>>,>0>)>>T>>->->->>(>6>)>>>s>$

$>>>R>\theta >>=\left(\begin{array}{}>>>1>>>0>>>0>>>>>0>>>cos>\theta >>>->sin>\theta >>>>>0>>>sin>\theta >>>cos>\theta >>>>>,>>R>\phi >>=\left(\begin{array}{}>>>cos>\phi >>>0>>>sin>\phi >>>>>0>>>1>>>0>>>>>->sin>\phi >>>0>>>cos>\phi >>>>>,>>R>\gamma >>=\left(\begin{array}{}>>>cos>\gamma >>>->sin>\gamma >>>0>>>>>sin>\gamma >>>cos>\gamma >>>0>>>>>0>>>0>>>1>>>>>>s>\end{array}\right)\end{array}\right)\end{array}\right)$

分别表示模型围绕x轴、y轴和z轴的旋转矩阵，s为尺度因子，t_x为x轴方向上的平移，t_y为y轴方向上的平移。由于使用正交投影模型，因此忽略了z轴方向上的深度平移。该第k个特征点在图像平面上的投影坐标为：

$>>>P>>x>k>>>=>ver>>x>~>>k>>\times >>(>width>/>edge>)>>+>width>/>2>;>>P>>y>k>>>=>ver>>y>~>>k>>\times >>(>heihgt>/>edge>)>>->height>/>2>->->->>(>7>)>>>s>$

其中width为两维图像的宽度，height为图像的长度，edge为三维视区边界的长度。图3显示了三维模型的投影示意图。

为了重建出三维人脸的形状，定义第k个特征点的投影误差为：

$>>>e>k>>=>>(>>P>>x>k>>>->ver>>P>^>>>x>k>>>,>>P>>y>k>>>->ver>>P>^>>>y>k>>>)>>\in >>R>2>>->->->>(>8>)>>>s>$

其中(P_xk，P_yk)为式(7)得到的三维人脸模型上第k个特征点在图像平面上的投影坐标，是注册阶段第2)步中用实时AAM方法标定的同一特征点坐标。将所有n个特征点的投影误差连成一个向量e＝(e¹，e²，…，eⁿ)^T∈R²ⁿ，并且定义代价函数为：

$>>E>=>>1>2>>>e>T>>e>=>>1>2>>>\Sigma >>k>=>1>>n>>[>>>(>>P>>x>k>>>->ver>>P>^>>>x>k>>>)>>2>>+>>>(>>P>>y>k>>>->>P>>y>k>>>)>>2>>]>>s>$

它是 $>>\rho >=>>>(>>\alpha >1>>,>·>·>·>,>>>\alpha >m>>s>>,>\theta >,>\phi >,>\gamma >,>>t>x>>,>>t>y>>,>s>)>>T>>\in >>R>>>m>s>>+>6>>>>s>的函数，它考虑了注册图像中人脸的形状、和在三维空间的旋转、平移与缩放。由式(5)(6)(7)(8)可以显式地得到误差向量e对\rho 的导数(即Jacobian矩阵，推导略)，利用Levenberg-Marquardt算法对其进行优化。当算法收敛的时候，\alpha$_i即表征了注册图像中人脸的三维形状。

在完成了三维人脸形状重建之后，利用注册图像对模型进行纹理映射：对于三维模型上任意一个顶点，其空间坐标为由(7)式得到其在图像平面上的投影坐标为(P_x，P_y)。将该坐标上注册图像的象素值I(P_x，P_y)作为三维模型上对应顶点的纹理就完成了三维人脸的纹理重建。

重建完成之后，通过改变旋转参数θ、φ和γ，就能够得到不同姿态下该人脸的两维投影图像。图4显示了整个三维人脸重建过程。与之前的方法[4][5][6]相比，本重建算法能够在较短的时间内达到较高的重建精度。

本发明的优点：

本方法采用了一个三维可变形人脸模型来体现人脸结构的统计知识，采用了一个考虑三维信息的人脸重建算法，能够以较少的耗时较精确地完成人脸重建，以及采取了一个两阶段的识别策略，即先进行姿态识别再在相应的姿态区间进行身份识别。实验表明，本方法能够在仅有一张正面标准人脸图像作注册的情况下完成对侧面人脸图像的识别，且具有较高的身份识别率。

附图说明

图1基于人脸结构知识的人脸识别框架。其中，图1(a)注册流程图，图1(b)测试流程图。

图2三维可变形人脸形状模型(平均形状)及模型上的特征点。

图3三维模型的投影示意图。

图4三维人脸重建过程图示。其中，图4(a)输入的标准人脸图像以及在图像上标注的特征点，图4(b)重建得到的三维人脸形状，图4(c)纹理贴图后的三维人脸模型，图4(d)合成的新姿态下的人脸图像。

图5大规模中国人脸图像库中同一个人的-30°、0°和30°三幅人脸图像。

图6Adaboost标识出的128×128人脸子区域以及灰度化和切割后的100×100的灰度图像。

具体实施方式

实施案例

下面以一个大规模的人脸图像库为例，说明本方法的实施过程。本例中的人脸图像库包含2000个中国人脸，每人有-30°、0°和30°三幅图像。图5显示了同一个人的三幅图像。我们的三维可变形人脸模型来源于60个中国人的三维人脸数据，这些数据是由两个相机拍出的照片通过光学原理合成得到的，预处理和配准之后每个人脸数据包含26498个顶点。最终我们取9个形状特征向量，并在模型上手工标定了60个特征点，如图2所示。实施流程如下：

1.训练阶段：

A)LDA姿态识别基：

我们将姿态分为-30°、0°和30°三个区间，每类姿态各用200幅Adaboost方法检测出的人脸子图像作为样本训练LDA姿态识别基。Adaboost的输出为128×128的彩色人脸子图像，为了进一步减少背景对姿态识别的影响，在进行训练前，需要对人脸检测输出的人脸子图像进行灰度化和切割，使之成为100×100的灰度图像。切割标准如图6所示。最终得到2个10000维的LDA姿态识别基。再将所有的灰度图像投影到这组基上，并对降维后的特征求均值，得到了每类姿态的特征。

B)LDA身份识别基：

对每幅正面人脸图像我们用三维人脸重建算法得到三维人脸，并在每个姿态区间生成5幅小角度变化的虚拟图像(在原姿态的基础上分别横向转动-5°、0°、5°，纵向转动-5°、5°)。同一个人的5幅虚拟图像形成一类，共用600类训练LDA身份识别基。为了进一步提高本方法对于光照和表情的鲁棒性，我们使用图像的Gabor特征[9]，这样每一幅人脸图像形成了10240维空间中的一个样本。最终我们使用前250个10240维的LDA身份识别基。

2.注册阶段：

A)对于输入的正面标准人脸图像，利用Adaboost方法进行人脸检测，标识出128×128的人脸子区域。

B)利用实时AAM方法自动标定人脸子图像上的60个特征点坐标。

C)对该人脸子图像进行三维人脸重建。

D)分别在-30°、0°和30°姿态的基础上横向转动-5°、0°、5°，纵向转动-5°、5°，各生成5幅128×128的虚拟人脸图像。

E)对虚拟人脸图像提取Gabor特征，并分别投影到相应的LDA身份识别基上，得到每幅图像250维的特征，求取它们的平均值，作为该姿态下该人脸的特征。

3.测试阶段：

A)对于输入的人脸图像，利用Adaboost方法进行人脸检测，标识出128×128的人脸子区域。

B)对该子图像进行灰度化和切割(图6)，得到100×100的灰度图像，将其投影到LDA姿态识别基上，并与已有的姿态特征作比较，用最近邻判别法进行分类，得到人脸姿态。

C)提取128×128人脸子图像的Gabor特征，并投影到相应姿态的LDA身份识别基上，得到250维的特征，并与已有的身份特征作比较，用最近邻判别法得到人脸身份。

在本案例中，采用本方法对侧面人脸图像(-30°和30°)进行识别，获得了82.8％的识别率。