基于非线性张量分解与视角流形的多视角人脸识别方法

摘要

本发明公开了一种基于非线性张量分解与视角流形的多视角人脸识别方法。其过程是：对多视角人脸图像进行尺度归一化；采用留一法将多视角人脸图像划分为测试集和训练集；将训练集中的人脸图像沿身份、视角和像素信息变化的方向排列成张量的形式，对张量数据用高阶奇异值分解得到人脸图像的身份、视角及像素因素的系数矩阵；利用数据－概念驱动的方式对视角系数进行排列和插值，获得人脸视角流形；根据人脸转动的客观顺序，通过概念驱动的方式生成人脸的视角流形；用非线性张量分解将视角流形映射到多视角人脸数据空间，并获得身份系数的模矩阵，建立多视角人脸模型；采用基于EM－like的迭代算法求解模型参数，以参数满足最小化重构误差准则实现识别。本发明具有精度高和速度快的优点。可用于生物特征识别领域中不同视角下的复杂人脸检索和识别。

说明书

技术领域

本发明属于模式识别与计算机视觉技术领域，特别涉及多视角人脸识别方法，可用于生物特征识别领域中不同视角下的人脸检索和识别。

背景技术

生物特征识别在今后数年内将成为安全及IT产业最为重要的技术革命之一。现代研究表明人的虹膜、指纹和掌形等均可用于身份鉴定。与其它生物特征识别技术或系统相比，人脸识别系统具有识别精度高、方便、友好、自然等优点。所以人脸识别是易于被人们接受的非侵犯性身份识别方法。人脸在成像过程受场景结构和人物状态等各种因素的相互作用，所获得的人脸图像在光照、表情、视角及噪声等方面具有多样性和复杂性。由美国国防部高级研究项目署和美国陆军研究实验室的人脸识别技术项目组联合建立的评测数据库上的测试结果表明，目前的人脸识别系统，在测试图像和训练图像中人脸视角接近的情况下，识别率很高；随着人脸视角变化的加剧，识别性能显著下降。这说明降低视角变化的影响是自动人脸识别技术走向实用化必须解决的关键问题之一。

目前多视角人脸识别的研究成果主要集中为以下两类：

第一类是基于3D人脸建模的多视角人脸识别技术。3D人脸识别在根本上需要将人脸3D表面结构等本质属性与表情、胡须、光照等具有自身可变性或易受外部因素影响的属性分离，以进行识别。3D人脸识别方法最初采用人脸曲率为特征，日本Ritsumeikan大学的Tanaka等采用主曲率的大小及方向信息为特征，用扩展高斯图表示每个人脸的曲面数据，最后计算扩展高斯图的Fisher球形相关度作为相似度来实现识别。德国马普学会计算机科学研究所的Blanz等提出3D人脸形变模型，对于待识别人脸，一是直接用拟合获得的一系列参数作为特征，进行识别；二是通过拟合的特定参数，结合3D形变人脸模型，合成特定姿态和光照条件下的2D人脸图像进行识别。新加坡南阳理工大学的Chua等提出基于标识点的人脸识别方法。以色列技术工程学院的Alexander等通过将3D人脸的深度数据和灰度纹理根据保局映射转换到2D图像上进行识别。美国加利福尼亚大学的Xu等提出基于几何集成的表面流形模型，通过一个四线性流形来表征人脸的光照、姿态、身份和形变信息。该模型中的形变子空间将二维图像与三维人脸模型对应起来，实现多姿态人脸的跟踪与识别。然而3D人脸识别需要昂贵的数据采集设备，且计算量很大。

第二类是基于2D人脸图像的多视角人脸识别技术。其中线性和非线性子空间分析的方法因其实用性得到越来越多研究人员的重视。美国MIT的Turk等最早提出用主成分分析进行人脸识别，它对单一条件下的人脸图像有相当高的识别率，而涉及到多因素变化时，其识别性能显著下降。美国斯坦福大学的Tenenbaum等人建立人脸的双线性模型用于将人脸图像的身份和视角分离，从而进行较精细的人脸识别。美国纽约大学的Vasilescu等将双线性模型推广到基于高阶张量分析的多线性模型，提出基于TensorFace的方法来处理多因素变化下的人脸识别，见文献“M.Alex O.Vasilescu，DemetriTerzopoulos.Multilinear image analysis for facial recognition.Proceedings of the International Conference on Pattern Recognition，Quebec City，3：511-514，Canada.2002.”。上述方法均属于线性方法，无法精确描述人脸视角变化引起的图像空间的非线性问题。一类方法是采用核子空间分析方法，德国GMD-FIRST研究所的Scholkopf等提出基于核主成分分析的方法，将人脸数据由原始的图像空间投影到高维希尔伯特空间，用高维空间中的线性来表示低维空间中的非线性。另一种解决非线性的思路是采用基于流形学习的降维方法，实现人脸空间的非线性描述。美国斯坦福大学的Tenenbaum等人提出的Isomap，伦敦大学学院的Roweis等提出的局部线性嵌入和美国芝加哥大学的He等提出的LaplacianEigenmaps属于此类。美国伊力诺依大学的Lee等提出用在线学习的方法，构建视频中人脸的表面流形概率模型，从而实现视频中视角变化情况下的人脸识别。

目前，基于非线性子空间分解的方法是虽然是人脸识别研究的主流方向之一。但对于多因素变化的复杂人脸图像，这种方法由于不能建立一个统一的人脸表面模型，因而无法实现对各种影响人脸生成的因素分离，也无法准确描述人脸空间的线性及非线性变化。

发明内容

本发明的目的在于克服上述已有技术的不足，提供一种基于非线性张量分解与视角流形的多视角人脸识别方法，以实现对各种影响人脸生成的因素分离和人脸空间的线性及非线性变化的准确描述，有效的提高多视角人脸识别率。

为实现上述目的，本发明提出如下技术方案：

技术方案一，基于非线性张量分解与视角流形的多视角人脸识别方法，包括如下过程：

(1)对多视角人脸图像进行归一化；

(2)对于归一化后的人脸图像，采用留一法划分多视角人脸图像数据集，选取一组视角下的人脸图像作为测试样本集，其它视角下的人脸图像作为训练样本集；

(3)将训练集中的人脸图像沿身份、视角和像素信息变化的方向排列成张量Y，并用高阶奇异值分解算法对其进行分解，得到身份系数矩阵U_idenity、视角系数矩阵U_view，本征图像矩阵U_pixel和核张量Z，该三个矩阵U之间相互独立，Z表示该三个矩阵U之间的相互作用关系；

(4)利用数据-概念驱动的方式对视角系数矩阵U_view中的视角系数进行排列和插值，获得人脸视角流形V；

(5)用非线性张量分解中的径向基函数先将视角流形V映射到多视角人脸数据空间，再将径向基函数映射矩阵排列为张量的形式，并进行分解，获得身份系数的模矩阵，建立多视角人脸模型$y_i^k=Z\times {}_{1}p^k\times {}_2\psi \left(x_i\right),$其中p^k表示第k个的人脸图像的身份系数向量p，Z是核张量，x_i是视角系数，ψ是视角系数和人脸图像之间的径向基映射；

(6)采用基于EM-like的迭代算法求解多视角人脸模型参数，将满足最小化重构误差准则的身份系数作为人脸识别的结果。

上述步骤(4)所述的利用数据-概念驱动的方式对视角系数矩阵U_view中的视角系数进行排列和插值，获得人脸视角流形V，按如下过程进行：

4a)取出视角系数矩阵U_view的每一行做为一个视角系数；

4b)将视角系数按照人脸转动的客观顺序进行排列；

4c)对排序后的系数用样条拟合进行插值，以获得平滑的人脸视角流形结构V，并用x∈R^e表示流形上的坐标点，R^e表示e维的实数空间，这里表示视角流形的维数。

技术方案二，基于非线性张量分解与视角流形的多视角人脸识别方法，包括如下过程：

A.对多视角人脸图像进行归一化；

B.对归一化后的人脸图像，采用留一法划分多视角人脸图像数据集，选取一组视角下的人脸图像作为测试样本集，其它视角下的人脸图像作为训练样本集；

C.根据人脸转动的客观顺序，通过概念驱动的方式生成人脸的视角流形V；

D.用非线性张量分解中的径向基函数先将视角流形V映射到多视角人脸数据空间，再将径向基函数映射矩阵排列为张量的形式，并进行分解，获得身份系数的模矩阵，建立多视角人脸模型$y_i^k=Z\times {}_{1}p^k\times {}_2\psi \left(x_i\right),$其中p^k表示第k个的人脸图像的身份系数向量p，Z是核张量，x_i是视角系数，ψ是视角系数和人脸图像之间的径向基映射；

E.采用基于EM-like的迭代算法求解多视角人脸模型参数，将满足最小化重构误差准则的身份系数作为人脸识别的结果。

上述步骤C所述的根据人脸转动的客观顺序，通过概念驱动的方式生成人脸的视角流形V，是采用均匀分布在半圆上的二维点集表示平面外从左到右旋转的人脸图像的视角坐标，并用该二维点集组成概念驱动的人脸视角流形。

本发明的优点是：

1.本发明由于采用了非线性张量分解与视角流形对影响人脸的视角和身份进行混合线性-非线性的建模，因此与现有技术相比具有如下优点：

a)有利于精细的描述人脸受各种因素影响的变化，如图1所示；

b)低维非线性视角流形对视角空间的描述更精确；

c)将高维人脸数据的身份信息用独立的线性系数表示，更准确的表达身份信息；

d)采用非线性张量分解建立人脸视角流形与多视角人脸图像之间的平滑映射，并用统一的基来表示多视角人脸图像，达到更好的识别效果和更强的泛化能力；

e)为混合线性-非线性因素影响下的目标模型建立提供了有效途径。

2.本发明由于采用了基于EM-like的参数迭代方法实现自动的人脸识别，因此与现有技术相比具有如下优点：

a)采用启发式的方法，避免了对模型参数空间的全搜索过程，识别速度更快；

b)迭代的参数求解过程使得识别所用的身份系数更准确。

实验仿真结果表明：本发明与基于TensorFace的人脸识别算法相比，对多视角人脸的识别率提高了19个百分点。

附图说明

图1为人脸张量分解示意图；

图2是本发明提出的混合数据-概念驱动视角流形的示意图；

图3是本发明提出的概念驱动的视角流形的示意图；

图4是本发明的多视角人脸生成模型建模及识别过程示意图；

图5本发明使用已有东方人脸库中多视角人脸数据部分示例图。

具体实施方式

本发明的核心思想是利用人脸视角流形与非线性张量分解提高对多视角人脸的识别能力。利用视角流形得到人脸视角子空间的精确描述，采用非线性张量分解将影响人脸生成的多个因素分离，并建立视角流形与多视角人脸数据的平滑映射，采用基于EM-like的参数求解方法实现多视角人脸识别。

参照图4，本发明的多视角人脸识别通过如下两个实例详细说明。

实例一，具体步骤如下：

步骤1，图像归一化。

首先对每个视角下的人脸图像，根据眼睛及鼻子的位置标定，然后进行几何归一化，使得人脸图像对齐。

步骤2，划分数据库。

对归一化后的人脸图像，采用留一法划分多视角人脸图像数据集，选取一组视角下的人脸图像作为测试样本集，其它视角下的人脸图像作为训练样本集。

步骤3，多视角人脸数据的张量分解。

(3a)选定人脸图像训练集，其中的图像包含身份和视角的变化，第k个人在视角v下的人脸图像表示为其中k＝1，...，K且v＝1，...，N；

(3b)用高阶奇异值分解对张量Y按如下步骤进行分解，如图1所示；

(3b1)将训练集中的人脸图像沿身份、视角和像素信息变化的方向排列成张量Y；

(3b2)在张量Y上做高阶奇异值分解，得到身份系数矩阵U_idenity、视角系数矩阵U_view，本征图像矩阵U_pixel以获得身份系数矩阵U_idenity，视角系数矩阵U_view和本征图像集合U_pixel，该三个矩阵U之间相互独立；身份系数矩阵U_identity张成不同身份的参数空间；视角系数矩阵U_view张成人脸视角变化的参数空间；本征图像集合U_pixel正交地张成像素的基空间，这里U_pixel里的每个基向量对应一张本征脸；

(3b3)利用核张量求取公式求得核张量$Z=Y\times {}_1{U^{\prime }}_{\mathrm{identity}}\times {}_2{U^{\prime }}_{\mathrm{view}}\times {}_3{U^{\prime }}_{\mathrm{pixel}},$并输出，其中U′表示U的逆矩阵。

步骤4，建立数据-概念驱动的视角流形。

对于上述张量分解得到的视角系数矩阵U_view中的视角系数，将其按照人脸转动的客观顺序进行排列，对排序后的系数用样条拟合进行插值，以获得独立于身份变化的平滑的人脸视角流形结构V，如图2所示，x为流形上的坐标点，其中x∈R^e，R^e表示e维的实数空间，e是嵌入流形的维数。

步骤5，基于非线性张量分解的人脸建模。

(5a)选定N个位于视角流形V上的视角系数，组成集合X＝{x_i∈R^e，i＝1，...，N}，将K个人的与上述各视角系数对应的多视角人脸图像组成集合$Y^k=\{y_i^k\in R^d,i=1,···,N\},$k＝1…K；e表示视角空间的维数；

(5b)通过泛化的径向基函数映射学习从低维X到高维Y^k之间的映射关系：

(5b1)将人脸图像y^k中所有像素的径向基映射可写成如下的矩阵形式，

y^k＝B^kψ(x)  (1)

其中矩阵B^k是一个d×(N+e+1)维的矩阵，它表示第k个人在N个视角下的图像与视角流形之间的径向基函数映射矩阵，它嵌入了第k个人的身份信息，该第l行为向量ψ(x)＝[φ(|x-z₁|)，…，φ(|x-z_N|)，1，x^T]^T，φ表示径向基函数映射的核函数，z_i表示各个核函数的中心；

(5b2)将求得的映射系数矩阵B^k，排列为一个(d(N+e+1))×K的张量B，k＝1，…，K，并用非对称的双线性模型对张量B进行分解B＝Z·[p¹，…，p^K]，其中p^k表示第k个人的身份系数，Z是核张量；

(5b3)根据视角流形坐标x_i∈R^e，核张量Z和第k个人的身份系数p^k，人脸生成模型可通过式(2)合成第k个人在第i个视角下的人脸图像向量$y_i^k\in R^d,$R^d标为d维的实数空间。

$y_i^k=Z\times {}_{1}p^k\times {}_2\psi \left(x_i\right)---\left(2\right)$

步骤6，模型参数估计与多视角人脸识别。

用$V⋐R^e$来表示视角流形，V(x₀)表示从x₀映射到视角流形上的点，给定测试人脸图像y∈R^d，确定其在流形V上的坐标x∈R^e和其身份系数p^s，且参数需满足最小重构误差准则，即E(x，p^s)＝‖y-Z×₁p^s×₂ψ(x)‖²实现识别，具体步骤如下：

(6a)初始化：在模型训练阶段得到训练图像的身份系数p^k，k＝1…K，给定一个新的测试人脸图像y∈R^d，设定其身份为k，根据式(2)所生成的人脸模型，求解视角系数x_k∈R^e，k＝1，…，K，对K个视角系数合成为x′，即

x′＝∑_kp_V(x_k)x_k                               (3)

并将合成后的视角系数x′映射到视角流形V上，得到初始化的视角系数x＝V(x′)，其中p_V(x_k)表示x_k属于V的概率，其值符合如下高斯估计

p_V(x_k)∝exp{-‖x_k-V(x_k)‖²/(2σ²)}　　           (4)

∑_kp_V(x_k)＝1，σ²为经验值，其大小决定高斯函数的方差，用于控制识别的敏感度；

(6b)身份系数估计：根据求得的视角系数x，通过式(2)对测试图像y求解身份系数向量p^s，身份识别在重构图像域进行，假设y符合以Z×₁p^k×₂ψ(x_i)为中心的高斯混合模型，这样，y的相似性函数表示为：

p(y|k，x)∝exp{-‖y-Z×₂p^k×₃ψ(x)‖²/(2σ²)}      (5)

其中p(k)和p(k|x)是等概率的，身份k的后验概率简化如下，

p(k|x，y)＝p(y|k，x)/∑_kp(y|k，x)                (6)

身份识别即为k_ID＝arg_k max p(k|x，y)，在上述身份k的后验概率p(k|x，y)的基础上，估计身份的系数向量为：

p^s＝∑_kp(k|x，y)p^k　　　                           (7)

(6c)视角系数估计：将测试图像向量y和得到的身份系数向量p^s代入所生成的人脸模型式(2)，求解视角在流形上的坐标x′∈R^e，确定最优的视角坐标为x＝V(x′)；

(6d)迭代步骤(6b)和(6c)，直至达到终止条件，实现重构误差最小情况下的多视角人脸识别。

实例二，具体步骤如下：

步骤1，图像归一化。

首先对每个视角下的人脸图像，根据眼睛及鼻子的位置标定，然后进行几何归一化，使得人脸图像对齐。

步骤2，划分数据库。

对归一化后的人脸图像，采用留一法划分多视角人脸图像数据集，选取一组视角下的人脸图像作为测试样本集，其它视角下的人脸图像作为训练样本集；

步骤3，建立概念驱动的视角流形。

用均匀分布在半圆上的二维点集表示平面外从左到右旋转的人脸图像的视角坐标，用该二维点集组成概念驱动的人脸视角流形V，如图3所示，x为流形上的坐标点，其中x∈R^e，R^e表示e维的实数空间，e是嵌入流形的维数。

步骤4，基于非线性张量分解的人脸建模。

(4a)选定N个位于视角流形V上的视角系数，组成集合X＝{x_i∈R^e，i＝1，…，N}，将K个人的与上述各视角系数对应的多视角人脸图像组成集合$Y^k=\{y_i^k\in R^d,i=1,···,N\},$k＝1…K；e表示视角空间的维数；

(4b)通过泛化的径向基函数映射学习从低维X到高维Y^k之间的映射关系：

(4b1)将人脸图像y^k中所有像素的径向基映射可写成如下的矩阵形式，

y^k＝B^kψ(x)　　(8)

其中矩阵B^k是一个d×(N+e+1)维的矩阵，它表示第k个人在N个视角下的图像与视角流形之间的径向基函数映射矩阵，它嵌入了第k个人的身份信息，该第l行为向量ψ(x)＝[φ(|x-z₁|)，…，φ(|x-z_N|)，1，x^T]^T，φ表示径向基函数映射的核函数，z_i表示各个核函数的中心；

(4b2)将求得的映射系数矩阵B^k，排列为一个(d(N+e+1))×K的张量B，k＝1，…，K，并用非对称的双线性模型对张量B进行分解B＝Z·[p¹，…，p^K]，其中p^k表示第k个人的身份系数，Z是核张量；

(4b3)根据视角流形坐标x_i∈R^e，核张量Z和第k个人的身份系数p^k，人脸生成模型可通过式(9)合成第k个人在第i个视角下的人脸图像向量$y_i^k\in R^d,$R^d标为d维的实数空间。

$y_i^k=Z\times {}_{1}p^k\times {}_2\psi \left(x_i\right)---\left(9\right)$

步骤5，模型参数估计与多视角人脸识别。

用$V⋐R^e$来表示视角流形，V(x₀)表示从x₀映射到视角流形上的点，给定测试人脸图像y∈R^d，确定其在流形V上的坐标x∈R^e和其身份系数p^s，且参数需满足最小重构误差准则，即E(x，p^s)＝‖y-Z×₁p^s×₂ψ(x)‖²实现识别，具体步骤如下：

(5a)初始化：在模型训练阶段得到训练图像的身份系数p^k，k＝1…K，给定一个新的测试人脸图像y∈R^d，设定其身份为k，根据式(9)所生成的人脸模型，求解视角系数x_k∈R^e，k＝1，…，K，对K个视角系数合成为x′，即

x′＝∑_kp_V(x_k)x_k                               (10)

并将合成后的视角系数x′映射到视角流形V上，得到初始化的视角系数x＝V(x′)，其中p_V(x_k)表示x_k属于V的概率，其值符合如下高斯估计

p_V(x_k)∝exp{-‖x_k-V(x_k)‖²/(2σ²)}               (11)

∑_kp_V(x_k)＝1，σ²为经验值，其大小决定高斯函数的方差，用于控制识别的敏感度；

(5b)身份系数估计：根据求得的视角系数x，通过式(9)对测试图像y求解身份系数向量p^s，身份识别在重构图像域进行，假设y符合以Z×₁p^k×₂ψ(x_i)为中心的高斯混合模型，这样，y的相似性函数表示为：

p(y|k，x)∝exp{-‖y-Z×₂p^k×₃ψ(x)‖²/(2σ²)}      (12)

其中p(k)和p(k|x)是等概率的，身份k的后验概率简化如下，

p(k|x，y)＝p(y|k，x)/∑_kp(y|k，x)　　      (13)

身份识别即为k_ID＝arg_k max p(k|x，y)，在上述身份k的后验概率p(k|x，y)的基础上，估计身份的系数向量为：

p^s＝∑_kp(k|x，y)p^k                         (14)

(5c)视角系数估计：将测试图像向量y和得到的身份系数向量p^s代入所生成的人脸模型式(9)，求解视角在流形上的坐标x′∈R^e，确定最优的视角坐标为x＝V(x′)；

(5d)迭代步骤(5b)和(5c)，直至达到终止条件，实现重构误差最小情况下的多视角人脸识别。

本发明的优点可通过以下实验进一步说明：

1.实验条件

本发明的实验是在西安交通大学人工智能与机器人研究所的东方人脸数据库上进行的。实验中，东方人脸数据库中包含74个人，每人有19个视角在平面外偏转范围[-90°，...，90°]之间，以10°为间隔采样，共1406张人脸图像被采用，部分示例如图5所示。

实验中比较基于概念驱动的视角流形CGVM的、基于混合数据-概念驱动视角流形HGVM的以及基于TensorFace的人脸模型在东方人脸数据库上的识别结果。本发明采用基于“留一法”的交叉验证方法对多视角人脸进行识别，即每次留出一个视角的人脸作为测试图像，其它为训练图像。为了验证基于非线性张量分解的人脸生成模型比基于TensorFace的人脸模型有更好的性能，实验中对参数估计采用有迭代的和无迭代的两种方式进行识别。

综上，总共有4组实验：

Ex.1：已有的基于TensorFace的多视角人脸识别；

Ex.2：本发明方法的基于CGVM的非线性模型采用无迭代的参数求解方法，在重构图像域对各个视角下的图像进行交叉验证识别；

Ex.3：本发明方法的基于HGVM的非线性模型采用无迭代的参数求解方法，在重构图像域对各个视角下的图像进行交叉验证识别；

Ex.4：本发明方法的基于HGVM的非线性模型采用有迭代的参数求解方法，对各个视角下的图像进行交叉验证识别。

2.实验结果，如表1所示。

表1 多视角人脸识别结果比较(％)

表1中“17个视角的平均”表示每组实验中，对视角₂～视角₁₈进行识别的平均值；“13个视角的平均”表示每组实验中，除去视角₅、视角₆、视角₁₄和视角₁₅后，对视角₂～视角₁₈中其它视角进行识别的平均值。如图3所示，尽管多视角人脸图像采集时在3D空间是接近等间隔采样的，可是不同的视角间隔之间人脸自遮挡和表面变化相差很大，特别是在视角₅～视角₆和视角₁₄～视角₁₅之间。为此，在“13个视角的平均”中将这些视角的信息去除。

基于概念驱动的视角流形中相邻视角等间隔分布的假设，并不适合描述数据本身的结构。表1的实验结果也印证了这一点，基于CGVM的方法实验结果比TensorFace要差，这表明概念驱动的视角流形并不能有效的表达视角子空间的本质结构。这里没有给出视角₁和视角₅的识别结果，因为它们是视角流形的起始点。

鉴于已有的基于TensorFace的方法在识别时采用无迭代的参数求解方法，本发明提出的基于HGVM的非线性张量人脸生成模型亦采用无迭代的参数求解方法，在重构图像域进行识别时，识别率提高了近12％。本发明提出的基于HGVM的人脸生成模型在参数求解有迭代的情况下，较已有的基于TensorFace识别方法的识别率提高了18.23％～18.85％。这表明混合概念和数据驱动的视角流形能更准确的表示数据的流形子空间结构，且迭代的参数求解方法最终使参数趋向于最优解。

上述实验结果中，在求解基于视角流形的非线性人脸模型中的参数时，无迭代的情况下，只需对视角沿着流形结构进行一次估计后，求解该视角下最优的身份信息，与已有的基于TensorFace人脸模型的方法中遍历所有视角和身份进行识别的方法相比，本发明提出的方法计算复杂度低，识别结果更准确，对噪声图像更稳定。