一种基于流形自适应核的人脸识别方法

摘要

本发明涉及一种基于流形自适应核的人脸识别方法，该具体过程为：采用基于外形的表示方法将人脸图像表示成向量形式；计算图拉普拉斯算子；计算非参数核矩阵K；将上述所计算出的图拉普拉斯算子L和非参数核矩阵K计算，即可得到与人脸数据紧密相关的流形自适应核函数；构建核NMF的优化目标函数，建立拉格朗日函数，得到乘性更新规则；方法的低秩近似技术实现核NMF中的核矩阵计算过程；计算出优化的W和V，则对于一幅新的测试人脸图像ztest，获取经过核NMF降维后的低维特征表示；步骤h，建立SVM的优化目标函数；计算出优化解α。本发明流形自适应核NMF的人脸识别准确率优于现有的算法，维数降维作为一种预处理算法，能够有效地增强人脸识别算法的性能。

说明书

技术领域

本发明涉及模式识别领域，尤其涉及一种基于流形自适应核的人脸识 别方法。

背景技术

现有技术中通常采用基于全局特征或子空间的方法，将人脸区域看做 一个整体，将人脸作为某种技术特征作为描述特征。

中国专利《人脸识别方法及人脸识别系统》，公开号：CN101763507A， 将人脸样本图像分为多个相互交叠且大小不一的子区域，所述人脸样本图 像为经过预处理的固定大小的人脸图像；提取所述子区域的纹理特征；按照 预置规则从所述纹理特征中选取有效的纹理特征，并获取所述有效纹理特 征的投影特征值；依据各子区域的投影特征值进行人脸识别。

上述人脸识别过程中的数据处理算法，为非优化方式，计算复杂度大， 结果准确率不高。

鉴于上述缺陷，本发明创作者经过长时间的研究和实践终于获得了本 创作。

发明内容

本发明的目的在于提供一种基于流形自适应核的人脸识别方法，用以 克服上述技术缺陷。

为实现上述目的，本发明提供一种基于流形自适应核的人脸识别方 法，该具体过程为：

步骤a，采用基于外形的表示方法将人脸图像表示成向量形式，即 X＝[x₁，x₂，L，x_n]，其中x_i表示第i幅人脸图像；

步骤b，计算图拉普拉斯算子L；

步骤c，计算非参数核矩阵K；

步骤d，将上述所计算出的图拉普拉斯算子L和非参数核矩阵K计算， 即可得到与人脸数据紧密相关的流形自适应核函数；

步骤e，构建核NMF的优化目标函数，建立拉格朗日函数，得到乘性 更新规则；

步骤f，用方法的低秩近似技术实现核NMF中的核矩阵计算 过程；

步骤g，计算出优化的W和V，则对于一幅新的测试人脸图像z_test，获 取经过核NMF降维后的低维特征表示；

步骤h，建立SVM的优化目标函数；计算出优化解α，则SVM即可利 用下式对人脸图像进行分类和判决。

进一步，在上述步骤b中，设G表示一个具有n个顶点的无向图，其 中i个顶点表示人脸图像x_i，对于每一个数据点x_i，找到其p个最近邻居点 集N(x_i)；如果x_i是x_j的p-最近邻居或者x_j是x_i的p-最近邻居，则在他们之 间构建一条边，边权重依据下式确定；

$W_{\mathrm{ij}}=\left(\begin{array}{cc}1,& \mathrm{if}{x}_i\in N\left(x_j\right)\mathrm{or}{x}_j\in N\left(x_i\right)\\ 0,& \mathrm{otherwise}\end{array}\right)$

则图拉普拉斯算子L＝D-W，其中D是一个对角矩阵，其值为 D_ii＝∑_jW_ij，D_ii描述了数据点x_i周围的局部密度。

进一步，在上述步骤c中，利用下式构建相似性矩阵E；

于是，给定相似的成对约束集合S和不相似的成对约束集合D，构造 一个相似性矩阵E来表示数据之间的成对约束，即：

$E_{i,j}=\left(\begin{array}{cc}+1,& (x_i,x_j)\in S\\ -1,& (x_i,x_j)\in D\\ 0,& \mathrm{otherwise}\end{array}\right)$

一个核项K_i，j应当尽可能地和边信息E_i，j保持对齐，即：每个核项的对 齐E_i，jK_i，j应当最大化。

进一步，在上述步骤c中，利用全局优化算法对下式中的优化问题进 行求解来获得优化的非参数核矩阵K，

其中，C是一个控制边信息和正则化项之间折衷的正参数，l(E_i，jK_i，j)是 一个经验损失函数；是归一化的图拉普拉斯算子，其定义如下：

一个非参数核矩阵K相对于n个数据可以表示为K＝V^TV>0，其中， V＝[v₁，L，v_n]^T是数据点X＝[x₁，L，x_n]^T的嵌入矩阵；因而，定义如下能够描述 嵌入v_i和v_j之间局部相关性的核矩阵正则化项：

上述进行合并，获取非参数核矩阵K。

进一步，在上述步骤e中，将上述所计算出的图拉普拉斯算子L和非 参数核矩阵K代入下式，即可得到与人脸数据紧密相关的流形自适应核函 数；

式中，K表示非参数核矩阵；

步骤e，首先根据下式构建核NMF的优化目标函数，

上式的约束条件是：W≥0，V≥0；式中，输入数据矩阵X＝[x₁，L，x_n]是一 个m-维数据向量集合，则在非线性映射函数的作用下，在特征空间F中 的影像数据相应地变成了

进一步，在上述步骤e中，建立如下式所示的拉格朗日函数，

其中，α和β均为大于或等于零的拉格朗日系数；

令上式的偏导数分别为零，可得到如下式所示的乘性更新规则，其中 的核函数是流形自适应核函数；

$W_{\mathrm{ij}}\leftarrow W_{\mathrm{ij}}\frac{{\left(\mathrm{KV}\right)}_{\mathrm{ij}}}{{\left({\mathrm{KWV}}^{T}V\right)}_{\mathrm{ij}}}$

$V_{\mathrm{ij}}\leftarrow V_{\mathrm{ij}}\frac{{\left(\mathrm{KW}\right)}_{\mathrm{ij}}}{{\left({\mathrm{VW}}^T\mathrm{KW}\right)}_{\mathrm{ij}}}.$

进一步，在上述步骤f中，

令上述式中的乘性更新规则核矩阵K用下式来代替，利用方 法的低秩近似技术实现核NMF中的核矩阵计算过程；

K为正定核矩阵，E_ij＝k(x_i，z_j)，Λ_k分别包含了W的特征向量和特征 值且W_ij＝k(z_i，z_j)。

进一步，在上述步骤g中，计算出优化的W和V，则对于一幅新的测 试人脸图像z_test，其经过核NMF降维后的低维特征表示是：

其中，表示V^T的伪逆矩阵。

进一步，在上述步骤h中，根据下式建立SVM的优化目标函数；

式中，是一个无需显式知道具体形式的映射函数，其计算方法可以 通过核函数来实现；〈w，x〉表示向量w和x之间的内积， l(；)表示损失函数然后利用随机梯度下降法来对SVM的优化目标函数进行 快速求解。

进一步，在上述步骤h中，

计算出优化解α，则SVM即可利用下式对人脸图像进行分类和判决：

$f\left(x\right)=\mathrm{sgn}\left(\underset{i=1}{\overset{n}{\Sigma }}{\alpha }_i{y}_{i}k(x_i,x)\right)$

其中，k(x_i，x)表示前面计算出的流形自适应核函数。

与现有技术相比较本发明的有益效果在于：本发明流形自适应核NMF 的人脸识别准确率优于现有的算法，维数降维作为一种预处理算法，能够 有效地增强人脸识别算法的性能。NMF是一种基于部分的表示方法，而LDA 和PCA都是基于全局的表示方法，因而NMF能够很好地适应人脸是由眼睛、 鼻子和嘴等部分构成的特点；作为一种非线性的维数降维算法，从而较好 地克服了PCA、LDA和NMF作为线性算法无法有效地处理人脸图像复杂非线 性结构的不足。

流形自适应核函数较好地利用了人脸图像数据内在的流形结构，流形 自适应核函数取得了很好的识别性能；本发明用基于方法的低秩 近似方法具有较小的时间复杂度；基于随机梯度下降法的SVM运行时间少。

具体实施方式

以下，对本发明上述的和另外的技术特征和优点作更详细的说明。

本发明基于流形自适应核的人脸识别方法的具体过程为：

步骤a，采用基于外形的表示方法将人脸图像表示成向量形式，即 X＝[x₁，x₂，L，x_n]，其中x_i表示第i幅人脸图像；

步骤b，计算图拉普拉斯算子L；

设G表示一个具有n个顶点的无向图，其中i个顶点表示人脸图像x_i， 对于每一个数据点x_i，找到其p个最近邻居点集N(x_i)；如果x_i是x_j的p-最 近邻居或者x_j是x_i的p-最近邻居，则在他们之间构建一条边，边权重依据 式(1)确定；

$W_{\mathrm{ij}}=\left(\begin{array}{cc}1,& \mathrm{if}{x}_i\in N\left(x_j\right)\mathrm{or}{x}_j\in N\left(x_i\right)\\ 0,& \mathrm{otherwise}\end{array}\right)---\left(1\right)$

则图拉普拉斯算子L＝D-W，其中D是一个对角矩阵，其值为 D_ii＝∑_jW_ij，D_ii描述了数据点x_i周围的局部密度。

步骤c，计算非参数核矩阵K；

步骤c1，利用式(2)构建相似性矩阵E；

在人脸识别中，一些相似的成对约束集合S和一些不相似的成对约束 集合D很容易获得，这些信息通常又称为“边信息”。

于是，给定集合S和D，构造一个相似性矩阵E来表示数据之间的成对 约束，即：

$E_{i,j}=\left(\begin{array}{cc}+1,& (x_i,x_j)\in S\\ -1,& (x_i,x_j)\in D\\ 0,& \mathrm{otherwise}\end{array}\right)---\left(2\right)$

一个核项K_i，j应当尽可能地和边信息E_i，j保持对齐，即：每个核项的对 齐E_i，jK_i，j应当最大化。

步骤c2，利用全局优化算法对式(3)中的优化问题进行求解来获得优 化的非参数核矩阵K。

其中，C是一个控制边信息和正则化项之间折衷的正参数，l(E_i，jK_i，j)是 一个经验损失函数；是归一化的图拉普拉斯算子，其定义如下：

一个非参数核矩阵K相对于n个数据可以表示为K＝V^TV>0，其中， V＝[v₁，L，v_n]^T是数据点X＝[x₁，L，x_n]^T的嵌入矩阵；因而，定义如下能够描述 嵌入v_i和v_j之间局部相关性的核矩阵正则化项：

步骤d，将上述所计算出的图拉普拉斯算子L和非参数核矩阵K代入 式(6)，即可得到与人脸数据紧密相关的流形自适应核函数；

式中，K表示非参数核矩阵；

步骤e，首先根据式(7)构建核NMF的优化目标函数，

上式的约束条件是：W≥0，V≥0；式中，输入数据矩阵X＝[x₁，L，x_n]是一 个m-维数据向量集合，则在非线性映射函数的作用下，在特征空间F中 的影像数据相应地变成了

建立如式(8)所示的拉格朗日函数，

其中，α和β均为大于或等于零的拉格朗日系数。

令上式(8)的偏导数分别为零，可得到如(9)和(10)所示的乘性更新 规则，其中的核函数是流形自适应核函数。

$W_{\mathrm{ij}}\leftarrow W_{\mathrm{ij}}\frac{{\left(\mathrm{KV}\right)}_{\mathrm{ij}}}{{\left({\mathrm{KWV}}^{T}V\right)}_{\mathrm{ij}}}---\left(9\right)$

$V_{\mathrm{ij}}\leftarrow V_{\mathrm{ij}}\frac{{\left(\mathrm{KW}\right)}_{\mathrm{ij}}}{{\left({\mathrm{VW}}^T\mathrm{KW}\right)}_{\mathrm{ij}}}---\left(10\right)$

步骤f，令上述式(9)和(10)中的核矩阵K用(11)来代替，以便利 用方法的低秩近似技术来高效地实现核NMF中的核矩阵计算过程；

K为正定核矩阵，E_ij＝k(x_i，z_j)，Λ_k分别包含了W的特征向量和特征 值且W_ij＝k(z_i，z_j)。

步骤g，计算出优化的W和V，则对于一幅新的测试人脸图像z_test，其 经过核NMF降维后的低维特征表示是

其中，表示V^T的伪逆矩阵。

步骤h，根据式(13)建立SVM的优化目标函数；

式中，是一个无需显式知道具体形式的映射函数，其计算方法可以 通过核函数来实现；〈w，x〉表示向量w和x之间的内积， l(；)表示损失函数然后利用随机梯度下降法来对SVM的优化目标函数进行 快速求解；

计算出优化解α，则SVM即可利用下式对人脸图像进行分类和判决：

$f\left(x\right)=\mathrm{sgn}\left(\underset{i=1}{\overset{n}{\Sigma }}{\alpha }_i{y}_{i}k(x_i,x)\right)---\left(14\right)$

其中，k(x_i，x)表示前面计算出的流形自适应核函数。

上述算法的计算复杂度分析：假设原始人脸图像的维数为h，则构造p- 最近邻居和计算图拉普拉斯算子所需的时间复杂度为O((h+k)n²)；利用内 点法求解非参数核矩阵K的计算复杂度为O(n^6.5)；计算流形自适应核函数 的计算复杂度为O(n³)；利用融合方法计算核矩阵的低秩近似所需 要的计算复杂度为O(m²n)，其中m表示核矩阵的秩；训练SVM所需要的时 间复杂度为O(d/λε)。

因此本发明基于流形自适应核NMF的人脸识别算法总的时间复杂度为 O((h+k)n²)+O(n^6.5)+O(n³)+O(m²n)+O(d/λε)。可见计算量最大的部分在于计 算初始非参数核函数K，为了避免他影响整个人脸识别算法的计算性能。

该算法的优点在于：为了获得准确率ε所需要的迭代次数仅为O(1/λε)， 且所需要的总运算时间为O(d/λε)，其中d是每个样本数据中最大非零特征 数。因此该算法的最大优势在于运行时间与样本数据集的大小无关，所以 特别适合于大规模数据集的求解。

下面通过实验对上述过程进行说明：

实验中采用了三个著名的人脸测试数据库：Yale、ORL和CMU PIE。首 先对人脸数据进行了如下预处理：首先对人脸图像进行定位，然后根据人 眼的位置对人脸图像进行手工对齐、剪切，最后将人脸图像统一缩放到分 辨率为32×32，其中每个像素的灰度为256；于是每个人脸图像可被表示成 图像空间中的1024维向量。

人脸识别实验过程如下：首先采用不同的维数降维算法来获得人脸子 空间；然后将人脸图像投影到这些人脸子空间上；最后利用最近邻分类算 法来对待测试的人脸图像进行分类判决，其中的距离度量采用的是欧氏距 离。

Yale人脸数据库是由耶鲁大学的计算机视觉和控制中心建立的人脸 测试数据库，该数据库是由15个人的165幅灰度人脸图像构成的，其中每 个人由11幅人脸图像组成。这些人脸图像在光照条件、人脸表情(正常、 高兴、悲哀、睡觉、惊奇和眨眼)方面各不相同。在实验中，随机选择每 个人中的l(＝2，3，4，5)幅人脸图像来构成训练集，而将每个人中剩余的其他图 像作为训练集。

0RL人脸数据库是由40个人的400幅灰度人脸图像构成的，其中每个 人由10幅人脸图像组成。这些人脸图像是在不同的时间被拍照的，且在表 情(睁开或闭上眼睛，微笑或者不微笑)和人脸细节(戴眼镜或不戴眼镜) 方面各不相同。这些图像在拍照时允许有最大20度的倾斜或旋转。在实验 中，随机选择每个人中的l(＝2，3，4，5)幅人脸图像来构成训练集，而将每个人 中剩余的其他图像作为训练集。

CMU PIE人脸数据库包含了68个人的大约总共41368幅人脸图像，这 些人脸图像是由13部同步照相机和21个闪光灯在不同的姿势、不同的光 照条件和不同的人脸表情条件下拍照的。在本次实验中，选择了5个前部 姿势(C05、C07、C09、C27、C29)并采用了在不同光照和表情下的所有人 脸图像，即：每个人中的170幅人脸图像作为实际测试数据来源。图在实 验中，我们随机选择每个人中的l(＝5，10，20，30)幅人脸图像来构成训练集，而 将每个人中剩余的其他图像作为训练集。

表1在Yale人脸数据库上的识别准确率及所对应的优化维数

算法 2幅图像 3幅图像 4幅图像 5幅图像 NN 45.3％ 50.1％ 53.1％ 54.6％ PCA 45.8％(29) 50.2％(44) 53.3％(58) 54.8％(71) LDA 46.5％(9) 64.7％(13) 72.9％(14) 78.1％(14) NMF 51.2％(30) 66.5％(50) 74.6％(70) 80.4％(75) MAKNMF 56.5％(20) 71.4％(40) 78.1％(50) 82.6％(50)

表2在ORL人脸数据库上的识别准确率及所对应的优化维数

算法 2幅图像 3幅图像 4幅图像 5幅图像 NN 66.5％ 75.6％ 82.3％ 86.1％ PCA 66.7％(78) 75.7％(119) 82.5％(160) 86.7％(180) LDA 71.3％(22) 75.9％(39) 89.8％(39) 92.5％(39) NMF 77.2％(40) 87.3％(42) 91.6％(43) 94.8％(45) MAKNMF 80.3％(43) 90.5％(45) 94.8％(50) 96.7％(60)

表3在CMU PIE人脸数据库上的识别准确率及所对应的优化维数

算法 5幅图像 10幅图像 20幅图像 30幅图像 NN 31.4％ 44.7％ 61.9％ 72.6％ PCA 31.6％(300) 45.1％(600) 70.8％(800) 73.4％(900) LDA 68.9％(67) 77.8％(67) 84.7％(67) 92.4％(67) NMF 70.1％(70) 79.5％(75) 85.8％(80) 93.7％(90) MAKNMF 79.3％(80) 87.6％(90) 90.2％(95) 94.3％(100)

在实际人脸识别测试中，对于一个给定l幅图像，为了减少随机偏差的影 响，我们进行30次随机划分，并利用这30次运行的平均结果作为最终实验 结果。一般来说，所以维数降维算法的性能随约简后的维数变化。因此，在 试验中我们报告每个算法的最好识别准确率及所对应的降维后的维数。另外， 对于基准测试算法，采用直接在原始的1024维人脸图像空间利最近邻用分类 器(NN)进行识别，以此来说明维数降维算法的优越性。

表1给出了各种维数降维算法在Yale人脸数据库上的识别准确率及所 对应的优化维数；表2给出了各种维数降维算法在ORL人脸数据库上的识 别准确率及所对应的优化维数；表3给出了各种维数降维算法在CMU PIE 人脸数据库上的识别准确率及所对应的优化维数。

从上述实验结果可以得出如下结论：

1)本发明流形自适应核NMF(MAKNMF)的人脸识别准确率在所测试的 三个人脸数据库上均好于基准测试算法(NN)、PCA、LDA和NMF算法。

2)LDA的识别准确率要优于PCA，主要原因在于：PCA是一种无监督 的学习算法，他在维数降维的过程没有利用宝贵的鉴别信息；而LDA是一 种有监督的学习算法，他能够在维数降维的过程中利用鉴别信息将相同类 别数据相互聚集在一起的同时将不同类别的数据相互分离开来。

3)NMF算法的识别准确率要好于LDA和PCA，主要原因在于：NMF是 一种基于部分的表示方法，而LDA和PCA都是基于全局的表示方法，因而 NMF能够很好地适应人脸是由眼晴、鼻子和嘴等部分构成的特点。另外NMF 在维数降维的过程中通过施加非负性条件约束，从而使得分解后的子矩阵 具有较好的稀疏性；而经PCA和LDA降维后的矩阵无法确保其非负性，而 负数在人脸图像表示中是没有明确可解释的物理意义的。因而PCA和LDA 取得了低于NMF的识别准确率。

4)流形自适应核NMF(MAKNMF)的识别准确率优于PCA、LDA和NMF 的原因在于：MAKNMF作为一种非线性的维数降维算法，从而较好地克服了 PCA、LDA和NMF作为线性算法无法有效地处理人脸图像复杂非线性结构的 不足。另外，PCA、LDA和NMF仅能发现全局的欧氏结构，而无法有效地发 现隐藏在高维人脸图像中的内在流形结构，许多研究表明：流形结构的发 现有助于增强算法的鉴别性能。MAKNMF通过采用流形自适应核函数，他不 仅能够有效地发现高维人脸图像中内在的流形结构，而且能够使所设计的 核函数很好地与人脸图像数据紧密相关，具有很好地数据自适应性，因而 很好地增强了MAKNMF算法的鉴别性能。

5)MAKNMF、NMF、LDA和PCA算法的识别准确率都优于基准测试算法 (NN)的识别准确率，这说明：维数降维作为一种预处理算法，能够有效 地增强人脸识别算法的性能。

为了测试不同核函数对核NMF的识别性能影响，在三个人脸数据库上 对常用的高斯核函数、多项式核函数、径向基核函数及我们提出的流形自 适应核函数对核NMF的性能影响进行了测试，其中高斯核函数、多项式核 函数、径向基核函数中的参数利用十字交叉验证法设置为最优值。

从实验结果可以看出：流形自适应函数要明显优于常用的高斯核函数、 多项式核函数和径向基核函数。主要原因在于：这些常用的高斯核函数、 多项式核函数和径向基核函数都是通用的与具体数据无关的核函数，因此 他们无法和具体的人脸图像数据保持一致性。流形自适应核函数较好地利 用了人脸图像数据内在的流形结构，流形自适应核函数取得了很好的识别 性能。

为了测试基于方法的低秩近似方法能够有效地提高核NMF的 计算效率，表4给出了采用方法和直接在原始核矩阵上操作所耗 费的时间比较。从中可以明显看出：方法的运行时间要远远小于 直接对原始矩阵操作的运行时间，即：采用基于方法的低秩近似 方法具有较小的时间复杂度。

表4采用方法和直接在原始核矩阵上操作所耗费的时间

最后，对基于随机梯度下降法是否能够有效地提高SVM分类器的计算 效率进行了测试。表5给出了常用的SVM训练方法和随机梯度下降法的运 行时间比较。从中可以看出：基于随机梯度下降法的SVM运行时间要明显 小于内点法、分解法和割平面法。主要原因在于：随机梯度下降法的运行 时间与样本数据集的大小无关，所以能够在大规模数据人脸图像数据集上 能够取得较小的运行时间。

表5在三个人脸数据库上的SVM训练时间比较

算法 Yale ORL CMU PIE 内点法 158.7秒 263.4秒 2134.9秒 分解法 103.5秒 147.2秒 1158.4秒 割平面法 49.8秒 71.6秒 570.1秒 随机梯度下降法 12.6秒 19.3秒 38.5秒

以上所述仅为本发明的较佳实施例，对发明而言仅仅是说明性的，而 非限制性的。本专业技术人员理解，在发明权利要求所限定的精神和范围 内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围 内。