一种基于联合表示分类的集体人脸识别方法

摘要

本发明公开一种基于联合表示分类的人脸集识别方法，主要解决传统方法不能考虑样本间的相关关系及每次只能编码和识别一张人脸图像的问题；其具体步骤为：(1) 预处理训练和测试人脸图像集；(2) 给定参数及变量初始化；(3) 求解模型极小化问题获得编码矩阵；(4) 计算表示误差并分类测试人脸集；本发明考虑了不同样本之间的相关性，将传统人脸表示的向量编码扩展为矩阵编码，使之一次能够同时编码和识别多张人脸图像集，显著降低了算法时间和计算复杂度并提高了人脸识别率，更利于大规模人脸识别或检索及其并行化。

说明书

技术领域

本发明涉及人脸识别技术领域，是一种基于联合表示分类的人脸集识别方法。

背景技术

最近几年，人脸识别技术作为一种非接触的和获取对象简便的识别手段，在安保、刑侦、考勤和金融等领域具有广泛应用前景。其中基于表示分类的人脸识别技术也越来越受到人们的欢迎。其主要思想可以归结如下两步：(1)用所有训练样本的线性组合编码表示每一个测试样本；(2)然后测算并得到一个最小表示误差以分类测试样本。Wright等人在文献“Robustfacerecognitionviasparerepresentation”([J].IEEETrans.PAMI，2009，(31)(2)：210-227.)中提出一种基于稀疏表示分类(Sparserepresentationbasedclassification，SRC)的人脸识别方法，该方法能有效的提取训练样本集最重要的表示特征，并直接利用此稀疏编码表示来分类每一个测试样本。该方法的实验结果表明SRC方法在人脸识别方面能获得一种很大提高，并促进了图像分类的应用。然而，张等人在文献“Sparserepresentationorcollaborativerepresentation：whichhelpfacerecognition”([C].13^thInternationalConferenceonComputerVision，2011，pp.471-478.)中表示SRC方法过于强调其l₁-范数的稀疏性而忽略了整个合作表示的影响。因此，他们提出一种带规则化最小二乘的基于合作表示分类的方法(Collaborativerepresentationbasedclassificationwithregularizedleastsquare，CRC-RLS)用于人脸识别。由于该方法的平滑性，使得识别问题更易于求解。此外，支持向量机(SupportVectorMachine，SVM)方法以结构化风险最小化为原则，以获得正确区分不同样本且具有最大分类余地的最优分类超平面为目的，这样既有效的防止过度拟合现象发生，又降低寻求最优分类函数的计算量。

但是，以上这些基于向量编码表示的传统人脸识别方法，包含如下一些不足：(1)对于测试样本，都必须是每一个样本单独做一次编码表示并分类识别。然而，实际中人脸识别应用，其大规模的训练样本都是从视频流或相册集中收集图像样本；且一般都是一系列测试图像集而非单张测试样本用来人脸识别分类。因而基于向量编码表示分类的方法并不能有效的工作。(2)对所有测试样本而言，都是单独一个测试样本做一次编码表示，而忽略了隐藏在所有测试样本集中不同样本间的相关关系。从而导致不同样本之间的差别性和相似性被完全忽略。我们知道人脸图像集共享一些相似的特征范式，比如图像样本中眼睛或嘴边明显要比前额或脸颊更具有区分力度，这是一种常识性的相关关系。(3)尽管l₂-范数比l₁-范数更具平滑性，但是有文献表明分数范数具有更优的稀疏性。(4)不同的传统识别方法，必须由不同的算法去求解不同的优化问题，它们没有一种统一的表示和求解方法。

为了克服传统人脸识别方法的缺点，我们发明一种基于联合表示分类(JointRepresentationClassification，JRC)的人脸集识别方法。通过将传统人脸表示的向量编码扩展为矩阵编码，使得该方法能够同时的联合编码表示所有测试样本集，矩阵范数也推广用来评估特征空间的分布。此外，当本方法的参数取不同值时，本方法可退化为传统的经典方法。换句话说，我们的方法包含传统方法作为其特例，且更广泛具有一般性。最后，为求解方法的l_2，q-l_2，p-极小化模型，我们发明一种统一的方法来求解。

发明内容

本发明的目的是针对上述问题，提供一种基于联合表示分类的人脸集识别方法。本方法考虑了不同样本之间的相关性，将传统人脸表示的向量编码扩展为矩阵编码，克服了传统方法不能考虑样本间的相关关系及每次只能编码和识别一张人脸图像的不足，使其更利于大规模人脸识别或检索及其并行化。

为实现上述目的，本发明的一种基于联合表示分类的人脸集识别方法，包含如下步骤：

步骤一，预处理训练和测试人脸图像集

对训练和测试人脸图像集进行降维和标准化预处理。

步骤二，给定参数及变量初始化：

给定参数λ＞0，q∈[1，2]和p∈(0，2]；所有训练人脸图像集构成训练图像矩阵A＝[A₁，A₂，…，A_I]∈R^m×d和所有测试图像集构成测试图像矩阵Y＝[y₁，y₂，…，y_n]∈R^m×n，其中I是训练图像集的总人数，A_i是第i个人的训练图像矩阵，m是图片降维后总像素点数，是训练图像总张数，d_i是第i个人的训练图像张数，n是测试图像总张数和y_j是第j张测试图像。

步骤三，求解模型极小化问题获得编码矩阵：

使用迭代二次法(Iterativelyquadraticmethod，IQM)求解l_2，q-l_2，p-极小化模型

$>X^{*}=\arg \underset{X}{min}\left|\right|AX-Y|{|}_{2,q}^q+\lambda |\left|X\right|{|}_{2,p}^p,(1\le q\le 2,0<p\le 2),$>

获得编码矩阵其中统一编码矩阵X∈R^d×n，混合矩阵范数Xⁱ表示矩阵X的第i行向量，表示第i类人的编码矩阵和(·)^T表示矩阵转置。

(3a)这里的迭代二次法求解模型极小化问题，包含以下步骤：

(3a.1)令k＝1并初始化X₁∈R^d×n；

(3a.2)对于k＝1，2，…，若未达停机准则，则迭代下面的步骤(3a.3)-(3a.7)。其中停机准则是指，对于给定的ε＞0，若J(X_k)-J(X_k+1)≤ε或则到达停机准则即停止迭代，$>J\left(X_k\right)=Tr\left({\left({\mathrm{AX}}_k-Y\right)}^T{G}_k\right({\mathrm{AX}}_k-Y\left)\right)+\lambda Tr\left(X_k^T{H}_k{X}_k\right),$>Tr(·)表示矩阵迹。

(3a.3)或H_k＝I_d(p＝2)，其中I_d是d阶单位矩阵。

(3a.4)C_k＝-Y；对i＝1，2，…，I，B_i＝A_i(X_k)_i，C_k＝B_i+C_k；

(3a.5)$>G_k=diag{\left\{\frac{1}{\left|\right|C_k^i|{|}_2^{2-q}}\right\}}_{i=1}^m,(1\le q<2)$>或G_k＝I_m(q＝2)；

(3a.6)$>M_k=A^T{G}_{k}A+\lambda \frac{p}{q}{H}_k;$>

(3a.7)使用Barzilai和Borwein梯度法更新X_k。

(3b)上述的Barzilai和Borwein梯度法更新X_k，包含以下步骤：

(3b.1)给定ε₂＞0，令$>X_k^{\left(1\right)}=X_k$>和$>▿Q_k^{\left(1\right)}=M_k{X}_k^{\left(1\right)}-A^T{G}_{k}Y;$>

(3b.2)对于t＝1，2，…，若则输出否则迭代下面的步骤(3b.3)和(3b.4)。

(3b.3)如果t＝1，$>{\alpha }_k^{\left(t\right)}=\frac{Tr({\left(▿Q_k^{\left(t\right)}\right)}^T▿Q_k^{\left(t\right)})}{Tr({\left(▿Q_k^{\left(t\right)}\right)}^T{M}_k▿Q_k^{\left(t\right)})};$>

否则$>S_k^{(t-1)}=X_k^{\left(t\right)}-X_k^{(t-1)},T_k^{(t-1)}=▿Q_k^{\left(t\right)}-▿Q_k^{(t-1)};$>

$>{\alpha }_k^{\left(t\right)}=\frac{Tr\left({\left(S_k^{(t-1)}\right)}^T{T}_k^{(t-1)}\right)}{Tr\left({\left(T_k^{(t-1)}\right)}^T{T}_k^{(t-1)}\right)}$>或$>{\alpha }_k^{\left(t\right)}=\frac{Tr\left({\left(S_k^{(t-1)}\right)}^T{S}_k^{(t-1)}\right)}{Tr\left({\left(S_k^{(t-1)}\right)}^T{M}_k{S}_k^{(t-1)}\right)}.$>

(3b.4)$>X_k^{(t+1)}=X_k^{\left(t\right)}-{\alpha }_k^{\left(t\right)}▿Q_k^{\left(t\right)},▿Q_k^{(t+1)}=M_k{X}_k^{(t+1)}-A^T{G}_{k}Y.$>

步骤四，计算表示误差并分类测试人脸集：

(4a)对每张测试人脸图像，分别计算训练图像集中每类人的表示误差其中j＝1，2，…，n，i＝1，2，…，I和(·)_j表示矩阵的第j列向量。

(4b)求最小表示误差并分类每张测试人脸图像，

与传统基于向量表示的人脸识别方法相比，本发明具有如下优点：

第一，通过将传统人脸表示的向量编码扩展为矩阵编码，使得该方法能够同时的联合编码表示所有测试样本集；扩展为矩阵编码的同时，也考虑了不同样本之间的相关性，使之一次能够同时编码和识别多张人脸图像集；此外，矩阵范数也推广用来评估特征空间的分布。

第二，当本方法的参数取不同值时，本方法可退化为传统的经典方法。换句话说，我们的方法包含传统方法作为其特例，且更广泛具有一般性。例如，当q＝2，p＝1，本方法退化为SRC方法；当q＝2，p＝2，本方法退化为CRC-RLS方法；此外，本方法q和p取值范围更广q∈[1，2]，p∈(0，2].。

第三，为求解方法的l_2，q-l_2，p-极小化模型，我们发明一种统一的方法来求解。

总之，本方法考虑了不同样本之间的相关性，将传统人脸表示的向量编码扩展为矩阵编码，使之一次能够同时编码和识别多张人脸图像集，显著降低了算法时间和计算复杂度并提高了人脸识别率，使其更利于大规模人脸识别或检索及其并行化。

附图说明

图1是本发明的流程图；

图2是本发明编码矩阵每一行对应范数的行系数识别力度；

图3是同一测试图像对本发明编码矩阵对应列系数和SRC方法向量系数的识别力度；

图4是本发明在同一个人不同光照和表情；

图5是本发明在同一个人不同光照和表情条件下的分类绝对误差；

图6是本发明的迭代收敛性。

具体实施方式

本发明提供一种基于联合表示分类的集体人脸识别方法，为使本发明的目的，技术方案及效果更加清楚，明确，以及参照附图并举实例对本发明进一步详细说明。应当理解，此处所描述的具体实施仅用以解释本发明，并不用于限定本发明。

下面结合附图1，对本发明的实现步骤做进一步详细描述。

步骤1，预处理训练和测试人脸图像集

对训练和测试人脸图像集进行降维和标准化预处理。

步骤2，给定参数及变量初始化：

给定参数λ＞0，q∈[1，2]和p∈(0，2]；所有训练人脸图像集构成训练图像矩阵A＝[A₁，A₂，…，A_I]∈R^m×d和所有测试图像集构成测试图像矩阵Y＝[y₁，y₂，…，y_n]∈R^m×n，其中I是训练图像集的总人数，A_i是第i个人的训练图像矩阵，m是图片降维后总像素点数，是训练图像总张数，d_i是第i个人的训练图像张数，n是测试图像总张数和y_j是第j张测试图像。

步骤3，求解模型极小化问题获得编码矩阵：

使用迭代二次法求解l_2，q-l_2，p-极小化模型

$>X^{*}=\arg \underset{X}{min}\left|\right|AX-Y|{|}_{2,q}^q+\lambda |\left|X\right|{|}_{2,p}^p,(1\le q\le 2,0<p\le 2),$>

获得编码矩阵其中统一编码矩阵X∈R^d×n，混合矩阵范数Xⁱ表示矩阵X的第i行向量，表示第i类人的编码矩阵和(·)^T表示矩阵转置。

(3a)这里的迭代二次法求解模型极小化问题，包含以下步骤：

(3a.1)令k＝1并初始化X₁∈R^d×n；

(3a.2)对于k＝1，2，…，若未达停机准则，则迭代下面的步骤(3a.3)-(3a.7)。其中停机准则是指，对于给定的ε＞0，若J(X_k)-J(X_k+1)≤ε或则到达停机准则即停止迭代，$>J\left(X_k\right)=Tr\left({\left({\mathrm{AX}}_k-Y\right)}^T{G}_k\right({\mathrm{AX}}_k-Y\left)\right)+\lambda Tr\left(X_k^T{H}_k{X}_k\right),$>Tr(·)表示矩阵迹。

(3a.3)或H_k＝I_d(p＝2)，其中I_d是d阶单位矩阵。

(3a.4)C_k＝-Y；对i＝1，2，…，I，B_i＝A_i(X_k)_i，C_k＝B_i+C_k；

(3a.5)$>G_k=diag{\left\{\frac{1}{\left|\right|C_k^i|{|}_2^{2-q}}\right\}}_{i=1}^m,(1\le q<2)$>或G_k＝Im(q＝2)；

(3a.6)$>M_k=A^T{G}_{k}A+\lambda \frac{p}{q}{H}_k;$>

(3a.7)使用Barzilai和Borwein梯度法更新X_k。

(3b)上述的Barzilai和Borwein梯度法更新X_k，包含以下步骤：

(3b.1)给定ε₂＞0，令$>X_k^{\left(1\right)}=X_k$>和$>▿Q_k^{\left(1\right)}=M_k{X}_k^{\left(1\right)}-A^T{G}_{k}Y;$>

(3b.2)对于t＝1，2，…，若则输出否则迭代下面的步骤(3b.3)和(3b.4)。

(3b.3)如果t＝1，$>{\alpha }_k^{\left(t\right)}=\frac{Tr({\left(▿Q_k^{\left(t\right)}\right)}^T▿Q_k^{\left(t\right)})}{Tr({\left(▿Q_k^{\left(t\right)}\right)}^T{M}_k▿Q_k^{\left(t\right)})};$>

否则$>S_k^{(t-1)}=X_k^{\left(t\right)}-X_k^{(t-1)},T_k^{(t-1)}=▿Q_k^{\left(t\right)}-▿Q_k^{(t-1)};$>

$>{\alpha }_k^{\left(t\right)}=\frac{Tr\left({\left(S_k^{(t-1)}\right)}^T{T}_k^{(t-1)}\right)}{Tr\left({\left(T_k^{(t-1)}\right)}^T{T}_k^{(t-1)}\right)}$>或$>{\alpha }_k^{\left(t\right)}=\frac{Tr\left({\left(S_k^{(t-1)}\right)}^T{S}_k^{(t-1)}\right)}{Tr\left({\left(S_k^{(t-1)}\right)}^T{M}_k{S}_k^{(t-1)}\right)}.$>

(3b.4)$>X_k^{(t+1)}=X_k^{\left(t\right)}-{\alpha }_k^{\left(t\right)}▿Q_k^{\left(t\right)},▿Q_k^{(t+1)}=M_k{X}_k^{(t+1)}-A^T{G}_{k}Y.$>

步骤4，计算表示误差并分类测试人脸集：

(4a)对每张测试人脸图像，分别计算训练图像集中每类人的表示误差其中j＝1，2，…，n，i＝1，2，…，I和(·)_j表示矩阵的第j列向量。

(4b)求最小表示误差并分类每张测试人脸图像，

下面结合实际人脸数据集的识别实验，对本发明的效果做进一步说明。

1.实验条件

硬件条件：CPU为Intel(R)Core(TM)i3-3110M2.40GHz*2；内存为4GiB。

软件条件：操作系统为WINDOWS7(x64bit)；编程软件为MATLABR2014a。

人脸数据集：AT&T数据集，包含40个人的共400张图像集，每张图像原始大小为112*92；Georgia-Tech数据集，包含50个人的共600张图像集，每张图像原始大小为640*480；ExtendedYaleB数据集，包含38个人的共2414张图像集，每张原始图像大小为192*168。

2.实验内容

对上述每个人脸数据集，随机的选取80％的图像作为训练数据集，剩下20％的图像作为测试数据集，分别使用本方法、SRC、CRC-RLS和SVM人脸分类识别方法去训练并识别分类测试数据集，比较它们的人脸识别率和CPU运行时间。其中本方法除了选取特例参数外，比如q＝2，p＝1对应于SRC方法和q＝2，p＝2对应于CRC-RLS方法，也选取了四组更一般的参数值，例如q＝1.5，p＝1、q＝1.5，p＝0.5、q＝1，p＝1和q＝1，p＝0.5；λ取值从0.01变化到10，每次增长10倍，其最好结果用于最终的比较；所有停机精度设置为0.001。此外，将AT&T人类数据集的每张图像直接降维到11*10；其它两个人类数据集的图像分别采用降维率是1/8和1/16进行降维处理。

实验内容是在公平的同样的实验环境和实验设置下进行的，其具体实验结果见表1-表3。

表1.AT&T人脸集识别率及CPU时间

表2.Georgia-Tech人脸集识别率及CPU时间

表3.ExtendedYaleB人脸集识别率及CPU时间

表3.ExtendedYaleB人脸集识别率及CPU时间(续)

从实验结果可以看出，本发明的方法是非常有效的，且能得到以下结论。

(1)本方法一次同时的联合编码表示所有测试样本图像集的过程，确实能显著的加速人脸识别过程。对于所有测试数据集，本方法(q＝p＝2)是识别速度最快的一种方法；本方法的CPU运行时间明显的少于SRC方法。

(2)在人脸识别率上，本方法展现出强有力的竞争力。对AT&T数据集而言，本方法的识别率为97.5％，超过CRC-RLS和SVM方法的识别率；尽管略少于SRC方法的识别率(98.75％)，但与SRC方法的运行时间相比，本方法的运行时间几乎可以忽略。对Georgia-Tech数据集而言，本方法取得最佳识别率，一致的超过其它识别方法。对降维率为1/8的ExtendedYaleB数据集而言，本方法的识别率也超过其它方法。

然而不幸的是，对降维率为1/16的ExtendedYaleB数据集，本方法未能获得最佳识别率。这是因为原始数据集中，每个人包含若干张带强对比度的光照退化图像(有些甚至完全退化成一张全黑图像)的影响，加上降维率又比较低，使得本方法在联合编码表示时不能完全消除这种噪声。但是对于单个人而言，本方法可轻易的弥补低降维率和遮挡所带来的噪音。例如，我们随机的从ExtendedYaleB数据集中选取一个人作为目标客体，挑选出五张典型的在不同光照或遮挡条件下的图像，其中光照条件分别是正常、右半边暗、左半边暗、全暗和完全漆黑。图2给出本方法(q＝2&p＝1)恢复的编码表示矩阵的行系数识别力度。由图可知，最大聚集系数恰好对应于测试人脸图像，即使完全漆黑的测试图像依旧是如此，其中目标客体是一共38个人中的第26个人。

(3)对不同的q∈[1，2]，p∈(0，2]，本方法可揭示隐藏在人脸图像集中的不同特征范式。

以本方法在q＝2，p＝1时为例，本方法的联合模型具有编码表示的稀疏性，并兼顾不同图像间的相关性。如编码矩阵的列系数展示出本方法对于单张图像的联合效力，图3给出这样一张测试图像对应于编码矩阵某一列的系数图示(来源于ExtendedYaleB数据集)。与SRC方法相比，本方法(q＝2&p＝1)会有一组而非单个聚集的稀疏尖峰，不过其中最高聚集尖峰仍然对应于测试图像。

(4)进一步，我们做了一个有关光照和表情变化对本方法的影响实验。从Georgia-Tech数据集选取同一个人(第23个人/共50个人)的正常光照和大笑表情图像，对正常光照图像做强光处理得到其强光条件下的图像，具体见图4。这三张测试图像采用降维率1/8进行降维，并用本方法(q＝2&p＝1)进行分类识别。图5给出该三张测试图像有关50类不同训练样本(50个人)的分类绝对误差。从图4、图5可见，所有测试样本对于第23类人的分类绝对误差均是最小，因而能正确分类识别为第23类人。其中大笑表情测试图像的分类绝对误差跟正常光照下的测试图像最接近，然而由于强光照改变整个图像背景及人脸，使得它对分类绝对误差的影响最大。事实上，从图2可知，对于单个人的测试图像集，本方法的分类识别率对光照变化并不敏感。

(5)图6给出本方法的迭代收敛性，其中横轴表示迭代步数，纵轴表示ρ_k的对数。由图可见，对于所有的联合稀疏模型(共五对q和p参数值)，本方法在三个数据集上都能在40步内达到收敛，其中本方法在q＝2，p＝1时皆在三步内达到收敛，从而此处省略。