基于非对称联合学习的人脸画像-照片识别方法

摘要

一种基于非对称联合学习的人脸画像‑照片识别方法。其步骤为：(1)获得训练样本集和测试样本集；(2)划分样本子集；(3)获得训练伪样本集；(4)构建非对称特征矩阵；(5)计算非对称联合学习矩阵；(6)计算画像样本与照片样本的相似度值；(7)得到识别结果。本发明使用深度卷积网络提取样本的深度特征向量，利用非对称特征矩阵计算非对称联合学习矩阵，使用非对称联合学习矩阵计算画像与照片的相似度，找出与画像相似度最大的照片作为识别结果。本发明将训练伪样本集加入训练过程，并使用非对称联合学习方法增加类内信息，能准确地识别出画像对应的照片。

说明书

技术领域

本发明属于图像处理技术领域，更进一步涉及模式识别与计算机视觉技术领域中的一种基于非对称联合学习的人脸画像-照片识别方法。本发明可通过所绘人脸画像检索识别与其对应的人脸照片，进而确定人脸所对应的身份。

背景技术

在刑侦追捕中，公安部门备有公民照片数据库，结合人脸识别技术用以确定犯罪嫌疑人身份，但实际中一般较难获得犯罪嫌疑人照片，但却可以通过目击者的描述下得到犯罪嫌疑人的素描人脸画像来进行后续人脸检索和识别。由于画像与普通人脸照片之间有很大的差异，直接用传统的人脸识别方法很难获取得到满意的识别效果。

C.Peng等人在其发表的论文“C.Peng,X.Gao,N.Wang,and J.Li.GraphicalRepresentation for Heterogeneous Face Recognition.IEEE Transactions onPattern Analysis and Machine Intelligence,39(2):301-312,2017”中提出了一种基于几何表示特征的人脸画像-照片识别方法。该方法利用几何表示特征分别对人脸画像和照片进行编码，然后利用人脸画像编码与人脸照片编码的距离关系检索识别人脸照片，进而确定人脸所对应的身份。该方法存在的不足之处是，在进行人脸画像编码和人脸照片编码时，由于编码特征信息不足，导致识别准确率较低。

西安电子科技大学在申请的专利文献“基于方向图模型的人脸画像合成方法”(申请号：CN201610171867.2申请日：2016.03.24申请公布号：CN105869134A)中公开了一种基于方向图模型的人脸画像合成方法，该方法共分为五步。第一步，将训练图像与输入测试图像均匀分块，对于任意测试照片块，搜索其若干近邻照片块及对应的近邻画像块。第二步，对测试照片块、近邻照片块提取方向特征。第三步，使用马尔科夫图模型对测试照片块、近邻照片块的方向特征及近邻画像块建模，求取由近邻画像块重构合成画像块的重构权值。第四步，利用重构权值与近邻画像块对应的近邻照片块重构合成伪照片块，拼接得到合成人脸伪照片。第五步，利用合成人脸伪照片检索识别人脸照片，确定人脸对应的身份信息。该方法存在的不足之处是，由于人脸画像块与人脸照片块之间的纹理信息存在差异，导致合成人脸伪照片与人脸照片间的纹理存在信息损失，因此识别准确率较低。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于非对称联合学习的人脸画像-照片识别方法，能够准确的识别出人脸画像对应的人脸照片。

实现本发明目的的具体步骤如下：

(1)获得训练样本集和测试样本集：

(1a)从画像-照片样本对集中，随机取出M对一一对应的画像-照片样本对，组成训练样本集，2≤M≤U-2，U表示样本集中人脸画像-照片样本对的总数；

(1b)将画像-照片样本对集中剩余的画像-照片样本对，组成测试样本集；

(2)划分样本子集：

(2a)从训练样本集中随机取出K张人脸画像，组成训练画像样本子集，2≤K≤M-2，将训练样本集中剩余的人脸画像，组成测试画像样本子集；

(2b)从训练样本集中取出与训练画像样本子集的样本一一对应的人脸照片，组成训练照片样本子集，将训练样本集中剩余的人脸照片，组成测试照片样本子集；

(3)获得训练伪样本集：

(3a)将训练照片样本子集中的样本，划分为大小相同、相互重叠的训练照片块矩阵；

(3b)对测试画像样本子集与训练画像样本子集进行联合学习，得到每个测试画像的重构系数向量，将重构系数向量中的每个元素与一一对应的训练照片块矩阵相乘，得到重构人脸照片块；

(3c)依次拼接重构人脸照片块，得到每个训练照片伪样本，将所有的训练照片伪样本组成训练照片伪样本子集；

(3d)将训练画像样本子集中的每个样本划分为大小相同、相互重叠的训练画像块矩阵；

(3e)对测试照片样本子集与训练照片样本子集进行联合学习，得到每个测试照片的重构系数向量，将重构系数向量中的每个元素与一一对应的训练画像块矩阵相乘，得到重构人脸画像块；

(3f)依次拼接重构人脸照片块，得到每个训练画像伪样本，组成训练画像伪样本子集；

(4)构建非对称特征矩阵：

(4a)分别将训练样本集、训练伪样本集中画像-照片对的每个样本，依次输入到深度卷积网络VGG-Face中，将深度卷积网络VGG-Face输出层中所有的神经元输出值，组成每个样本的深度特征向量；

(4b)将所有样本的深度特征向量，组成非对称联合学习类内特征矩阵；

(4c)将训练样本集中每个画像-照片对的画像深度特征向量与照片深度特征向量相加后取平均，将所有画像-照片对的平均向量组成非对称联合学习类间特征矩阵；

(5)计算非对称联合学习矩阵：

(5a)利用协方差公式，分别计算类内协方差矩阵和类间协方差矩阵；

(5b)利用非对称联合学习公式，计算非对称联合学习矩阵：

(6)利用非对称联合学习矩阵，计算每个画像样本与每个照片样本的相似度值：

(6a)将测试样本集中每个画像样本，依次输入到深度卷积网络VGG-Face中，将深度卷积网络VGG-Face输出层中每个神经元的输出值，组成每个测试画像样本的深度特征向量；

(6b)将测试样本集中每个照片样本，依次输入到深度卷积网络VGG-Face中，将深度卷积网络VGG-Face输出层中每个神经元的输出值，组成每个测试照片样本的深度特征向量；

(6c)根据联合相似度公式，利用非对称联合学习矩阵和测试样本的特征向量，计算测试样本集中每个画像样本和每个照片样本的相似度；

(7)从所有照片样本中，找出与每个画像样本相似度数值最大的照片样本，作为识别结果。

与现有技术相比，本发明有以下优点：

第一，由于本发明使用深度卷积网络VGG-Face输出层中每个神经元的输出值组成每个样本的深度特征向量，克服现有技术进行人脸画像编码和人脸照片编码时，编码特征信息不足的问题，使得本发明具有获取特征信息充足的优点。

第二，由于本发明使用训练样本集、训练伪样本集中的每个画像-照片对的画像特征向量和照片特征向量，组成非对称联合学习类内特征矩阵来补充类内信息，克服了现有技术由于人脸画像块与人脸照片块之间的纹理信息存在差异，导致合成人脸伪照片与人脸照片间的纹理存在信息损失的问题，使得本发明具有识别结果准确的优点。

附图说明

图1为本发明流程图。

具体实施方式

下面结合附图1对本发明作进一步地描述。

步骤1，获得训练样本集和测试样本集。

从画像-照片样本对集中，随机取出M对一一对应的画像-照片样本对，组成训练样本集，2≤M≤U-2，U表示样本集中人脸画像-照片样本对的总数。

将画像-照片样本对集中剩余的画像-照片样本对，组成测试样本集。

步骤2，划分样本子集：

从训练样本集中随机取出K张人脸画像，组成训练画像样本子集，2≤K≤M-2，将训练样本集中剩余的人脸画像，组成测试画像样本子集。

从训练样本集中取出与训练画像样本子集的样本一一对应的人脸照片，组成训练照片样本子集，将训练样本集中剩余的人脸照片，组成测试照片样本子集。

步骤3，获得训练伪样本集：

将训练照片样本子集中的样本，划分为大小相同、相互重叠的训练照片块矩阵。

对测试画像样本子集与训练画像样本子集进行联合学习，得到每个测试画像的重构系数向量，将重构系数向量中的每个元素与一一对应的训练照片块矩阵相乘，得到重构人脸照片块。

依次拼接重构人脸照片块，得到每个训练照片伪样本，将所有的训练照片伪样本组成训练照片伪样本子集。

将训练画像样本子集中的每个样本划分为大小相同、相互重叠的训练画像块矩阵。

对测试照片样本子集与训练照片样本子集进行联合学习，得到每个测试照片的重构系数向量，将重构系数向量中的每个元素与一一对应的训练画像块矩阵相乘，得到重构人脸画像块。

所述联合学习的具体步骤如下：

第一步，将测试画像或照片样本子集中的每一个测试画像或照片划分为大小相同、相互重叠的测试画像或照片块，并将每个测试画像或照片块的所有像素值，按行依次取出组成块特征向量，将所有测试画像或照片的特征向量组成测试特征向量集；

第二步，将训练画像或照片样本子集中的每一个训练画像或照片划分为大小相同、相互重叠的训练画像或照片块，并将每个训练画像或照片块的所有像素值，按行依次取出作为块特征向量；

第三步，对每个测试画像或照片块，从训练画像或照片样本子集中取出每个训练画像的相同位置的训练画像或照片块，得到的训练画像或照片块组成待选择画像或照片块集，并将待选择画像或照片块集中每个训练画像或照片块的特征向量组成待选择特征向量集；

第四步，按照下式，计算每个测试画像或照片块的重构系数：

minw_i^T(F_i^TF_i+O_j^TO_j)w_i-2w_i(F_i^TS_l+O_j^TO_j)

其中，min表示最小化操作，w_i表示第i个测试画像或照片块的重构系数，T表示转置操作，F_i表示第i个测试画像或照片块的待选择测试特征向量集，O_j表示第j个待选择画像或照片块与相邻画像或照片块重叠区域的块特征向量，S_l表示第l个测试画像或照片块的块特征向量；

第五步，将全部测试画像或照片块的重构系数组成测试画像或照片重构系数向量。

依次拼接重构人脸照片块，得到每个训练画像伪样本，组成训练画像伪样本子集。

步骤4，构建非对称特征矩阵：

分别将训练样本集、训练伪样本集中画像-照片对的每个样本，依次输入到深度卷积网络VGG-Face中，将深度卷积网络VGG-Face输出层中所有的神经元输出值，组成每个样本的深度特征向量。

将所有样本的深度特征向量，组成非对称联合学习类内特征矩阵。

将训练样本集中每个画像-照片对的画像深度特征向量与照片深度特征向量相加后取平均，将所有画像-照片对的平均向量组成非对称联合学习类间特征矩阵。

步骤5，计算非对称联合学习矩阵：

利用协方差计算公式，计算类内协方差矩阵和类间协方差矩阵。

所述协方差计算公式如下：

S_μ＝E[(X-E[X])(X-E[X])^T]

S_λ＝E[(Y-E[Y])(Y-E[Y])^T]

其中，S_μ表示类间协方差矩阵，E表示取矩阵均值操作，X表示类间特征矩阵，T表示转置操作，S_λ表示类内协方差矩阵，Y表示类内特征矩阵。

利用非对称联合学习公式，计算非对称联合学习矩阵。

所述非对称联合学习公式如下：

其中，A表示非对称联合学习矩阵的类内相关矩阵，-1表示求逆操作，B表示非对称联合学习矩阵的类间相关矩阵。

步骤6，计算每个画像样本与每个照片样本的相似度值：

将测试样本集中每个画像样本，依次输入到深度卷积网络VGG-Face中，将深度卷积网络VGG-Face输出层中每个神经元的输出值，组成每个测试画像样本的深度特征向量。

将测试样本集中每个照片样本，依次输入到深度卷积网络VGG-Face中，将深度卷积网络VGG-Face输出层中每个神经元的输出值，组成每个测试照片样本的深度特征向量。

根据联合相似度公式，利用非对称联合学习矩阵和测试样本的特征向量，计算测试样本集中每个画像样本和每个照片样本的相似度。

所述联合相似度公式如下：

r_t,p＝G_tAG_t+H_pAH_p-2G_tBH_p

其中，r_t,p表示第t张画像样本与第p张照片样本的相似度，G_t表示第t张画像样本的深度特征向量，H_p表示第p张照片样本的深度特征向量。

步骤7，从所有照片样本中，找出与每个画像样本相似度数值最大的照片样本，作为识别结果。

步骤8，计算识别准确率：

从所有照片样本中，找出与每个画像样本相似度数值最大的照片样本，组成预测画像-照片对。

从测试样本集的画像-照片对中，找出与预测画像-照片对中画像和照片均相同的画像-照片对，组成识别样本对。

利用识别率公式，计算识别样本对的识别准确率。

所述识别率公式如下：

Accuracy＝q/(U-M)

其中，Accuracy表示识别准确率，q表示识别样本对中的样本对数。

本发明的效果通过以下仿真实验进一步说明。

1.仿真实验条件：

本发明仿真实验的计算机配置环境为Intel(R)Core i7-4790 3.6GHZ、内存16G、Windows操作系统，编程语言使用Matlab，数据库采用香港中文大学CUHK Face SketchFERET Database数据库。

本发明的仿真实验中所使用两种现有技术作为与本发明进行效果对比。

一种是基于马尔可夫权重场模型的方法，本发明的仿真实验中将该方法记为MWF；参考文献为“H.Zhou,Z.Kuang,and K.Wong.Markov Weight Fields for Face SketchSynthesis”(In Proc.IEEE Int.Conference on Computer Vision,pp.1091-1097,2012)；

另一种是基于高斯差分二值化特征的方法，本发明的仿真实验中将记为LDoGBP；参考文献为“A.Alex,V.Asari,and A.Mathew.Local difference of Gaussian binarypattern:robust features for face sketch recognition”(In Proc.IEEEInt.Conference on Systems,Man,and Cybernetics,pp.1211-1216,2013)；

2.仿真实验内容及其结果分析：

本发明共有一组仿真实验。

根据本发明具体实施方式所述，利用本发明与马尔可夫权重场模型MWF方法和高斯差分二值化特征LDoGBP方法，计算香港中文大学CUHK Face Sketch FERET Database数据库中人脸画像和人脸照片的识别准确率。

表1人脸画像-照片识别准确率统计表

本发明的仿真实验结果如表1所示，在香港中文大学CUHK Face Sketch FERETDatabase数据库上，本发明的识别准确率较两个对比方法的识别准确率更高，所以本发明是三种方法中效果最好的。这是因为本发明使用非对称联合学习方法分别从训练样本集与训练伪样本集的所有样本中获取类内信息，所以克服了信息损失的问题。