针对注册人脸和待识别人脸图片质量不同的人脸识别方法

摘要

本发明提供了一种针对注册人脸和待识别人脸图片质量不同的人脸识别方法，其特征在于，包括以下步骤：第一步、构建一个N

说明书

技术领域

本发明涉及一种人脸识别方法。

背景技术

已有的人脸识别都是基于系统中已注册人脸和待识别人脸图像的质量相同的假 设。而实际应用中的人脸识别，比如视频监控应用中，通常都是已注册人脸和待识别人脸质 量存在很大不同，通常情况是数据库系统中注册的人脸图像质量高(正脸、分辨率高、光照 条件良好等)，而监控视频中采集到的待识别人脸图像质量低(侧脸、分辨率低、光照较暗、 模糊等)。如果仅仅是将已注册人脸和待识别人脸变换到同一尺寸，会导致极大的信息损 失，从而影响人脸识别的精度。

发明内容

本发明的目的是提供一种更加高效、更加鲁棒的人脸识别方法。

为了达到上述目的，本发明的技术方案是提供了一种针对注册人脸和待识别人脸 图片质量不同的人脸识别方法，其特征在于：针对不同质量的图像训练不同的神经网络以 提取特征，并通过度量学习的方法来计算两不同质量图像特征之间的距离，该算法包括以 下步骤：

第一步、构建一个N_H层的高质量卷积神经子网络，待学习参数为θ_H、W_H，及一个N_L层 的低质量卷积神经子网络，待学习参数为θ_L、W_L，N_H＞N_L，将目标函数J定义为：

$\underset{\{{\theta }_H,{\theta }_L,W_H,W_L\}}{\arg \min }J=\frac{1}{2}{\Sigma }_{i}g(\mu -l_i(\tau -d^2\left(I_i^H,I_i^L\right)\left)\right)$

$+\frac{\lambda }{2}\left(\underset{n=1}{\overset{N_H}{\Sigma }}\right|\left|M_H^n\right|{|}_F^2+\underset{n=1}{\overset{N_L}{\Sigma }}\left|\right|M_L^n\left|{|}_F^2\right)$

$+\frac{\gamma }{2}\left(\right|\left|W_H\right|{|}_F^2+\left|\right|W_L\left|{|}_F^2\right),$式中：g(·)表示罗杰斯特损失函数，τ表示边缘位置，μ表 示与边缘的最小距离，l_i用于标定第i个由高质量的人脸图像和低质量的人脸图像构 成的人脸对中的脸是否为同一个人的人脸，如果第i个由高质量的人脸图像和低质量的 人脸图像构成的人脸对中的脸是同一个人的脸，则l_i＝1，否则，l_i＝-1， $d^2(I_i^H,I_i^L)=\left|\right|W_H{f}_{{\theta }_H}\left(I_i^H\right)-W_L{f}_{{\theta }_L}\left(I_i^L\right)|{|}_2^2$表示第i个由高质量的人脸图像和低质量 的人脸图像构成的人脸对中的两张脸之间的距离，表示高质量卷积神经子网络 的未经过特征对齐的输出，表示低质量卷积神经子网络的未经过特征对齐的输出， 表示高质量卷积神经子网络的第n层滤波器，表示低质量卷积神经子网络的第n 层滤波器，λ表示卷积神经子网络的正则项系数，γ表示用于特征对齐的全连接层的正则项 系数，表示向量的F范数；

第二步、利用样本集对高质量卷积神经子网络及低质量卷积神经子网络，学习得 到参数θ_H、W_H、θ_L、W_L，其中，样本集包括多对数据对，每对数据对由一张高质量的人脸图像及 一张低质量的人脸图像组成；

第三步、在人脸识别系统中注册高质量的人脸图像，实时捕获低质量的人脸图像 后，将低质量的人脸图像与已注册的高质量的人脸图像一一比对，第i对已注册的高质量的 人脸图像与低质量的人脸图像的比对步骤包括：

步骤3.1、分别将高质量的人脸图像及低质量的人脸图像输入训练后的高 质量卷积神经子网络及低质量卷积神经子网络，得到对齐后的输出及

步骤3.2、计算人脸图像与人脸图像之间的距离$d^2(I_i^H,I_i^L)=\left|\right|W_H{f}_{{\theta }_H}\left(I_i^H\right)-W_L{f}_{{\theta }_L}\left(I_i^L\right)|{|}_2^2,$若$d^2(I_i^H,I_i^L)\le \tau -\mu ,$则人脸图像与人脸图像属于同一个人，否则，属于不同人。

优选地，所述高质量卷积神经子网络为8层，第一层为高质量图像输入层，最后一 层为高质量图像全连接层，由高质量图像输入层至高质量图像全连接层依次为：卷积层一、 最大池化层一、卷积层二、最大池化层二、卷积层三、最大池化层三。

优选地，所述低质量卷积神经子网络为6层，第一层为低质量图像输入层，最后一 层为低质量图像全连接层，由低质量图像输入层至低质量图像全连接层依次为：卷积层一、 最大池化层一、卷积层二、最大池化层二。

本发明在两个公共数据集上与其他方法进行比较，包括COX和PaSC。识别率可以作 为衡量算法鲁棒性和高效性的评判标准，性能评估是用ROC曲线来展现的。

在两个数据集的不同实验设置情况下，本发明与现有最好技术的准确率对比，如 下表所示(该表表示在PaSC和COX两个数据集上面不同方法的人脸认证准确率)。

注：SRDML表示本发明提供的算法。

附图说明

图1为高质量卷积神经子网络的网络结构；

图2为低质量卷积神经子网络的网络结构；

图3特征对齐示意图；

图4为在COX数据集上面，本发明方法与现有最好技术的ROC曲线的对比图；

图5A为本发明在椒盐噪声影响下的鲁棒性分析图；

图5B为本发明在高斯噪声影响下的鲁棒性分析图；

图5C为本发明在遮挡的影响下的鲁棒性分析图；

图6为不同分辨率下本发明的算法高效性示意图；

图7A及图7B为本发明方法在PaSC数据集上部分人脸距离度量的结果，图7A为高质 量图像的特征分布图，图7B为低质量图像的特征分布图，图中，subject1至subject5为不同 个人。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

本发明需要解决给定一个人脸图像对，判断该图像对是否属于同一个人的问题。 详细说明如下：数据集中第i个人脸对可以表示成分别表示高、低质量的 人脸图像。基于深度神经网络的方法会学习到的更加具有区分性的特征表达 然后通过映射W_H和W_L得到相似性的度量$d^2(I_i^H,I_i^L)=\left|\right|W_H{f}_{{\theta }_H}\left({I_i}^H\right)-W_L{f}_{{\theta }_L}\left(I_i^L\right)|{|}_2^2.$算法的目标是解决如下问题：当人脸对属于同一个人的时候，d²≤τ-μ；当人脸对属于不同 人的时候，d²≥τ+μ。

本发明提供了一种针对注册人脸和待识别人脸图片质量不同的人脸识别方法，包 括以下步骤：

第一步、构建一个N_H层的高质量卷积神经子网络，待识别参数为θ_H、W_H，及一个N_L层 的低质量卷积神经子网络，待识别参数为θ_L、W_L，N_H＞N_L。

对于高质量卷积神经子网络而言，其输入的图像尺寸更大，因此其神经网络的层 数更深；对于低质量卷积神经子网络而言，其输入的图像尺寸更小，因此其神经网络的层数 略浅。如图1及图2所示，在本实施例中，高质量卷积神经子网络为8层，第一层为高质量图像 输入层，最后一层为高质量图像全连接层，由高质量图像输入层至高质量图像全连接层依 次为：卷积层一、最大池化层一、卷积层二、最大池化层二、卷积层三、最大池化层三。

低质量卷积神经子网络为6层，第一层为低质量图像输入层，最后一层为低质量图 像全连接层，由低质量图像输入层至低质量图像全连接层依次为：卷积层一、最大池化层 一、卷积层二、最大池化层二。

在图1及图2中，最外圈的数字表示图像的尺寸大小，而位于外圈左下角的数字表 示对应的通道数，例如对于图1的第一层高质量图像输入层而言，其图像大小为134*107，对 应的通道数为3。由此可见，高质量卷积神经子网络的输入尺寸更大，低质量卷积神经子网 络的输入尺寸更小。而且两个子网络的输入尺寸是由所有训练样本尺寸的中位数决定的。 每一层的中间方框的一圈数字表示该层的滤波器的尺寸，用于进行卷积操作；卷积层的方 块对应的数字表示经过卷积后的特征图的尺寸和对应的通道数，通过卷积运算，可以使原 信号特征增强，并且降低噪音。例如对于图1的第一层高质量图像输入层而言，其滤波器尺 寸为9*9。由图1及图2可知，图像在经过最大池化层操作后，池化后的特征具有更低的维度， 同时还会改善结果(不容易过拟合)。图1及图2中，最后一层，即全连接层的长方体的数字表 示对应神经元的个数，全连接层的操作相当于特征对齐的过程。

在本实施例中，特征对齐的过程参见图3，最底层神经元的颜色较浅部分表示与人 脸中眼睛特征有关的神经元，颜色较深部分表示与人脸中嘴巴特征有关的神经元。实验证 明，关于某个人脸器官的特征只与部分神经元有关，这部分神经元此时处于激活状态。本发 明的方法正是利用了这个原理，通过W_H和W_L分别将提取出来的特征根据目标函数做特征对 齐操作。特征对齐是通过W_H和W_L来把映射到同一个空间。

由于已注册人脸的图像质量远高于待识别人脸的图像质量，本发明分别训练两个 不同的子网络来提取已注册人脸和待识别人脸的特征(高质量的人脸图像)、 (低质量的人脸图像)。对于高质量卷积神经子网络，输入的图像尺寸更大，神经网络 的层数更深；对于低质量卷积神经子网络，输入的图像尺寸更小，神经网络的层数略浅。在 两个卷积神经子网络学习到参数θ_H、θ_L，得到特征后，再在最后一层，即全 连接层进行特征对齐，全连接层中的参数W_H、W_L也是需要学习的。

在高质量卷积神经子网络及低质量卷积神经子网络构建好以后，本发明的方法定 义了一个更加有效、更加具有区分性的距离度量目标函数。之间的距离可以表示为 $d^2(I_i^H,I_i^L)=\left|\right|W_H{f}_{{\theta }_H}\left({I_i}^H\right)-W_L{f}_{{\theta }_L}\left(I_i^L\right)|{|}_2^2,$其中θ_H和θ_L分别是高质量图像作为输入的卷 积神经网络和低质量图像作为输入的卷积神经网络要学习的参数。本发明用l_i来标定 是否为同一个人的人脸。如果属于同一个人，则l_i＝1，否则l_i＝-1。为了使 学习到的卷积神经网络提取到的人脸特征更具有区分性，本发明对人脸之间的距离添加如 下约束：其中τ表示边缘位置，μ表示与边缘的最小距离。该约束的 含义是如果属于同一个人，则希望他们之间的距离d²≤τ-μ；否则希望他们之间的 距离d²≥τ+μ。这样就保证了属于不同人脸对之间的距离至少比属于相同人脸对之间的距 离大2μ，从而有助于人脸识别。因此本发明定义如下的目标函数J：

$\underset{\{{\theta }_H,{\theta }_H,W_H,W_L\}}{\arg \min }J=\frac{1}{2}{\Sigma }_{i}g(\mu -l_i(\tau -d^2\left(I_i^H,I_i^L\right)\left)\right)$

$+\frac{\lambda }{2}\left(\underset{n=1}{\overset{N_H}{\Sigma }}\right|\left|M_H^n\right|{|}_F^2+\underset{n=1}{\overset{N_L}{\Sigma }}\left|\right|M_L^n\left|{|}_F^2\right)$

$+\frac{\gamma }{2}\left(\right|\left|W_H\right|{|}_F^2+\left|\right|W_L\left|{|}_F^2\right)$

式中，是罗杰斯特损失函数，β表示用来控制回归的陡峭程 度的参数，表示高质量卷积神经子网络的第，n层滤波器，表示低质量卷积神经子 网络的第n层滤波器，λ表示卷积神经子网络的正则项系数，γ表示用于特征对齐的全连接 层的正则项系数，表示向量的F范数。

第二步、利用样本集对高质量卷积神经子网络及低质量卷积神经子网络，学习得 到参数θ_H、W_H、θ_L、W_L，其中，样本集包括多对数据对，每对数据对由一张高质量的人脸图像及 一张低质量的人脸图像组成。

第三步、在人脸识别系统中注册高质量的人脸图像，实时捕获低质量的人脸图像 后，将低质量的人脸图像与已注册的高质量的人脸图像一一比对，第i对已注册的高质量的 人脸图像与低质量的人脸图像的比对步骤包括：

步骤3.1、分别将高质量的人脸图像及低质量的人脸图像输入训练后的高 质量卷积神经子网络及低质量卷积神经子网络，得到对齐后的输出及

步骤3.2、计算人脸图像与人脸图像之间的距离$d^2(I_i^H,I_i^L)=\left|\right|W_H{f}_{{\theta }_H}\left(I_i^H\right)-W_L{f}_{{\theta }_L}\left(I_i^L\right)|{|}_2^2,$若$d^2(I_i^H,I_i^L)\le \tau -\mu ,$则人脸图像与人脸图像属于同一个人，否则，属于不同人。

在COX数据集上面，本发明方法与现有最好技术的ROC曲线的对比，如图4所示。不 同噪声下，本发明提供的算法鲁棒性的分析，如图5A至图5C所示。不同分辨率下，本发明提 供的算法高效性的示例如图6所示。SRDML表示本发明提供的算法。

本发明方法在PaSC数据集上部分人脸距离度量的结果，如图7A及图7B所示。图中， 每种颜色代表同一个人。对于每个人，本发明选择100张图片，其中50张是高质量的人脸图 像，50张是低质量的人脸图像。分别将不同质量的图片经过高质量卷积神经子网络和低质 量卷积神经子网络后提取到的特征通过PCA降维到二维特征空间，然后在图示中显示出来。 通过示例图，可以观察到算法在不同质量的人脸图像点云上取得了很好的聚类效果。

针对系统中已注册人脸和待识别人脸图片质量不同的鲁棒人脸识别研究是在深 度学习框架Caffe下实现的。