基于多任务卷积神经网络的网纹人脸图像识别方法及装置

摘要

本发明公开了一种基于多任务卷积神经网络的网纹人脸图像识别方法及装置。该方法包括：收集网纹人脸图像和对应的清晰人脸图像对，然后利用多任务卷积神经网络，分别设计基于回归和分类的目标函数，训练一个人脸去网纹模型，最后将网纹人脸图像输入到训练好的去网纹模型中，得到去网纹的人脸图像，从而进行后续的人脸识别任务。本发明采用了多任务学习的框架，将由网纹图像恢复清晰图像的任务表达成两个互为辅助的目标函数，并利用卷积神经网络学习其中涉及到的复杂非线性变换。发明所采用的方法不仅有效提高了模型训练时的收敛速度，并能明显提升图像恢复的效果以及泛化能力，大幅度提高了网纹人脸图像的识别准确率。

说明书

技术领域

本发明涉及计算机视觉、模式识别，机器学习等技术领域，特别是一种基于多任务 卷积神经网络的网纹人脸图像识别方法(Multi-taskConvNetforFaceRecognition，简 称MTCN)。

背景技术

作为生物特征识别技术的一种，人脸识别由于其非接触性以及准确、方便的特点， 具有良好的发展和应用前景。人脸识别技术在诸多应用场景中都发挥了十分重要的作用， 比如机场安检，边检通关等。传统的人脸识别技术主要针对同一场景下，不同时段内采集的 数据。但随着当前人脸识别技术的水平的提高，为了更方便的使用人脸识别技术。基于身份 证-生活照比对的人脸识别技术逐渐开始获得更多的关注。这种技术可以更方便的投放在 机场通关以及银行远程开户等应用场景中，可以不用提前注册就能正确识别，大幅度提高 了人脸识别技术使用时的便利性。

目前身份证-生活照比对技术还是一个比较难的问题。一方面，由于采集环境以及 采集设备的区别，本质上，这是一个异质人脸识别问题。异质人脸识别问题中，由于众多原 因引起的类内差异非常大，因而非常难以解决。另一方面，为了保护用户的身份证图像不被 不法分子乱用，通过身份证读卡器读出来的身份证照片大多加入了随机的网纹做水印。这 些网纹干扰使得用户隐私得以被保护，却对机器进行人脸识别造成了巨大干扰。随机的网 纹大大降低了人脸检测、关键点检测以及特征提取等步骤的准确率，从而严重影响最终的 识别效果。

近年来，深度学习在机器视觉的众多领域都取得了令人瞩目的效果。其中最为瞩 目的模型当属卷积神经网络，该类模型使用多层卷积层与池化层，可以抽取层级化的特征， 实现较强的非线性表达。卷积神经网络在物体分类，动作识别，图像分割以及人脸识别等领 域，均取得了显著强于传统方法的效果。在一些低层视觉问题中，比如图像去噪，图像超分 辨，图像去模糊等问题中，这一模型也都取得了不错的效果。

为了解决网纹人脸图像的识别问题，我们可以通过算法从网纹人脸图像中恢复出 来不带网纹的清晰人脸图像。利用如上所述的卷积神经网络可以训练一个用来直接从网纹 人脸数据中恢复出来清晰的人脸图像的模型。但是简单的使用网纹图像作为输入，清晰图 像作为输出，训练出来的神经网络效果比较一般，并且训练过程比较漫长，收敛较慢。而且， 由于训练过程缺乏一定的先验知识引导，训练的模型泛化性能较差。

发明内容

为了提高网纹人脸图像用于人脸识别时的准确率，本发明提出了一种基于多任务 卷积神经网络的网纹人脸图像识别方法。为了提高网纹图像用于人脸识别时的准确率，本 发明首先用网纹图像恢复出不带网纹的清晰人脸图像。本发明使用卷积神经网络作为基础 模型框架，根据具体任务的先验知识，设计了一个多任务的优化模型，同时优化残差回归和 网纹预测两个任务，同时优化有利于提升网络训练的收敛速度，且得最终的模型具有较快 的收敛速度和恢复效果，并有效提高了模型的泛化能力。

本发明提出了一种基于多任务卷积神经网络的网纹人脸图像识别方法，具体按照 以下步骤实施：

步骤S1、收集网纹人脸图像和对应的清晰人脸图像对作为样本图像对，形成训练 数据集，针对每个样本图像对通过阈值法得到指示网纹位置的标签图。

步骤S2、训练得到从网纹人脸图像恢复出不带网纹的清晰人脸图像的卷积神经网 络模型，包括：

利用所述训练数据集中的样本图像对，训练一个多任务卷积神经网络，训练过程 中，该多任务卷积神经网络前半部分的多个卷积层对输入的网纹人脸图像进行处理，后半 部分分为两个任务，分别利用处理后的数据对相应的损失目标函数进行训练；其中所述两 个任务中的主要任务用于回归清晰人脸图像和网纹人脸图像的差值，得到残差图像；辅助 任务用于预测网纹人脸图像的网纹位置，得到预测的网纹图像；最终训练好的卷积神经网 络模型的最终输出为所述残差图像和网纹位置的相加，即不带网纹的清晰人脸图像；

步骤S3、使用训练好的卷积神经网络模型，恢复出待识别的清晰人脸图像，并使用 待识别的清晰人脸图像进行人脸识别。

本发明还提出了一种基于多任务卷积神经网络的网纹人脸图像识别装置，包括：

训练样本采集模块，用于收集网纹人脸图像和对应的清晰人脸图像对作为样本图 像对，形成训练数据集，针对每个样本图像对通过阈值法得到指示网纹位置的标签图。

卷积神经网络训练模块，用于训练得到从网纹人脸图像恢复出不带网纹的清晰人 脸图像的卷积神经网络模型，包括：

利用所述训练数据集中的样本图像对，训练一个多任务卷积神经网络，训练过程 中，该多任务卷积神经网络前半部分的多个卷积层对输入的网纹人脸图像进行处理，后半 部分分为两个任务，分别利用处理后的数据对相应的损失目标函数进行训练；其中所述两 个任务中的主要任务用于回归清晰人脸图像和网纹人脸图像的差值，得到残差图像；辅助 任务用于预测网纹人脸图像的网纹位置，得到预测的网纹图像；最终训练好的图像识别模 型的最终输出为所述残差图像和网纹位置的相加，即不带网纹的清晰人脸图像；

识别模块，用于使用训练好的卷积神经网络模型，恢复出待识别的清晰人脸图像， 并使用待识别的清晰人脸图像进行人脸识别。

本发明的有益效果：本发明针对人脸识别中的一个具体问题，身份证照-生活照比 对问题，提出了一个具有广泛应用意义的方法。该方法通过多任务卷积神经网络可以从网 纹图像中恢复出不带网纹的清晰人脸图像，并利用恢复出的清晰人脸图像进行人脸识别。 本发明提出的多任务卷积神经网络模型，使用了多任务多目标的优化方式，使得模型收敛 更快，效果更好，并且泛化性能更强。通过本发明提出的先去网纹再识别方案，可以大幅度 提高网纹图像的人脸识别的准确率。

附图说明

图1是本发明所研究的网纹人脸图像和清晰人脸图像的例子；

图2是本发明中基于多任务卷积神经网络的网纹人脸图像识别方法的方法流程 图；

图3是本发明中多任务卷积神经网络模型的网络示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明作进一步的详细说明。

本发明通过多任务的卷积神经网络学习一个高度非线性的变换，用来从网纹图像 中恢复出来不带网纹的清晰图像，并使用清晰图像进行后续人脸识别。

图1是本发明所使用的网纹人脸图像和清晰人脸图像的示范示意图。

图2是本发明提出的一种基于多任务卷积神经网络的网纹人脸图像识别方法流程 图，如图2所示该方法包括以下几个步骤：

步骤S1，采集网纹人脸图像和对应的清晰人脸图像对作为训练数据集，所述图像 对的大小一致，灰度图或者彩色图像均可；对所述图像对做差，按照一定阈值得到指示网纹 分布位置的二值图像作为标签图。其中，网纹人脸图像表示为x，对应的清晰人脸图表示为 y，相应的标签图表示为lr。

步骤S2，利用所述训练数据集中的图像对，训练多任务卷积神经网络模型，以用来 从网纹人脸图像x中恢复出清晰的人脸图像y。为了保证输入输出图像大小相同，卷积神经 网络只包含卷积层，并且在各个卷积层都加入补边操作，即通过扩展图像边缘像素，使得卷 积操作后，图像的大小不变。在一实施例中，所述卷积神经网络结构由6层卷积层和相应的 校正线性单元构成，其中每层卷积层都有64个3*3大小的滤波器。卷积层的层数和每层卷积 层中滤波器的个数及大小可根据实际情况进行选择设置。如图3所示，将原始图像输入至所 述卷积神经网络中的输入层，经过多层卷积层以及非线性变换层操作后，得到卷积结果和 非线性变换结果；任务一中，前述各层的卷积和非线性变换结果输入到一个只有一个卷积 核的滤波器中，得到一个大小和输入图像相同的特征图，该作为卷积神经网络对残差的预 测，用来和真实值一起计算任务一的损失。任务二中，同样将前述各层的卷积和非线性变换 结果输入到另外的一个只有一个卷积核的滤波器中，并将得到的特征图经过一个S型函数 进行非线性变换，变换的结果可以作为污染位置预测的结果，与训练集中提供的真实值一 起计算目标损失。

该步骤中，利用所述训练数据集中的样本图像对，训练一个多任务卷积神经网络， 训练过程中，该多任务卷积神经网络前半部分的多个卷积层对输入的网纹人脸图像进行处 理，后半部分分为两个任务，分别利用处理后的数据对相应的损失目标函数进行训练；其中 所述两个任务中的主要任务用于回归清晰人脸图像和网纹人脸图像的差值，得到残差图 像；辅助任务用于预测网纹人脸图像的网纹位置，得到预测的网纹图像；最终训练好的卷积 神经网络模型的最终输出为所述残差图像和网纹位置的相加，即不带网纹的清晰人脸图 像。

本发明中利用所述卷积神经网络的高度非线性拟合能力，针对网纹图像恢复清晰 图像这一具体任务，构造以网纹图像为输入，清晰图像和网纹图像的差值图像作为输出的 卷积神经网络模型。特别的，该网络可以回归出来清晰图像和网纹图像的差值，而不是直接 回归出来清晰图像。这样，通过如图2所示的网络，使用两个相关的任务，可以训练一个可以 恢复清晰图像的卷积神经网络，从而可以将网纹人脸图像恢复成没有网纹污染的清晰人脸 图像。虽然网络的输出是清晰图像与网纹图像的差值，但在识别的时候，只需要将网络的输 出与网纹图像相加即可得到恢复出的清晰图像。

具体的，多目标卷积神经网络的两个任务分别为回归清晰图像和网纹图像的差值 以及预测网纹的位置。特别的，回归差值的目标函数可以通过最小化以均方误差为代表的 一系列目标函数来完成，比如：

其中，J₁(w₁)表示清晰图像回归差值的目标函数，w₁为该目标函数涉及的需要训练 的参数，r＝x-y是网纹图像x和预测清晰图像y的残差，代表神经网络学到的清晰图像回归 器，i，j表示图像中的像素坐标，N表示训练数据集中的训练样本总数。

预测网纹位置的任务可以表达为预测图像某一像素是否为网纹这一二分类问题。 该问题可以用最小化以逻辑斯谛回归损失为代表的一系列分类损失函数作为优化目标，比 如：

$J_2\left(w_2\right)=\underset{(x,y,r)\in N}{\Sigma }\underset{i,j}{\Sigma }[l{r}_{\mathrm{ij}}\log \left({\phi }_{\mathrm{ij}}(x,w_2)\right)+(1-l{r}_{\mathrm{ij}})\log (1-{\phi }_{\mathrm{ij}}(x,w_2))]$

其中，J₂(w₂)表示预测网纹位置的目标函数，w₂为该目标函数涉及的需要训练的参 数，φ表示代表神经网络学到的网纹位置预测器，l为表示输入图像中网纹位置的二值图 像，其大小和输入图像一样，用来表征输入图像哪些区域被污染，其中像素为零的区域为未 污染区域，像素为1则说明该区域被污染。

上述的卷积神经网络，回归残差的任务是作为主要任务，而预测网纹位置的任务 是辅助任务，所述卷积神经网络的最终目标函数为：J(w₁，w₂)＝J₁(w₁)+αJ₂(w₂)，α为辅助任 务的权重参数。上述目标函数中所有参数以及前述各层中的参数都可以通过最小化上述总 的目标函数进行。模型的训练可以通过反向传播算法进行，不断迭代更新各层参数，来最小 化该目标函数。

所述卷积神经网络如下训练：

步骤S21：网络训练的初期，对两个任务加入相同的权重，即初始化α＝1；

步骤S22：将所述训练数据集中的样本输入作为所述卷积神经网络进行训练，直至 总的目标函数J(w₁，w₂)＝J₁(w₁)+αJ₂(w₂)趋于稳定；

步骤S23：降低所述辅助任务的权重参数，转步骤S22继续训练，直至所述辅助任务 的权重参数降为0；

步骤S24：继续训练，直至训练损失J(w₁，w₂)＝J₁(w₁)+αJ₂(w₂)不再继续降低，这时 可以保存下来网络中各层参数的当前值，作为最终模型的参数。

步骤S3，对于新来的网纹人脸图像，将其输入到训练好的卷积神经网络中，得到清 晰图像与网纹图像的差值，该值与网纹图像相加即可恢复出来不带网纹的清晰人脸图像。 接下来可以用传统的人脸识别步骤，经过人脸检测，关键点检测以及特征提取之后，进行相 应的特征比对，完成人脸识别任务。

为了详细说明本发明的具体实施方式及验证本发明的有效性，我们将本发明提出 的方法应用一个网纹图像的人脸识别任务。具体的，为了训练去网纹的多任务卷积神经网 络模型，我们准备了50万张带网纹的人脸图像以及其对应的不带网纹清晰图像，并计算出 来指示对应图像对的网纹位置的标签图。利用我们设计的网络结构和目标函数，以网纹人 脸图像为输入，利用梯度反传训练该神经网络。训练过程中不断调整不同任务的权重，直至 最后网络收敛，得到用来恢复清晰人脸图像的模型。

为了测试该模型的有效性，我们额外准备了300个人的清晰的身份证照片(每人一 张)和相应个体的生活照300张，值得注意的是，这300个人并未出现在训练集中。该数据集 可以用来测试身份证-生活照比对时算法的效果。使用清晰身份证照和生活照进行比对的 时候，使用一种专门处理异质人脸识别的深度特征进行识别时的准确率如表1第一列所示。 后续的实验，我们都使用这一特征进行人脸识别。为了测试带网纹图像用于人脸识别时候 的识别率，我们给这300张清晰的人脸加入随机网纹，生成带网纹的身份证照。使用这一系 列图像和对应的清晰生活照进行人脸识别，我们发现其识别率(如表1)大幅度降低。之后， 我们使用训练好的多任务卷积神经网络模型，从上述带网纹的人脸图像中恢复出来清晰的 人脸图像，再与对应的生活照进行人脸识别，具体识别结果如表1所示。虽然与原始清晰图 片的识别率还有一定差距，但与带网纹人脸图像的识别结果相比已经有了大幅度的提升。 该实施例有效证明了本发明所提出方法对网纹人脸图像识别的有效性。

表1是经过本发明处理后的人脸识别准确率与未处理网纹图像和正常清晰图像用 于人脸识别是的准确率对比结果表，如下所示：

TPRFPR＝1％ TPRFPR＝0.1％ TPRFPR＝0.01％ 清晰图像 91.20 75.20 50.20 网纹图像 49.00 30.80 16.40 去网纹图像 81.00 57.80 29.20

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详 细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在 本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护 范围之内。