基于注意力机制与边缘约束的人脸素描合成照片方法

摘要

本发明公开了基于注意力机制与边缘约束的人脸素描合成照片方法，收集成对的人脸照片图像以及对应的人脸素描图像，构建数据集；引入卷积块注意力模块，构建包含生成网络、判别器以及卷积块注意力模块在内的生成对抗网络模型；引入边缘提取算子，构建多尺度的边缘提取网络；选择适当的损失函数和优化函数来更新网络参数，利用训练集图像对生成对抗网络模型进行训练；在训练好的网络模型中输入待测试的人脸素描图像，最终生成相应的人脸照片合成图像。本发明能够使得生成的人脸照片合成图像更完整，具有更好的局部特征效果，并且通过多尺度边缘损失网络对合成过程进行进一步的约束，使得合成的人脸图像具有更好的边缘效果。

说明书

技术领域

本发明涉及计算机视觉技术领域，尤其是基于注意力机制与边缘约束的人脸素描合成照片方法。

背景技术

随着技术的进步，人脸技术得到了大幅度的发展，并且在众多领域都取得了举足轻重的应用，其中包括公共场所人脸识别设施、辅助公安部门调查刑侦案件、个人账户人脸认证等等。人脸素描合成人脸照片技术是人脸技术中的一种，该技术能够帮助寻找目标人员，根据目击者的口头描述或者根据不太清楚的视频录像来画出目标人员的素描人脸画像，然后根据人脸素描图像与数据库当中存储的面部光学人脸图像进行比对，从而缩小寻找范围，有利于最终锁定目标人员。为了更好地匹配人脸素描图像和面部光学人脸图像，其中的一种方案就是将人脸素描图像转换为面部光学人脸图像，即人脸素描合成人脸照片，从而减少图像模态差异所带来的影响。

传统的人脸素描合成人脸照片方法主要分为两种类型：基于数据驱动的方法和基于模型驱动的方法。然而，基于数据驱动的方法在合成的过程中需要大量的训练样本，其计算是比较复杂的，基于模型驱动的方法又比较容易丢失特有的风格。由于深度学习的迅速发展，基于深度学习的人脸素描合成人脸照片方法很好地解决了上述问题。但是深度学习的人脸素描合成人脸照片过程中，仍然会出现一些边缘细节保持不佳、人脸局部特征不清晰等问题。

发明内容

为了克服上述现有技术中的缺陷，本发明提供基于注意力机制与边缘约束的人脸素描合成照片方法，对图像边缘进行约束，能够保持更好的人脸边缘细节，提升人脸素描合成人脸照片图像的整体效果。

为实现上述目的，本发明采用以下技术方案，包括：

基于注意力机制与边缘约束的人脸素描合成照片方法，包括以下步骤：

S1，获取来自Q个人的人脸照片图像以及对应的人脸素描图像，构建人脸素描-照片图像数据集A；

所述人脸素描-照片图像数据集A中包含：人脸素描图像的数据集AS={St|t=1,2,...,Q}，人脸照片图像的数据集AP={Pt|t=1,2,...,Q}；其中，St、Pt分别表示第t个人的人脸素描图像和对应的人脸照片图像，t=1,2,...,Q；

S2，构建生成对抗网络模型，所述生成对抗网络模型包括：生成网络G和判别器D；所述生成网络G用于生成人脸素描图像St的人脸照片合成图像Ptz；

S3，构建边缘提取网络，用于提取人脸素描图像St和对应的人脸照片合成图像Ptz的边缘图；

S4，构建总损失函数T，所述总损失函数T中包括多尺度边缘损失、判别器损失、生成网络损失、人脸照片合成损失；

S5，利用人脸素描-照片图像数据集A中的人脸素描图像St和对应的人脸照片图像Pt进行生成对抗网络模型的训练，在训练过程中，更新生成对抗网络模型的参数，使总损失函数T趋于稳定。

优选的，步骤S2中，所述生成网络G从输入端到输出端依次包含a1个卷积层、b1个ResNet模块、1个卷积注意力模块、b2个ResNet模块、a2个反卷积层；

所述生成网络G的处理过程具体如下所示：

S21，将人脸素描-照片图像数据集A中人脸素描图像St输入到生成网络G中，依次经a1个卷积层卷积后，得到相应的第一人脸特征图Ft1；

S22，将第一人脸特征图Ft1经b1个ResNet模块处理后，得到第二人脸特征图Ft2；

S23，将第二人脸特征图Ft2经卷积注意力模块处理后，得到第四人脸特征图Ft4；

S24，将第四人脸特征图Ft4经b2个ResNet模块处理后，得到第五人脸特征图Ft5；

S25，将第五人脸特征图Ft5依次经a2个反卷积层反卷积后，得到一个面部光学人脸图像，即生成网络G生成该人脸素描图像St的人脸照片合成图像Ptz。

优选的，所述卷积块注意力模块包括：通道关注单元和空间关注单元；所述卷积块注意力模块的输入图像即第二人脸特征图Ft2依次经通道关注单元和空间关注单元处理后，得到第四人脸特征图Ft4；

所述通道关注单元用于计算输入图像在各个通道的权重，具有关键信息的通道权重大于不具有关键信息的通道的权重；所述空间关注单元用于计算输入图像在各个像素位置的权重，具有关键信息的像素位置的权重大于不具有关键信息的像素位置的权重。

优选的，步骤S23中，所述卷积注意力模块的处理过程具体如下所示：

S231，将第二人脸特征图Ft2经过通道关注单元进行不同通道的权重赋值，得到通道关注下的人脸特征图Mv(Ft2)；

S232，将通道关注下的人脸特征图Mv(Ft2)与第二人脸特征图Ft2进行逐像素相乘，得到第三人脸特征图Ft3；

S233，将第三人脸特征图Ft3经过空间关注单元进行不同像素位置的权重赋值，得到空间关注下的人脸特征图Mz(Ft3)；

S234，将空间关注下的人脸特征图Mz(Ft3)与第三人脸特征图Ft3进行逐像素相乘，得到第四人脸特征图Ft4。

优选的，步骤S3中，所述边缘提取网络包含c1个卷积层，利用边缘提取算子L进行边缘图提取；所述边缘提取网络的处理过程具体如下所示：

S31，将人脸素描-照片图像数据集A中的人脸素描图像St，以及将基于生成网络G所生成的该人脸素描图像St的人脸照片合成图像Ptz，分别依次经过c1个卷积层卷积处理；

其中，人脸素描图像St依次经过第j个卷积层卷积后得到人脸素描图像第j层特征图Cj(St)，人脸照片合成图像Ptz依次经过j个卷积层卷积后得到人脸照片合成图像第j层特征图Cj(Ptz)，j=1,2,...c1；

S32，将人脸素描图像St、人脸照片合成图像Ptz、人脸素描图像第j层特征图Cj(St)、人脸照片合成图像第j层特征图Cj(Ptz)分别利用边缘提取算子L进行边缘图提取，分别得到人脸素描图像边缘图L(St)、人脸照片合成图像边缘图L(Ptz)、人脸素描图像第j层特征边缘图L(Cj(St))、人脸照片合成图像第j层特征边缘图L(Cj(Ptz))。

优选的，根据人脸素描图像边缘图L(St)、人脸照片合成图像边缘图L(Ptz)、人脸素描图像第j层特征边缘图L(Cj(St))、人脸照片合成图像第j层特征边缘图L(Cj(Ptz))，构建多尺度边缘损失函数T1：

优选的，根据人脸照片图像Pt，以及根据生成网络G所生成的与该人脸照片图像Pt相对应的人脸素描图像St的人脸照片合成图像Ptz，构建判别器损失函数T2、生成网络损失函数T3、人脸照片合成损失函数T4：

其中，D(.)表示判别器函数，G(.)表示生成网络函数，且G(St)=Ptz；E[.]表示期望函数。

优选的，步骤S4中，所述总损失函数T=T2+T3+w1*T4+w2*T；

其中，T1表示多尺度边缘损失函数，T2表示判别器损失函数，T3表示生成网络损失函数，T4表示人脸照片合成损失函数T4，w1、w2分别为人脸照片合成损失函数T4、多尺度边缘损失函数T1的权重超参数。

优选的，步骤S1中，将人脸素描-照片图像数据集A划分为训练集和测试集；步骤S5中，先利用训练集进行生成对抗网络模型的训练，再利用测试集对训练好的生成网络G进行测试。

优选的，步骤S1中，先对所获取来自Q个人的人脸照片图像以及对应的人脸素描图像进行预处理，将人脸照片图像与人脸素描图像的尺寸保持一致，再构建人脸素描-照片图像数据集A。

本发明的优点在于：

（1）本发明设计了边缘提取网络结构，将输入的人脸素描图像以及经过生成网络所生成的人脸照片合成图像进行边缘算子的提取，然后利用损失函数进行约束，用于使得人脸照片合成图像的边缘细节保持效果更好。

（2）本发明还将卷积块注意力模块引入到生成网络中，用于改善生成的人脸照片合成图像的效果，因为人脸图像中不仅仅只有人脸，还具有边缘的背景，这些在合成过程中都会对生成的结果产生不利的影响，卷积块注意力模块使得在人脸合成的过程中生成网络能够忽略背景信息，集中于人脸区域，从而使得生成的人脸照片合成图像具有更好的效果。

（3）本发明通过构建基于卷积块注意力模块的生成网络，在合成过程中使用注意力机制从通道和空间两个方向选取对合成更加重要的部分，提升了合成图像的局部特征效果，保留了更好的局部细节。

（4）本发明的卷积块注意力模块由通道关注单元和空间关注单元串联而成，对于输入图像即第二人脸特征图，首先会经过一个一维的通道关注图，其次会经过一个二维的空间关注图，最后得到输出图像即第四人脸特征图。通道关注单元用于计算输入图像在各个通道的重要性即权重，哪些通道包含关键信息就多加关注，少关注没什么重要信息的通道，从而达到提高特征表示能力的目的。空间关注单元用于计算输入图像在各个像素位置上的权重，集中于寻找哪个像素位置上的关键信息更多，从而分配更多的权重。两个关注单元相辅相成，通道关注单元对具有关键信息的通道分配更多的权重，然后在该基础上，空间关注单元对具有关键信息的区域分配更多的权重，两者结合，对具有更多关键信息的部分分配更多的权重。

本发明的边缘提取网络结构包含多个卷积层，将输入的人脸素描图像以及经过生成网络所生成的人脸照片合成图像分别送入到所设计的多层卷积神经网络中，对于经过每层卷积神经网络得到的输入人脸素描图像特征图、人脸照片合成图像特征图，以及原始的输入人脸素描图像和人脸照片合成图像分别进行边缘算子的提取，然后利用损失函数进行约束，本发明专门设计多层卷积神经网络，能够从多个层次上对边缘进行约束，能够把控更多的图像边缘细节信息。

附图说明

图1为本发明的方法流程图。

图2为本发明的网络架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于注意力机制与边缘约束的人脸素描合成照片方法，是先收集成对的面部光学人脸图像即人脸照片图像以及对应的人脸素描图像，并对人脸照片图像和人脸素描图像进行统一的预处理，从而获得图像数据集；然后引入卷积块注意力模块，构建包含生成网络、判别器以及卷积块注意力模块在内的生成对抗网络模型；其次引入边缘提取算子，构建多尺度的边缘提取网络，并选择适当的损失函数和优化函数来更新网络参数，利用训练集图像对构建的生成对抗网络模型进行训练；最后在训练好的生成对抗网络模型中输入待测试的人脸素描图像，最终合成相应的面部光学面部人脸图像。

如图1所示，本发明方法按如下步骤进行：

S1，获取来自Q个人的人脸照片图像以及相对应的人脸素描图像，对人脸照片图像和人脸素描图像进行统一的预处理，构建人脸素描-照片图像数据集A，对人脸素描-照片图像数据集A中的数据进行划分，得到训练集和测试集。所述预处理将人脸照片图像和人脸素描图像裁剪成相同的尺寸规格，均裁剪成256*256的尺寸规格。

其中，人脸素描-照片图像数据集A中包含人脸素描图像数据集AS和人脸照片图像数据集AP，人脸素描图像的数据集AS={St|t=1,2,...,Q}，人脸照片图像的数据集AP={Pt|t=1,2,...,Q}，St、Pt分别表示第t个人的人脸素描图像和对应的人脸照片图像，t=1,2,...,Q；人脸素描-照片图像数据集A中，各个人脸素描图像和人脸照片图像的尺寸均为N*N。

在本实施例中，人脸素描-照片图像数据集A采用人脸素描数据库CUHK构建，该数据集A包含188对来自不同人的人脸素描图像和人脸照片图像对，每个图像的尺寸均为256*256，在本实例中，选取其中的110对人脸素描图像和人脸照片图像对作为训练集用于模型的训练，剩下的人脸素描图像和人脸照片图像对作为测试集用于模型的测试。

S2，如图2所示，构建基于卷积注意力模块的生成对抗网络模型，包括：生成网络G和判别器D。

其中，所述生成网络G从输入端到输出端依次包含a1个卷积层、b1个ResNet模块、1个卷积注意力模块、b2个ResNet模块、a2个反卷积层。本实施例中，a1取3，a2取3，b1取4，b2取5。所述生成网络G中的各个卷积层之间和反卷积层之间均连接有PRelu层和批归一化层。图2中，conv表示卷积层，resnet表示ResNet模块，deconv表示反卷积层。

所述生成网络G的处理过程具体如下所示：

S21，将尺寸为N*N的人脸素描图像St输入到生成网络G中，依次经a1个卷积层卷积后，得到相应的第一人脸特征图Ft1。

S22，将第一人脸特征图Ft1经b1个ResNet模块处理后，得到第二人脸特征图Ft2。

S23，将第二人脸特征图Ft2经卷积注意力模块处理后，得到第四人脸特征图Ft4。

所述卷积块注意力模块从通道和空间两个方向进行权重的标定，对重要的信息赋予更大的权重，对不重要的信息的权重会减少，能够起到对关键信息的提取作用，提升了合成图像的局部特征效果，保留了更好的局部细节。

所述卷积块注意力模块包括：通道关注单元和空间关注单元；所述卷积块注意力模块的输入图像即第二人脸特征图Ft2依次经通道关注单元和空间关注单元处理后，得到第四人脸特征图Ft4；所述通道关注单元用于计算输入图像在各个通道中的权重，对具有关键信息的通道分配更多的权重；空间关注单元用于计算输入图像在各个像素位置上的权重，对具有关键信息的像素位置分配更多的权重；本发明中的注意力机制具体可参见现有技术，通道关注单元根据输入图像在各个通道中的权重得到一个一维的通道关注图

所述卷积块注意力模块具体包括一个一维的通道关注图

步骤S23中，所述卷积注意力模块的处理过程具体如下所示：

S231，将第二人脸特征图Ft2经过通道关注单元进行不同通道的权重赋值，即第二人脸特征图Ft2与通道关注图Mv进行卷积，得到相应的通道关注下的人脸特征图Mv(Ft2)；

S232，将通道关注下的人脸特征图Mv(Ft2)与第二人脸特征图Ft2进行逐像素相乘，得到第三人脸特征图Ft3；

S233，将第三人脸特征图Ft3经过空间关注单元进行不同像素位置的权重赋值，即第三人脸特征图Ft3与空间关注图Mz进行卷积，得到相应的空间关注下的人脸特征图Mz(Ft3)；

S234，将空间关注下的人脸特征图Mz(Ft3)与第三人脸特征图Ft3进行逐像素相乘，得到第四人脸特征图Ft4。

S24，将第四人脸特征图Ft4经b2个ResNet模块处理后，得到第五人脸特征图Ft5。

S25，将第五人脸特征图Ft5依次经a2个反卷积层反卷积后，得到一个尺寸为N*N的面部光学人脸图像，即生成网络G生成该人脸素描图像St的人脸照片合成图像Ptz。

所述判别器D采用的是PatchGAN中的判别器结构。

S3，引入边缘提取算子，构建多尺度的边缘提取网络，从而约束人脸照片合成过程中人脸边缘细节。如图2所示，所述边缘提取网络包含c1个卷积层。本实施例中，c1取3，采用边缘提取算子L。图2中，conv表示卷积层。

所述边缘提取网络的处理过程具体如下所示：

S31，将尺寸为N*N的人脸素描图像St，以及将基于生成网络G所生成的该人脸素描图像St的人脸照片合成图像Ptz，分别依次经过c1个卷积层；其中，人脸素描图像St依次经过第j个卷积层卷积后得到人脸素描图像第j层特征图Cj(St)，人脸照片合成图像Ptz依次经过j个卷积层卷积后得到人脸照片合成图像第j层特征图Cj(Ptz)，j=1,2,...c1。

S32，将人脸素描图像St、人脸照片合成图像Ptz、人脸素描图像第j层特征图Cj(St)、人脸照片合成图像第j层特征图Cj(Ptz)分别利用边缘提取算子L进行边缘图提取，分别得到人脸素描图像边缘图L(St)、人脸照片合成图像边缘图L(Ptz)、人脸素描图像第j层特征边缘图L(Cj(St))、人脸照片合成图像第j层特征边缘图L(Cj(Ptz))。

S4，构建总损失函数T，所述总损失函数T中包括多尺度边缘损失、判别器损失、生成网络损失、人脸照片合成损失。具体如下所示：

S41，根据人脸素描图像边缘图L(St)、人脸照片合成图像边缘图L(Ptz)、人脸素描图像第j层特征边缘图L(Cj(St))、人脸照片合成图像第j层特征边缘图L(Cj(Ptz))，构建多尺度边缘损失函数T1：

S42，根据人脸照片图像Pt，以及根据生成网络G所生成的与该人脸照片图像Pt相对应的人脸素描图像St的人脸照片合成图像Ptz，构建判别器损失函数T2：

其中，E表示期望，E[.]表示期望函数，G表示生成网络，D表示判别器，D(.)表示判别器函数，G(.)表示生成网络函数，且G(St)=Ptz。

S43，构建生成网络损失函数T3：

S44，构建人脸照片合成损失函数T4：

S45，构建总损失函数T：

T=T2+T3+w1*T4+w2*T；

其中，w1、w2分别为人脸照片合成损失函数T4、多尺度边缘损失函数T1的权重超参数，用于平衡各个损失函数。本实施例中，w1取3，w2取5。

S5，利用训练集的人脸素描图像St和对应的人脸照片图像Pt进行生成对抗网络模型的训练，使用自适应矩估计优化方法来更新生成对抗网络模型的参数，在训练的过程中使得总损失函数T趋于一个稳定的值，达到训练的最佳效果。

S6，从测试集中选取人脸素描图像，输入到训练好的生成网络G中，得到相对应的人脸照片合成图像，对训练好的生成网络G进行测试。

本发明中，将卷积块注意力模块引入到生成网络中，用于改善生成的人脸照片合成图像的效果。因为人脸图像中不仅仅只有人脸，还具有边缘的背景，这些在合成过程中都会对生成的结果产生不利的影响，卷积块注意力模块使得在人脸合成的过程中生成网络能够忽略背景信息，集中于人脸区域，从而使得生成的人脸照片合成图像具有更好的效果。

卷积块注意力模块由通道关注单元和空间关注单元串联而成，对于输入的特征图，首先会经过一个一维的通道关注图，其次会经过一个二维的空间关注图，最后得到最终的特征图。通道关注单元用于计算出输入图像各个通道的重要性即权重，哪些通道包含关键信息就多加关注，少关注没什么重要信息的通道，从而达到提高特征表示能力的目的。空间关注单元主要集中于寻找哪个像素位置上的关键信息更多，从而分配更多的权重。两个关注单元相辅相成，通道关注单元对具有关键信息的通道分配更多的权重，然后在该基础上，空间关注单元对具有关键信息的像素位置分配更多的权重，两者结合，对具有更多关键信息的部分分配更多的权重。

本发明中，设计了边缘提取网络结构，将输入的人脸素描图像以及经过生成网络所生成的人脸照片合成图像分别送入到所设计的三层卷积神经网络中，对于经过每层卷积神经网络得到的输入人脸素描图像特征图、人脸照片合成图像特征图，以及原始的输入人脸素描图像和人脸照片合成图像分别进行边缘算子的提取，然后利用损失函数进行约束，用于使得人脸照片合成图像的边缘细节保持效果更好。专门设计三层卷积神经网络，能够从多个层次上对边缘进行约束，能够把控更多的图像边缘细节信息。

以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。