一种妆容效果处理模型训练方法及妆容效果处理方法

摘要

本发明提供一种妆容效果处理模型训练方法及妆容效果处理方法，妆容效果处理模型训练方法包括：获取同一个人的带有妆容的带妆图像以及不带有妆容的原始图像；采用第一生成式对抗网络对带妆图像进行预设次数处理，生成第一相似影像；采用第二生成式对抗网络对原始图像进行预设次数处理生成第二相似影像；根据第一相似影像与原始图像的相似度比较结果对第一生成式对抗网络进行训练；根据第二相似影像与带妆图像的相似度比较结果对第二生成式对抗网络进行训练；直到满足预设条件，完成本轮训练。该方法够有效对带有妆容的人脸图像进行装扮弱化，或者对素颜图像进行妆容强化，以增强在多种网络场景或证件照比对下人脸的识别能力。

说明书

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种妆容效果处理模型训练方法及妆容效果处理方法。

背景技术

传统的身份认证方式，主要通过身份标识物品(如钥匙、身份证件、银行卡等)和身份标识知识(如用户名和密码)来证明身份。此类方式由于需要借助体外物品或人本身的记忆，因此，一旦证明身份的随身标识物品和标识知识被外界窃取或遗忘，其身份就容易被他人冒充或取代。与传统的身份认证方式不同，生物特征(签名、指纹、人脸、虹膜、掌纹等)由于具有唯一性、终生不变性、随身携带、不易丢失和冒用、防伪性能好等特点，已经成为身份认证的一个新的介质，具有广阔的应用前景。它认定的对象是人本身，不需要借助身外的其他标识物，并且利用它进行身份的认定更加安全、准确和可靠。同时，它易于配合计算机进行安全、监控、管理系统方面的整合，实现自动化管理。

与指纹识别、虹膜识别和掌纹识别相比，人脸识别具有非接触，不易被察觉的特点，这样会使通过人脸识别进行身份认证该识别方法不令用户反感，并且因为不易引起人的注意而不容易被欺骗。从原理上讲，人脸识别，就是从视频或者图片中提取被测人脸的相关特征，与已有数据库中的人脸特征相比较，然后计算出被测人脸的特征与数据库中哪一类人脸最相近，进而得出被测人脸对应的身份。

但是随着目前人物美颜技术的迅速发展，很多证件照和真实场景下的人物图像存在一定的差异，这导致在多种网络场景或证件照比对下，人脸的识别能力大大降低。

发明内容

有鉴于此，本发明实施例的目的在于提供一种妆容效果处理模型训练方法及妆容效果处理方法，能够有效对带有妆容的人脸图像进行装扮弱化，或者对素颜图像进行妆容强化，以增强在多种网络场景或证件照比对下人脸的识别能力。

第一方面，本发明实施例提供了一种妆容效果处理模型训练方法，包括：

获取同一个人的带有妆容的带妆图像以及不带有妆容的原始图像；

采用第一生成式对抗网络对所述带妆图像进行预设次数处理，生成第一相似影像；以及

采用第二生成式对抗网络对所述原始图像进行预设次数处理，生成第二相似影像；

根据所述第一相似影像与所述原始图像的相似度比较结果，对所述第一生成式对抗网络进行训练；以及根据所述第二相似影像与所述带妆图像的相似度比较结果，对所述第二生成式对抗网络进行训练；直到所述第一相似影像以及所述第二相似影像满足预设条件，完成本轮训练；

经过对所述第一生成式对抗网络和所述第二生成式对抗网络的多轮训练，以对妆容效果处理模型进行训练。

第二方面，本发明实施例还提供一种妆容效果处理方法，包括：

获取待处理图像；

使用如上述第一方面任意一项所述的妆容效果处理模型训练方法所得到的妆容效果处理模型对所述待处理图像进行处理，生成具有预设妆容效果的图像。

第三方面，本发明实施例还提供一种妆容效果处理模型训练装置，该装置包括：获取模块，用于获取同一个人的带有妆容的带妆图像以及不带有妆容的原始图像；

生成模块，用于采用第一生成式对抗网络对所述带妆图像进行预设次数处理，生成第一相似影像；以及采用第二生成式对抗网络对所述原始图像进行预设次数处理，生成第二相似影像；

第一训练子模块，用于根据所述第一相似影像与所述原始图像的相似度比较结果，对所述第一生成式对抗网络进行训练；以及根据所述第二相似影像与所述带妆图像的相似度比较结果，对所述第二生成式对抗网络进行训练；直到所述第一相似影像以及所述第二相似影像满足预设条件，完成本轮训练；

训练模块，用于经过对所述第一生成式对抗网络和所述第二生成式对抗网络的多轮训练，以对妆容效果处理模型进行训练。

第四方面，本发明实施例提供了一种妆容效果处理装置，该装置包括：

图像获取模块，用于获取待处理图像；

处理模块，用于使用如本发明实施例中的妆容效果处理模型训练方法所得到的妆容效果处理模型对所述待处理图像进行处理，生成具有预设妆容效果的图像。

本发明实施例所提供的妆容效果处理模型训练方法及妆容效果处理方法，通过采用第一生成式对抗网络对所述带妆图像进行预设次数处理，生成第一相似影像；以及采用第二生成式对抗网络对所述原始图像进行预设次数处理，生成第二相似影像；由于带妆图像和原始图像为同一个人的图像，因此对具有妆容的人脸图像进行妆容弱化的处理，或者对不具有妆容的人脸图像进行妆容强化的处理，需要所训练的第一生成式对抗网在对带妆图像进行处理后，所生成的第一相似影像与原始图像具有一定的相似度；且所训练的第二生成式对抗网能够在对原始图像进行处理后，所生成的第二相似影像与带妆图像具有一定的相似度，使得带妆图像在通过第一生成式对抗网络处理后，趋向于原始图像，或者使得原始图像在通过第二生成式对抗网络处理后，趋向于带妆图像。从而根据第一相似影像与原始图像的相似度比较结果，对第一生成式对抗网络进行训练，并根据第二相似影像与带妆图像的相似度比较结果，对第二生成式对抗网络进行训练，以对妆容效果处理模型进行训练，得到妆容效果处理模型；当需要对具有妆容的人脸图像进行妆容弱化的处理时，使用第一生成式对抗网络对人脸图像进行处理；当对不具有妆容的人脸图像进行妆容强化的处理时，使用第二生成式对抗网络对人脸图像进行处理，从而增强在多种网络场景或证件照比对下，人脸的识别能力。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种妆容效果处理模型训练方法的流程图；

图2示出了本发明实施例所提供的妆容效果处理模型训练方法中，对神经网络进行训练的具体方法流程图；

图3示出了本发明实施例所提供的妆容效果处理模型训练方法中，另一种对神经网络进行训练的具体方法流程图；

图4示出了本发明实施例所提供的一种妆容效果处理模型训练方法示例；

图5示出了本发明实施例所提供的另一种妆容效果处理模型训练方法示例；

图6示出了本发明实施例所提供的一种妆容效果处理方法的流程图；

图7示出了本发明实施例所提供的一种妆容效果处理模型训练装置的结构示意图；

图8示出了本发明实施例所提供的一种妆容效果处理装置的结构示意图；

图9示出了本发明实施例所提供的一种计算机设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着人物美颜技术的迅速发展，很多证件照和真实场景下的人物形象存在差异，这导致在多种网络场景或证件照比对下，人脸的识别能力大大降低，基于此，本申请提供的一种妆容效果处理模型训练方法及妆容效果处理方法，能够有效对带有妆容的人脸图像进行装扮弱化，或者对素颜图像进行妆容强化，增强在多种网络场景或证件照比对下，人脸的识别能力。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种妆容效果处理模型训练方法进行详细介绍。

参见图1所示，本申请实施例所提供的妆容效果处理模型训练方法，包括：

S101：获取同一个人的带有妆容的带妆图像以及不带有妆容的原始图像。

S102：采用第一生成式对抗网络对带妆图像进行预设次数处理，生成第一相似影像；及采用第二生成式对抗网络对原始图像进行预设次数处理，生成第二相似影像。

机器学习方法可以分为生成方法(generative approach)和判别方法(discriminative approach)，所学到的模型分别称为生成式模型(generative model)和判别式模型(discriminative model)。生成式对抗网络(Generative AdversarialNetworks，GAN)包含一个生成模型(generative model G)和一个判别模型(discriminative model D)。生成模型捕捉样本数据的分布，判别模型是一个二分类器，判别输入是真实数据还是生成的样本。这个模型的优化过程是一个“二元极小极大博弈(minimax two-player game)”问题，训练时固定一方，更新另一个模型的参数，交替迭代，使得对方的错误最大化，最终，G能估测出样本数据的分布。

在将带妆图像输入至第一生成式对抗网络之后，使用第一生成式对抗网络对带妆图像进行预设次数处理，能够生成与带妆图像对应的第一相似影像；在将原始图像输入至第二生成式对抗网络之后，使用第二生成式对抗网络对原始图像进行预设次数处理，能够生成与原始图像对应的第二相似影像。较佳地，预设次数可以为一次。

S103：根据第一相似影像与原始图像的相似度比较结果，对第一生成式对抗网络进行训练；以及根据第二相似影像与带妆图像的相似度比较结果，对第二生成式对抗网络进行训练；直到第一相似影像以及第二相似影像满足预设条件，完成本轮训练。

在具体实现的时候，为了能够对妆容效果进行处理，及对具有妆容的人脸图像进行妆容弱化的处理，或者对不具有妆容的人脸图像进行妆容强化的处理，需要所训练的第一生成式对抗网在对带妆图像进行处理后，所生成的第一相似影像与原始图像具有一定的相似度；且所训练的第二生成式对抗网能够在对原始图像进行处理后，所生成的第二相似影像与带妆图像具有一定的相似度。而为了两个生成式对抗网络在训练过程中，对带妆图像和原始图像的变形不会太大，也即，将所生成的第一相似影像较之原有带妆图像差异被限制在一定的范围内，且生成的第二相似影像较之原有的原始图像差异被限定在一定范围内，要根据第一相似影像与原始图像的相似度比较结果，对第一生成式对抗网络进行训练，并根据第二相似影像与带妆图像的相似度比较结果，对第二生成式对抗网络进行训练；直到第一相似影像以及第二相似影像满足预设条件，完成本轮训练。

具体地，根据第一相似影像与原始图像的相似度比较结果，对第一生成式对抗网络进行训练；以及根据第二相似影像与带妆图像的相似度比较结果，对第二生成式对抗网络进行训练的过程中，需要执行如下第一相似度比对，以及第二相似度比对，直到第一相似度比较结果以及第二相似度比较结果均分别符合对应的条件，执行第三相似度比对，直到第三相似度比对结果符合对应的条件，完成本轮训练。

本发明实施例提供的第一相似度比对包括如下步骤：

步骤一一：确定当前确定的第一相似影像和原始图像的第一相似度比较结果。

此处，可以通过计算当前确定的第一相似影像和原始图像之间的欧式距离作为第一相似度比较结果。

在采用欧式距离算法计算两张图像的相似度时：设图像矩阵n个像素点，用n个元素值(x1，x2，...，xn)组成该图像的特征组，特征组形成了n维空间，特征组中的每一个像素点构成了每一维的数值，就是x1，也即第一个像素点对应一维，x2，也即第二个像素点对应二维，...，xn，也即第n个像素点对应n维。在n维空间下，两个图像矩阵各形成了一个点，然后利用的欧式距离公式计算这两个点之间的距离。

欧式距离公式：

点A＝(x1,x2,...,xn)

点B＝(y1,y2,...,yn)

AB²＝(x1-y1)²+(x2-y2)²+...+(xn-yn)²

AB就是所求的A，B两个多维空间中的点之间的距离。

在计算第一相似影像和原始图像的欧式距离时，A为第一相似影像，B为原始图像，能够根据上述公式计算出第一相似影像和原始图像之间的欧式距离。欧式距离越小，则第一相似影像和原始图像之间的相似度越高；同样的，欧式距离越大，则第一相似影像和原始图像之间的相似度越低。

步骤一二：针对第一相似度比较结果大于第一预设相似度阈值的情况，生成第一反馈信息，并基于第一反馈信息对第一生成式对抗网络进行参数调整。

此处，当使用第一相似影像和原始图像的欧式距离作为第一相似度比较结果时，则第一预设相似度阈值也应当是一个欧式距离阈值。

当第一相似度比较结果大于第一预设相似度阈值时，则认为所生成的第一相似影像和原始图像之间的相似度过低，因此要生成第一反馈信息，并将第一反馈信息反馈给第一生成式对抗网络，以使得第一生成式对抗网络能够对自身参数进行调整。

步骤一三：基于调整后的参数，确定新的当前确定的第一相似影像，并再次执行第一相似度比对。

直至第一相似度比较结果不大于第一预设相似度阈值。

这里需要注意的是，在另一实施例中，针对第一相似度比较结果不大于第一预设相似度阈值的情况，也会生成另一反馈信息，并基于该反馈信息对第一生成式对抗网络进行幅度较小的参数调整，以使得第一生成式对抗网络获得参数的最优解。

本发明实施例提供的第二相似度比对包括如下步骤：

步骤二一：确定当前确定的第二相似影像和带妆图像的第二相似度比较结果。

此处与上述步骤一一类似，可以通过计算当前确定的第二相似影像和带妆图像之间的欧式距离作为第二相似度比较结果。

第二相似影像和带妆图像之间的欧式距离计算过程可以参见上述步骤一一所示，在此不再赘述。

步骤二二：针对第二相似度比较结果大于第二预设相似度阈值的情况，生成第二反馈信息，并基于第二反馈信息对第二生成式对抗网络进行参数调整。

此处，当使用第二相似影像和带妆图像的欧式距离作为第二相似度比较结果时，则第二预设相似度阈值也应当是一个欧式距离阈值。

当第二相似度比较结果大于第二预设相似度阈值时，则认为所生成的第二相似影像和带妆图像之间的相似度过低，因此要生成第二反馈信息，并将第二反馈信息反馈给第二生成式对抗网络，以使得第二生成式对抗网络能够对自身参数进行调整。

步骤二三：基于调整后的参数，确定新的当前确定的第二相似影像，并再次执行第二相似度比对。

直至第二相似度比较结果不大于第二预设相似度阈值。

这里需要注意的是，在另一实施例中，针对第二相似度比较结果不大于第二预设相似度阈值的情况，也会生成另一反馈信息，并基于该反馈信息对第二生成式对抗网络进行幅度较小的参数调整，力求得到第二生成式对抗网络的参数最优解。

本发明实施例提供的第三相似度比对包括如下步骤：

步骤三一：确定第一相似影像和第二相似影像的第三相似度比较结果。

此处与上述步骤一一类似，可以通过计算当前确定的第一相似影像和第二相似影像之间的欧式距离作为第三相似度比较结果。

第一相似影像和第二相似影像的欧式距离计算过程可以参见上述步骤一一所示，在此不再赘述。

步骤三二：针对第三相似度比较结果大于第三预设相似度阈值的情况，生成第三反馈信息，对第一生成式对抗网络和第二生成式对抗网络进行参数调整。

此处，当使用第一相似影像和第二相似影像的欧式距离作为第三相似度比较结果时，则第三预设相似度阈值也应当是一个欧式距离阈值。

当第三相似度比较结果大于第三预设相似度阈值时，则认为所生成的第一相似影像和第二相似影像之间的相似度过低，因此要生成第三反馈信息，并将第三反馈信息反馈给第一生成式对抗网络和第二生成式对抗网络，以使得第一生成式对抗网络和第二生成式对抗网络能够基于该第三反馈信息对自身参数进行调整。

步骤三三：基于调整后的参数，确定新的当前确定的第一相似影像和新的当前确定的第二相似影像，并再次执行第一相似度比对和第二相似度比对。

直至第三相似度比较结果不大于第三预设相似度阈值。

这里需要注意的是，在另一实施例中，针对第三相似度比较结果不大于第三预设相似度阈值的情况，也会生成另一反馈信息，并基于该反馈信息对第一生成式对抗网络和第二生成式对抗网络进行幅度较小的参数调整，力求第一生成式对抗网络和第二生成式对抗网络获得参数的最优解。

S104：经过对第一生成式对抗网络和第二生成式对抗网络的多轮训练，以对妆容效果处理模型进行训练。

在具体实现的时候，多轮训练，是指在每一轮训练中为第一生成式对抗网络和第二生成式对抗网络输入同一人不同组的带妆图像和原始图像，除第一轮以外，其他轮的训练中，所使用的初始第一生成式对抗网络和第二生成式对抗网络为上一轮训练完成时所得到的第一生成式对抗网络和第二生成式对抗网络。

本发明实施例所提供的妆容效果处理模型训练方法中，根据第一相似影像与原始图像的相似度比较结果，对第一生成式对抗网络进行训练，并根据第二相似影像与带妆图像的相似度比较结果，对第二生成式对抗网络进行训练，以对妆容效果处理模型进行训练，得到妆容效果处理模型；当需要对具有妆容的人脸图像进行妆容弱化的处理时，使用第一生成式对抗网络对人脸图像进行处理；当对不具有妆容的人脸图像进行妆容强化的处理时，使用第二生成式对抗网络对人脸图像进行处理，从而增强在多种网络场景或证件照比对下，人脸的识别能力。

在本发明另一实施例中，妆容效果处理模型还包括第一神经网络和/或第二神经网络，妆容效果处理模型在使用时，第一生成式对抗网络的输出作为第一神经网络的输入，对待处理图像进行进一步处理；和/或，将第二生成式对抗网络的输出作为第二神经网络的输入，对待处理图像进行进一步处理。

也就是说，当妆容效果处理模型仅包括第一神经网络时，妆容效果处理模型在使用时，第一生成式对抗网络的输出作为第一神经网络的输入，对待处理图像进行进一步处理；当妆容效果处理模型仅包括第二神经网络时，妆容效果处理模型在使用时，第二生成式对抗网络的输出作为第二神经网络的输入，对待处理图像进行进一步处理；当妆容效果处理模型既包括第一神经网络又包括第二神经网络时，妆容效果处理模型在使用时，第一生成式对抗网络的输出作为第一神经网络的输入，且第二生成式对抗网络的输出作为第二神经网络的输入，对待处理图像进行进一步处理。

此时，经过对第一生成式对抗网络和第二生成式对抗网络的多轮训练，得到妆容效果处理模型，具体包括：

经过对第一生成式对抗网络和第二生成式对抗网络的多轮训练，以及经过对神经网络的多轮训练，得到妆容效果处理模型。

在具体实现的时候，本发明实施例所提供的妆容效果处理模型训练方法还包括对神经网络的训练过程。其中，对神经网络的训练过程如图2所示：

S201：获取源图像集和目标图像集；其中，源图像集中包括至少一个带有标签的源图像。

在具体实现的时候，源图像集中包括至少一个带有标签的源图像，源图像集中可以包括第一生成式对抗网络输出的第一相似影像，或者包括第二生成式对抗网络的输出的第二相似影像，也即，使用第一生成式对抗网络输出或者第二生成式对抗网络输出对神经网络进行训练。也可以采用其他源图像对神经网络进行训练。

针对妆容效果处理为妆容效果弱化的情况，当对第一神经网络进行训练时，源图像为带有妆容的图像；目标图像为不带有妆容的图像。针对妆容效果处理为妆容效果强化的情况，在对第二神经网络进行训练时，源图像为不带有妆容的图像，目标图像为带有妆容的图像。

特殊地，当源图像集中的源图像为第一生成式对抗网络的输出时，目标图像集中的目标图像包括原始图像。当源图像集中的源图像为第二生成式对抗网络的输出时，目标图像集的目标图像包括带妆图像。

S202：将源图像集以及目标图像集输入神经网络，对源图像和目标图像进行特征学习后，为源图像集中的每个源图像提取第一特征向量；并将第一特征向量输入分类器得到分类结果。

在具体实现的时候，源图像集中的源图像是携带有标签，该标签用于指示该源图像中的人脸对应的身份；目标图像集中的目标图像未携带标签。在将源图像集以及目标图像集输入神经网络后，神经网络对源图像集中的源图像以及目标图像集中的目标图像进行共享参数的特征学习。在这个过程中，由于该神经网络对源图像集中源图像进行有监督的学习，而对于目标图像集中的目标图像进行无监督的学习，在使用同一神经网络对两种图像进行共享参数的学习过程中，会不断的调整神经网络中所使用的参数，从而在对神经网络训练的过程中，能够让神经网络的参数受到目标图像集的影响。进而使得神经网络在对源图像和目标图像进行特征学习后，对每个源图像进行特征提取得到特征向量中会受到目标图像的干扰，从而实现了源图像和目标图像的域间混合。

需要注意的是，本发明实施例中的生成式对抗网络和神经网络可以分别独立进行训练，在模型训练完毕使用模型时，将第一生成式对抗网络的输出作为所述第一神经网络的输入，对待处理图像进行进一步处理；将第二生成式对抗网络的输出作为第二神经网络的输入，对待处理图像进行进一步处理。

S203：基于分类结果，对神经网络和分类器进行本轮训练。

此处，由于神经网络中参数受到了目标图像的影响，导致神经网络从源图像中提取的第一特征向量受到了一定的影响，因此此时使用第一特征向量来对分类器进行有监督训练，使得训练所得到的分类器能够使用从多张源图像中提取的第一特征向量来对源图像分类正确。

具体地，本发明实施例中，通过执行如下分类操作，直到分类结果正确，则完成基于分类结果对神经网络和分类器的本轮训练。该分类操作包括如下步骤：

步骤四一：使用分类器对当前确定的第一特征向量进行分类。

步骤四二：针对分类结果错误的情况，生成第四反馈信息，并基于第四反馈信息对神经网络以及分类器进行参数调整。

具体地，当分类器对当前确定的第一特征向量进行分类的结果错误的时候，认为此时神经网络在将源图像和目标图像进行域混合的时候，其参数过多的受到目标图像的影响，因此当分类结果错误的时候，分类器会生成第四反馈信息，并反馈给神经网络和分类器。神经网络和分类器会分别基于该分类错误的第四反馈信息，对自身参数进行调整。

步骤四三：基于调整后的参数，确定新的当前确定的第一特征向量，并再次执行分类操作。

直至分类器的分类结果正确。

这里需要注意的是，当分类器的分类将结果是正确的时候，也会生成对应的反馈信息，并将该反馈信息反馈给神经网络和分类器。神经网络和分类器会基于该分类正确的反馈信息对参数进行幅度较小的调整，力求调整至参数最优。

在本发明另一实施例中，参见图3所示，在将源图像集以及目标图像集输入神经网络，对源图像和目标图像进行特征学习后，还包括：

S301：为目标图像集中的每个目标图像提取第二特征向量。

S302：将第一特征向量和第二特征向量进行梯度反向处理；以及

S303：将经过梯度反向处理的第一特征向量和第二特征向量层输入域分类器；

S304：根据域分类器的对第一特征向量以及第二特征向量分别表征的源图像集和目标图像集的域分类结果，对神经网络进行参数调整。

在具体实现的时候，由于在使用源图像和目标图像对神经网络进行训练的过程，实际上是要将源图像和目标图像进行域混合的过程。即使用神经网络对源图像进行特征提取所获得的第一特征向量要受到目标图像中特征的影响，也即，使得第一特征向量向目标图像的特征接近；同时，使用神经网络对源图像进行特征提取所获取的第二特征向量受到源图像中特征的影响，也即，使得第二特征向量向源图像的特征接近。因此，为了实现对源图像和目标图像的域混合，在为目标图像集中的每个目标图像提取第二特征向量后，要将第一特征向量和第二特征向量进行梯度反向处理，然后将经过梯度反向处理的第一特征向量和第二特征向量输入至域分类器，使用域分类器对第一特征向量和第二特征向量进行域分类。

域分类的结果正确，也即域分类器能够正确对第一特征向量和第二特征向量进行正确分类的概率越大，则说明域混合的程度越小；域分类的结果错误的概率越大，也即域分类器对第一特征向量和第二特征向量进行分类正确的概率越小，说明域混合的程度越大，因此，要基于域分类器对第一特征向量和第二特征向量分别保证的源图像集和目标图像集进行分分类的结果，对神经网络进行参数调整。

具体地，通过执行域分类损失确定操作，来根据域分类器的对第一特征向量以及第二特征向量分别表征的源图像集和目标图像集的域分类结果，对神经网络进行参数调整。

域分类损失确定操作具体包括如下步骤：

步骤五一：确定当前第一特征向量以及第二特征向量分别表征的源图像集和目标图像集的本次域分类的域分类损失。

此处，通过域分类损失来表征域混合的程度。源图像集的预分类损失是指在基于第一特征向量和第二特征向量对源图像和目标图像进行分类的过程中，源图像集中被分类到目标图像集中的源图像的数量。目标图像集的预分类损失是指在基于第一特征向量和第二特征向量对原图想和目标图像进行分类的过程中，目标图像集中的被分类到原图像集中的目标图像的数量。在使用域分类器对第一特征向量以及第二特征向量分别表征的源图像集和目标图像集进行域分类后，就能够获得域分类结果，然后按照域分类结果，确定源图像集合目标图像集分别对应的域分类损失。

步骤五二：针对最近预设次数的域分类损失之间的差别不小于预设差别阈值，生成第五反馈信息，并基于第五反馈信息对神经网络进行参数调整。

此处，使用预设差别阈值来对域混合的程度进行约束。域分类器中预先存储有第一特征向量和第二特征向量分别所属域的分布，当最近预设次数的域分类损失之间的差别不小于预设差别阈值时，则认为域分类还未达到稳定的状态，也就是说，在某次域分类中，域分类器能正确区分第一特征向量和第二特征向量分别所属的域，某次域分类中，域分类器又不能正确区分第一特征向量和第二特征向量分别所属的域，域混合程度还不稳定，那么，需要对神经网络的参数进行调整，因此会生成域分类损失差别过大的第五反馈信息，并反馈给神经网络。神经网络在接收到该域分类损失差别过大的第五反馈信息后，会对自身的参数进行调整。

步骤五三：基于调整后的参数，确定新的当前第一特征向量以及第二特征向量，并执行域分类损失确定操作，直到差别不大于预设差别阈值，完成基于域分类器对神经网络的本轮训练。

此处，需要注意的是，当最近预设次数的域分类损失之间的差别小于预设差别阈值时，也会生成域分类损失差别合适的反馈信息，并将之反馈给神经网络。神经网络在接收到该域分类损失差别合适的反馈信息后，还会对自身的参数进行幅度较小的调整，力求梯度下降到局部最优。

在该实施例中，通过将源图像集以及目标图像集输入至同一个神经网络，使用神经网络对源图像集中的源图像和目标图像集中的目标图像进行参数共享的特征学习，使得神经网络在训练时受到目标图像的影响，从而学习到目标图像所具有的一些特征，因此，在使用神经网络对源图像进行特征提取时所获得的第一特征向量除了提取能够提取到源图像的特征，还会使得所提取的第一特征向量引入目标图像的特征。因此，当妆容效果处理模型在训练时，进一步的将不带有妆容的图像的特征混合到第一神经网络，或者将带有妆容的图像的特征混合的第二神经网络，使得带妆图像在通过第一神经网络处理后，更趋向于原始图像，或者使得原始图像在通过第二神经网络处理后，更趋向于带妆图像，能够获得更好的妆容处理效果。

参见图4所示，本发明实施例还提供一种妆容效果处理模型训练方法的具体示例，该方法用于对第一生成式对抗网络和第二生成式对抗网络进行训练，该方法包括：

S401：获取同一个人的带有妆容的带妆图像以及不带有妆容的原始图像。跳转至S402和S406；

S402：采用第一生成式对抗网络对带妆图像进行预设次数处理，生成第一相似影像。跳转至S403。

S403：确定当前确定的第一相似影像和原始图像的第一相似度比较结果。跳转至S904。

S404：检测第一相似度比较结果是否大于第一预设相似度阈值；如果是，则跳转至S405；如果否，则跳转至S410。

S405：生成第一反馈信息，并基于第一反馈信息对第一生成式对抗网络进行参数调整。跳转至S402。

S406：采用第二生成式对抗网络对所述原始图像进行预设次数处理，生成第二相似影像。跳转至S407。

S407：确定当前确定的第二相似影像和带妆图像的第二相似度比较结果。跳转至S408。

S408：检测第二相似度比较结果是否大于第二预设相似度阈值；如果是，则跳转至S409；如果否，则跳转至S410。

S409：生成第二反馈信息，并基于所述第二反馈信息对所述第二生成式对抗网络进行参数调整。跳转至S406。

S410：确定第一相似影像和第二相似影像的第三相似度比较结果。跳转至S411。

S411：检测第三相似度比较结果是否大于第三预设相似度阈值；如果是，则跳转至S412；如果否，则跳转至S413。

S412：生成第三反馈信息，对第一生成式对抗网络和第二生成式对抗网络进行参数调整。跳转至S402和S406。

S413：完成本轮训练。

通过上述实施例能够实现对对第一生成式对抗网络和第二生成式对抗网络进行训练。

参见图5所示，本发明实施例还提供一种妆容效果处理模型训练方法的具体示例，该方法用于对第神经网络进行训练，该方法包括：

S501：获取源图像集和目标图像集。跳转至S502。

S502：将所述源图像集以及目标图像集输入神经网络，对源图像和目标图像进行特征学习。跳转至S503。

S503：使用进行特征学习后的神经网络为源图像集中的每个源图像提取第一特征向量。跳转至S504以及S508。

其中，S504和S508在S503执行之后执行，且S504和S508的执行顺序不限。

S504：将第一特征向量输入分类器。跳转至S505。

S505：使用分类器对当前确定的第一特征向量进行分类。跳转至S506。

S506：检测分类结果是否正确。如果否，则跳转至S507；如果是，则跳转至S515。

S507：生成第四反馈信息，并基于所述第四反馈信息对所述神经网络以及所述分类器进行参数调整。跳转至S503。

S508：使用进行特征学习后的神经网络为目标图像集中的每个目标图像提取第二特征向量。跳转至S509。

S509：将第一特征向量和第二特征向量进行梯度反向处理。跳转至S510。

S510：将经过梯度反向处理的第一特征向量和第二特征向量层输入域分类器。跳转至S511。

S511：使用域分类器对第一特征向量以及第二特征向量分别表征的源图像集和目标图像集进行域分类。跳转至S512。

S512：确定当前第一特征向量以及第二特征向量分别表征的源图像集和目标图像集的本次域分类的域分类损失。跳转至S513。

S513：检测最近预设次数的域分类损失之间的差别是否小于预设差别阈值。如果否，则跳转至S514。如果是，则跳转至S515。

S514：生成第五反馈信息，并基于第五反馈信息对神经网络进行参数调整。跳转至S503。

S515：完成本轮训练。

通过上述方法，能够对妆容效果处理模型中的神经网络进行训练。

进一步地，S506和S513，在同时满足“是”时，流程才能真正的走到S515，二者存在一个还是“否”时，都不是真正的完成本轮训练，而是如上文所述，继续向神经网络反馈信息，对神经网络进行微调。

参见图6所示，本发明实施例还提供一种妆容效果处理方法，该方法包括：

S601：获取待处理图像。

S602：使用本申请实施例所提供的妆容效果处理模型训练方法所得到的妆容效果处理模型对待处理图像进行处理，生成具有预设妆容效果的图像。

在具体实现的时候，使用本发明图1对应的实施例所提供的妆容效果处理模型训练方法所得到的妆容效果处理模型，包括第一生成式对抗网络和/或第二生成式对抗网络。其中，第一生成式对抗网络用于对带有妆容的图像进行妆容弱化，第二生成式对抗网络用于对不带有妆容的素颜图像进行妆容强化。因此，如果目的是要对所获取的待处理图像进行妆容弱化处理，则使用第一生成式对抗网络对待处理图像进行处理；如果目的是对所获取的待处理图像进行妆容强化处理，则使用第二生成式对抗网络对待处理图像进行处理。

使用本发明图2至图3的实施例所提供的妆容效果处理模型训练方法得到的妆容效果处理模型，如果要对待处理图像进行妆容弱化处理，则该妆容效果处理模型包括第一生成式对抗网络以及第一神经网络；如果要对待处理图像进行妆容强化处理，则该妆容效果处理模型包括第二生成式对抗网络以及第二神经网络。

具体地，针对妆容效果处理为妆容效果弱化的情况，妆容效果处理模型包括：第一生成式对抗网络以及第一神经网络。此处，由于第一神经网络对图像进行处理所得到的数据为特征向量，并不能够得到弱化妆容效果的图像，因此，还包括第一生成器。该第一生成器提前训练好，用于根据特征向量生成图像。

使用本申请实施例所提供的妆容效果处理模型训练方法所得到的妆容效果处理模型对待处理图像进行处理，生成弱化妆容效果的图像，具体包括：

使用第一生成式对抗网络生成待处理图像的第一相似影像；

将得到的第一相似影像输入第一神经网络，进行特征提取；

将提取的特征和得到的第一相似影像输入生成器，得到弱化妆容效果的图像。

如此，能够得到待处理图像弱化妆容效果的图像。

针对妆容效果处理为妆容效果强化的情况，妆容效果处理模型包括：第二生成式对抗网络以及第二神经网络。此处，由于第二神经网络对图像进行处理所得到的数据为特征向量，并不能够得到弱化妆容效果的图像，因此，还包括第二生成器。该第二生成器提前训练好，用于根据特征向量生成图像。

使用本申请实施例所提供的妆容效果处理模型训练方法所得到的妆容效果处理模型对待处理图像进行处理，生成强化妆容效果的图像，具体包括：

使用第二生成式对抗网络生成待处理图像的第二相似影像；

将得到的第二相似影像输入第二神经网络，进行特征提取；

将提取的特征和得到的第二相似影像输入第二生成器，得到强化妆容效果的图像。

如此，能够得到待处理图像强化妆容效果的图像。

基于同一发明构思，本发明实施例中还提供了与妆容效果处理模型训练方法对应的妆容效果处理模型训练装置，由于本发明实施例中的装置解决问题的原理与本发明实施例上述妆容效果处理模型训练方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参见图7所示，本发明实施例所提供的妆容效果处理模型训练装置包括：

获取模块，用于获取同一个人的带有妆容的带妆图像以及不带有妆容的原始图像；

生成模块，用于采用第一生成式对抗网络对带妆图像进行预设次数处理，生成第一相似影像；以及采用第二生成式对抗网络对原始图像进行预设次数处理，生成第二相似影像；

第一训练子模块，用于根据第一相似影像与原始图像的相似度比较结果，对第一生成式对抗网络进行训练；以及根据第二相似影像与带妆图像的相似度比较结果，对第二生成式对抗网络进行训练；直到第一相似影像以及第二相似影像满足预设条件，完成本轮训练；

训练模块，用于经过对第一生成式对抗网络和第二生成式对抗网络的多轮训练，以对妆容效果处理模型进行训练。

可选地，妆容效果处理模型还包括第一神经网络和/或第二神经网络，妆容效果处理模型在使用时，第一生成式对抗网络的输出作为第一神经网络的输入，对待处理图像进行进一步处理；和/或，将第二生成式对抗网络的输出作为第二神经网络的输入，对待处理图像进行进一步处理；

该妆容效果处理模型训练装置还包括：第二训练子模块，用于执行对神经网络的训练过程：

获取源图像集和目标图像集；其中，源图像集中包括至少一个带有标签的源图像；

将源图像集以及目标图像集输入神经网络，对源图像和目标图像进行特征学习后，为源图像集中的每个源图像提取第一特征向量；并

将第一特征向量输入分类器得到分类结果；

基于分类结果，对神经网络和分类器进行本轮训练；

训练模块，具体用于：

经过对第一生成式对抗网络和第二生成式对抗网络的多轮训练，以及经过对神经网络的多轮训练，得到妆容效果处理模型。

可选地，第二训练子模块，还用于在将源图像集以及目标图像集输入神经网络，对源图像和目标图像进行特征学习后，为目标图像集中的每个目标图像提取第二特征向量；并

将第一特征向量和第二特征向量进行梯度反向处理；以及

将经过梯度反向处理的第一特征向量和第二特征向量层输入域分类器；

根据域分类器的对第一特征向量以及第二特征向量分别表征的源图像集和目标图像集的域分类结果，对神经网络进行参数调整。

可选地，第一训练子模块，具体用于执行如下第一相似度比对，以及第二相似度比对，直到第一相似度比较结果以及第二相似度比较结果均分别符合对应的条件，执行第三相似度比对，直到第三相似度比对结果符合对应的条件，完成本轮训练；

第一相似度比对包括：

确定当前确定的第一相似影像和原始图像的第一相似度比较结果；

针对第一相似度比较结果大于第一预设相似度阈值的情况，生成第一反馈信息，并基于第一反馈信息对第一生成式对抗网络进行参数调整；

基于调整后的参数，确定新的当前确定的第一相似影像，并再次执行第一相似度比对；

第二相似度比对包括：

确定当前确定的第二相似影像和带妆图像的第二相似度比较结果；

针对第二相似度比较结果大于第二预设相似度阈值的情况，生成第二反馈信息，并基于第二反馈信息对第二生成式对抗网络进行参数调整；

基于调整后的参数，确定新的当前确定的第二相似影像，并再次执行第二相似度比对；

第三相似度比对包括：

确定第一相似影像和第二相似影像的第三相似度比较结果；

针对第三相似度比较结果大于第三预设相似度阈值的情况，生成第三反馈信息，对第一生成式对抗网络和第二生成式对抗网络进行参数调整；

基于调整后的参数，确定新的当前确定的第一相似影像和新的当前确定的第二相似影像，并再次执行第一相似度比对和第二相似度比对。

可选地，第二训练子模块，具体用于通过执行如下操作，实现基于分类结果，对神经网络和分类器进行本轮训练过程：

执行如下分类操作，直到分类结果正确，则完成基于分类结果对神经网络和分类器的本轮训练：

分类操作包括：

使用分类器对当前确定的第一特征向量进行分类；

针对分类结果错误的情况，生成第四反馈信息，并基于第四反馈信息对神经网络以及分类器进行参数调整；

基于调整后的参数，确定新的当前确定的第一特征向量，并再次执行分类操作。

可选地，第二训练子模块，用于通过执行如下操作，实现根据域分类器的对第一特征向量以及第二特征向量分别表征的源图像集和目标图像集的域分类结果，对神经网络进行参数调整：执行如下域分类损失确定操作：

确定当前第一特征向量以及第二特征向量分别表征的源图像集和目标图像集的本次域分类的域分类损失；

针对最近预设次数的域分类损失之间的差别不小于预设差别阈值，生成第五反馈信息，并基于第五反馈信息对神经网络进行参数调整；

基于调整后的参数，确定新的当前第一特征向量以及第二特征向量，并执行域分类损失确定操作，直到差别不大于预设差别阈值，完成基于域分类器对神经网络的本轮训练。

可选地，第二训练子模块，具体用于针对妆容效果处理为妆容效果弱化的情况，目标图像集所包含的目标图像为具有素颜特征的图像；

针对妆容效果处理为妆容效果强化的情况，目标图像集所包含的目标图像为具有带妆特征的图像。

基于同一发明构思，本发明实施例中还提供了与妆容效果处理方法对应的妆容效果处理装置，由于本发明实施例中的装置解决问题的原理与本发明实施例上述妆容效果处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参见图8所示，本发明实施例所提供的妆容效果处理装置包括：

图像获取模块，用于获取待处理图像；

处理模块，用于使用如本发明实施例中的妆容效果处理模型训练方法所得到的妆容效果处理模型对待处理图像进行处理，生成具有预设妆容效果的图像。

可选地，针对妆容效果处理为妆容效果弱化的情况，妆容效果处理模型包括：第一生成式对抗网络以及第一神经网络；还包括：第一生成器；

处理模块具体用于：

使用第一生成式对抗网络生成待处理图像的第一相似影像；

将得到的第一相似影像输入神经网络，进行特征提取；

将提取的特征和得到的第一相似影像输入第一生成器，得到弱化妆容效果的图像。

可选地，针对妆容效果处理为妆容效果强化的情况，妆容效果处理模型包括：第二生成式对抗网络以及第二神经网络；还包括：第二生成器；

处理模块具体用于：

使用第二生成式对抗网络生成待处理图像的第二相似影像；将得到的第二相似影像输入第二神经网络，进行特征提取；将提取的特征和得到的第二相似影像输入第二生成器，得到强化妆容效果的图像。

对应于图1至图5中的妆容效果处理模型训练方法，本发明实施例还提供了一种计算机设备，如图9所示，该设备包括存储器1000、处理器2000及存储在该存储器1000上并可在该处理器2000上运行的计算机程序，其中，上述处理器2000执行上述计算机程序时实现上述妆容效果处理模型训练方法的步骤。

具体地，上述存储器1000和处理器2000能够为通用的存储器和处理器，这里不做具体限定，当处理器2000运行存储器1000存储的计算机程序时，能够执行上述妆容效果处理模型训练方法，从而解决很多证件照和真实场景下的人物图像存在一定的差异，导致的在多种网络场景或证件照比对下，人脸的识别能力大大降低的问题，进而达到有效对带有妆容的人脸图像进行装扮弱化，或者对素颜图像进行妆容强化，增强在多种网络场景或证件照比对下人脸的识别能力的效果。

对应于图1至图5中的妆容效果处理模型训练方法，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述妆容效果处理模型训练方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述妆容效果处理模型训练方法，从而解决很多证件照和真实场景下的人物图像存在一定的差异，导致的在多种网络场景或证件照比对下，人脸的识别能力大大降低的问题，进而达到有效对带有妆容的人脸图像进行装扮弱化，或者对素颜图像进行妆容强化，增强在多种网络场景或证件照比对下人脸的识别能力的效果。

本发明实施例所提供妆容效果处理模型训练方法及妆容效果处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。