无监督的人脸图像质量评估方法、电子设备和存储介质

摘要

本申请涉及无监督的人脸图像质量评估方法、电子设备和存储介质，属于人工智能领域，该方法包括：通过人脸识别网络对人脸图像提取第一特征，其中，人脸识别网络的数量为多个；根据第一特征和通过人脸识别网络对人脸图像的类内图像提取的第二特征，计算类内相似度分布；根据第一特征和通过人脸识别网络对人脸图像的类间图像提取的第三特征，计算类间相似度分布；根据类内相似度分布和类间相似度分布，计算质量分数；将基于多个人脸识别网络得到的多个质量分数进行加权平均得到质量评估结果。不仅衡量了类内相似度分布和类间相似度分布，还综合了多个人脸识别网络的结果以对人脸图像质量进行评估，保证了人脸图像质量评估结果的准确性和可靠性。

说明书

技术领域

本申请涉及人工智能技术领域，特别是涉及无监督的人脸图像质量评估方法、电子设备和存储介质。

背景技术

近年来，人脸图像质量评估已经成为人脸识别系统中不可或缺的一部分，以保证在无约束场景下识别性能的稳定性和可靠性。质量好的人脸图像并非我们肉眼看上去清晰的图像，而是可以被人脸识别网络模型正确识别的图像。但是，通过训练得到的人脸识别网络模型会由于各种因素导致模型的好坏程度(该模型的好坏程度可以通过识别的准确度来衡量)参差不齐，从而导致输出的评估结果可靠性较低，对此，相关技术中尚没有得到很好的解决。

发明内容

本申请实施例提供了一种无监督的人脸图像质量评估方法、电子设备和存储介质，以至少解决相关技术中如何提高评估结果可靠性的问题。

第一方面，本申请实施例提供了一种无监督的人脸图像质量评估方法，包括：通过人脸识别网络对人脸图像提取第一特征，其中，所述人脸识别网络的数量为多个；根据所述第一特征和通过所述人脸识别网络对所述人脸图像的类内图像提取的第二特征，计算类内相似度分布；根据所述第一特征和通过所述人脸识别网络对所述人脸图像的类间图像提取的第三特征，计算类间相似度分布；根据所述类内相似度分布和所述类间相似度分布，计算质量分数；将基于多个人脸识别网络得到的多个所述质量分数进行加权平均得到质量评估结果。

在其中一些实施例中，所述的根据所述第一特征和通过所述人脸识别网络对所述人脸图像的类内图像提取的第二特征，计算类内相似度分布包括：通过所述人脸识别网络对所述人脸图像的类内图像提取第二特征；根据所述第一特征和所述第二特征计算余弦相似度，得到类内相似度分布。

在其中一些实施例中，所述的根据所述第一特征和通过所述人脸识别网络对所述人脸图像的类间图像提取的第三特征，计算类间相似度分布包括：通过所述人脸识别网络对所述人脸图像的类间图像提取第三特征；根据所述第一特征和所述第三特征计算余弦相似度，得到类间相似度分布。

在其中一些实施例中，所述的根据所述类内相似度分布和所述类间相似度分布，计算质量分数包括：计算所述类内相似度分布和所述类间相似度分布之间的推土机距离(Wasserstein Distance)；根据所述推土机距离，计算质量分数。

在其中一些实施例中，所述质量分数通过如下公式计算得到：

其中δ的函数表达式如下：

其中

其中，WD表示推土机距离，

在其中一些实施例中，在所述的通过人脸识别网络对人脸图像提取第一特征之前，所述方法还包括：对人脸识别网络输入任意人脸图像，将所述人脸图像的特征与人脸数据库中所有图像的特征进行比对，计算相似度；根据所述相似度判断所述人脸图像在所述人脸数据库中所对应的人，将所述人脸数据库中该人的人脸图像作为所述人脸图像的类内图像，将所述人脸数据库中其他人的人脸图像作为所述人脸图像的类间图像。

在其中一些实施例中，所述人脸识别网络包括insightFace和FaceNet中的至少一项。

在其中一些实施例中，所述人脸识别网络的损失函数包括arcface和cosface中的至少一项。

第二方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项所述的方法。

第三方面，本申请实施例一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项所述的方法。

根据上述内容，本申请实施例的无监督的人脸图像质量评估方法包括：通过人脸识别网络对人脸图像提取第一特征，其中，人脸识别网络的数量为多个；根据第一特征和通过人脸识别网络对人脸图像的类内图像提取的第二特征，计算类内相似度分布；根据第一特征和通过人脸识别网络对人脸图像的类间图像提取的第三特征，计算类间相似度分布；根据类内相似度分布和类间相似度分布，计算质量分数；将基于多个人脸识别网络得到的多个质量分数进行加权平均得到质量评估结果。本申请实施例不仅衡量了类内相似度分布和类间相似度分布，还综合了多个人脸识别网络的结果以对人脸图像质量进行评估，提高了人脸图像质量评估结果的准确性和可靠性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的无监督的人脸图像质量评估方法的流程图；

图2是根据本申请实施例的包含三个人脸识别网络的无监督的人脸图像质量评估方法的流程图；

图3是根据本申请实施例的相似度分布的表达示意图；

图4是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请的发明人发现，目前经过训练得到的人脸识别网络的好坏(可通过识别准确度来衡量)参差不齐，通过单一人脸识别网络对人脸图像的质量进行评估会导致评估结果的可靠性较低，为了解决该问题，本申请实施例提供了一种无监督的人脸图像质量评估方法，图1是根据本申请实施例的无监督的人脸图像质量评估方法的流程图，如图1所示，该方法包括以下步骤：

S100：通过人脸识别网络对人脸图像提取第一特征，其中，人脸识别网络的数量为多个；

S200：根据第一特征和通过人脸识别网络对人脸图像的类内图像提取的第二特征，计算类内相似度分布；

S300：根据第一特征和通过人脸识别网络对人脸图像的类间图像提取的第三特征，计算类间相似度分布；

S400：根据类内相似度分布和类间相似度分布，计算质量分数；

S500：将基于多个人脸识别网络得到的多个质量分数进行加权平均得到质量评估结果。

根据上述内容，本申请实施例不仅衡量了类内相似度分布，还衡量了类间相似度分布，能够提高评估结果的准确性，而且，综合了多个人脸识别网络，极大的提高了评估结果的可靠性。

优选的，步骤S100中，人脸识别网络采用insightface、FaceNet等，网络结构采用resnet或inception-resnet，其中网络结构主要包括卷积层、残差块、关注模块等，另外可根据需要添加其他模块；损失函数采用arcface、cosface等；

优选的，步骤S200中，根据第一特征和第二特征计算余弦相似度或者欧氏距离，得到类内相似度分布；

优选的，步骤S300中，根据第一特征和第三特征计算余弦相似度或者欧氏距离，得到类间相似度分布。

优选的，S400中，计算所述类内相似度分布和所述类间相似度分布之间的推土机距离，得到质量分数。

为了更清楚的说明本发明，以下举例进行详细的阐述。

本申请实施例的人脸识别网络选用两个以上即可，需要说明的是，选用的人脸识别网络数量越多则最终得到的评估结果越准确，但是计算的过程越复杂，为了对两者均衡，优选的，本实施例选择使用三个人脸识别网络，包括人脸识别网络A、人脸识别网络B和人脸识别网络C。

图2是根据本申请实施例的包含三个人脸识别网络的无监督的人脸图像质量评估方法的流程图，如图2所示，包括以下步骤：

步骤0：将所有人脸图像数据分别输入不同的预先训练好的去掉最后分类层的人脸识别网络中，并提取特征。

步骤1：对于某张人脸图像image，该图像经过人脸识别网络A提取的特征为embedding A，该图像经过人脸识别网络B提取的特征为embedding B，该图像经过人脸识别网络C提取的特征为embedding C，上述embedding A、embedding B、embedding C均为第一特征。

步骤2：通过人脸识别网络A对上述人脸图像image的类内图像提取第二特征a，根据embedding A和第二特征a计算余弦相似度或欧氏距离，得到类内相似度分布P1。需要说明的是，该类内图片是指人脸图像数据中与上述人脸图像image同一类别的其他所有图片。

步骤3：通过人脸识别网络A对上述人脸图像image的类间图像提取第三特征a，根据embedding A和第三特征a计算余弦相似度或欧氏距离，得到类间相似度分布Q1。需要说明的是，该类间图像是指人脸图像数据中与上述人脸图像image不同类别的所有图片。而且，类间相似度分布和类内相似度分布不一样，类内相似度指该张人脸图像与本类(即同一个人)人脸图像的相似度，类间相似度指该张人脸图像与其他类(非同一个人)人脸图像的相似度，因为通过大量的实验分析，可以发现高质量的人脸图像应该类似于它的类内样本，且不类似于它的类间样本，所以本申请实施例中类间相似度分布和类内相似度分别都要计算。

步骤4：根据类内相似度分布P1和类间相似度分布Q1之间的推土机距离，计算上述人脸图像image在人脸识别网络A下的质量分数S1。

步骤5：通过人脸识别网络B对上述人脸图像image的类内图像提取第二特征b，根据embedding B和第二特征b计算余弦相似度或欧氏距离，得到类内相似度分布P2。

步骤6：通过人脸识别网络B对上述人脸图像image的类间图像提取第三特征b，根据embedding B和第三特征b计算余弦相似度或欧氏距离，得到类间相似度分布Q2。

步骤7：根据类内相似度分布P2和类间相似度分布Q2之间的推土机距离，计算上述人脸图像image在人脸识别网络B下的质量分数S2。

步骤8：通过人脸识别网络C对上述人脸图像image的类内图像提取第二特征c，根据embedding C和第二特征c计算余弦相似度或欧氏距离，得到类内相似度分布P3。

步骤9：通过人脸识别网络C对上述人脸图像image的类间图像提取第三特征c，根据embedding C和第三特征c计算余弦相似度或欧氏距离，得到类间相似度分布Q3。

步骤10：根据类内相似度分布P3和类间相似度分布Q3之间的推土机距离，计算上述人脸图像image在人脸识别网络C下的质量分数S3。

步骤11：将分别基于上述人脸识别网络A、人脸识别网络B和人脸识别网络C得到的质量分数S1、质量分数S2和质量分数S3进行加权平均得到最终的质量评估结果S。

步骤12：对每一张人脸图像得到最终的质量评估结果后，再进行人工核对，去除比如遮挡、曝光等明显质量不好但分数较高的图片。

作为一个示例，就上述余弦相似度而言，通过两个向量空间中两个向量夹角的余弦值来衡量两个个体差异的大小，当两个向量之间的夹角趋于0时，两个向量越接近，差异越小，当夹角的余弦值为1，说明人脸越相似。图3是根据本申请实施例的相似度分布的表达示意图，如图3所示，根据余弦相似度值的频数构成频率分布直方图，频率分布直方图通过柱状图展现一组数据的分布情况，即表示不同数据出现的频率(如余弦相似度为某个值的个数)。横轴代表组距(余弦相似度值)，纵轴代表频率/组距，每个矩形图的面积就是频数。

作为一个示例，Wasserstein distance作为一种计算两个分布之间距离的度量公式，可以很自然的度量离散分布和连续分布之间的距离，不仅能够度量距离，而且能够将一个分布变换成另一分布，特别是，能够连续地把一个分布变换成另一个分布，且保持分布自身的几何形态特征。

Wasserstein distance的计算公式如下：

其中，

因此，例如质量评估结果的分数在0-100之间，进一步得到质量评估结果的表达式如下：

其中δ的函数表达式如下：

其中

其中，WD表示推土机距离，L表示各联合分布的推土机距离的集合。

作为一个示例，类内图像和类间图像可以通过如下方式得到：对人脸识别网络输入任意一张人脸图像M和人脸数据库中所有的图像，通过人脸识别网络倒数第二层(最后一层是分类层，此处无需使用)提取特征。然后，将该人脸图像M的特征与人脸数据库中所有图像的特征进行比对，计算相似度。接着，根据相似度(例如余弦相似度)判断该人脸图像M与人脸数据库中哪个人最相似，从而判断该人是哪个人，例如为甲，那么人脸数据库中甲的人脸图像为人脸图像M的类内图像，将人脸数据库中其他人的人脸图像作为人脸图像M的类间图像。

作为一个示例，就上述人脸识别网络而言，包括算法准备阶段、算法训练阶段和算法应用阶段。

算法准备阶段：根据业务要求预选择合适的人脸识别算法模型(即人脸识别网络)，例如采用深度学习算法模型。优选的，该算法模型应用于设备端，所以在兼顾识别准确率的同时，保证模型越小越好。在选择合适的算法模型之后，准备训练数据、数据预处理(包括清洗数据)、搭建网络结构。而且，用于训练模型的图像数据指的是对齐后的人脸图像，例如，输入人脸图像后，先通过检测算法检测出人脸，再经过关键点检测模型得到关键点的位置，然后通过变换函数，得到对齐后的人脸，将对齐后的人脸作为人脸识别算法模型的输入。

算法训练阶段：设置合理的超参数、损失函数，在训练模型的过程中，Loss和误识率发生变化，从而可以得到误识率低的模型。因此，在训练模型的过程中，不断调整模型的深度和宽度以及模型中的相关参数，能够得到训练好的模型(即误识率低的模型)。

算法应用阶段：利用训练好的人脸识别算法模型，对人脸图像数据提取特征，通过计算该图像与类内和类间的相似度，得到类内相似度分布和类间相似度分布，然后计算类内相似度分布和类间相似度分布之间的距离，根据该距离得到质量分数，将基于不同模型得到的质量分数进行加权平均得到该图像最终的质量评估结果。

综上，本申请实施例综合多个人脸识别网络的结果对人脸图像质量进行评估，保证了人脸图像质量评估结果的准确性和可靠性。而且，评估后的质量分数又经过人工核对，再次保证了人脸图像质量评估结果的准确性和可靠性。另外，本申请实施例基于多个训练好的人脸识别网络得到最终的质量评估结果，人脸识别网络的数量可选，且评估的过程易于操作。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的无监督的人脸图像质量评估方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种无监督的人脸图像质量评估方法。

本申请的一个实施例中还提供了一种电子设备，该电子设备可以是终端。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种无监督的人脸图像质量评估方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，图4是根据本申请实施例的电子设备的内部结构示意图，如图4所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图4所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种无监督的人脸图像质量评估方法，数据库用于存储数据。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。