首页> 中国专利> 面部属性识别方法、电子设备以及计算机可读存储介质

面部属性识别方法、电子设备以及计算机可读存储介质

摘要

本申请实施例提供了面部属性识别方法、电子设备以及计算机可读存储介质,该方法包括:获取针对目标对象进行拍摄得到的面部图像;针对所述面部图像中划分的每个区域,提取该区域的遮挡特征值和属性特征值,所述遮挡特征值表征目标对象在各区域的面部特征被遮挡情况,所述属性特征值表征各区域包括的面部属性信息;针对所述面部图像中的每个区域,基于该区域的遮挡特征值,确定针对该区域的属性特征值的调整权重,其中,每个区域的调整权重与该区域的遮挡特征值成反比;基于各个区域的调整权重和对应的属性特征值,确定所述目标对象的面部属性。本申请实施例能够提高识别结果的准确度。

著录项

  • 公开/公告号CN112200109A

    专利类型发明专利

  • 公开/公告日2021-01-08

    原文格式PDF

  • 申请/专利权人 北京澎思科技有限公司;

    申请/专利号CN202011112251.0

  • 发明设计人 柳天驰;申省梅;马原;

    申请日2020-10-16

  • 分类号G06K9/00(20060101);

  • 代理机构11463 北京超凡宏宇专利代理事务所(特殊普通合伙);

  • 代理人荣颖佳

  • 地址 100000 北京市朝阳区将台路5号30号楼一层108室

  • 入库时间 2023-06-19 09:30:39

说明书

技术领域

本申请涉及图像处理技术领域,具体而言,涉及面部属性识别方法、电子设备以及计算机可读存储介质。

背景技术

根据人脸图片识别人脸属性的技术得到了广泛关注,人脸属性识别的应用依赖于人脸检测、人脸对齐以及人脸质量判断等前置条件,在人脸有遮挡的情况下将严重影响人脸属性识别的准确率,遮挡破坏了人脸固有的结构和几何特征,严重降低了人脸特征信息的丰富度。

常用的模型在进行人脸属性识别时,直接进行信息提取,可能引入大量错误的特征信息,而面部区域遮挡比例越大,人脸属性识别算法的准确度会大大降低。

发明内容

有鉴于此,本申请实施例的目的在于提供面部属性识别方法、电子设备以及计算机可读存储介质,提高了识别结果的准确度。

第一方面,本申请实施例提供了一种面部属性识别方法,该方法包括:

获取针对目标对象进行拍摄得到的面部图像;

针对所述面部图像中的每个区域,提取该区域的遮挡特征值和属性特征值,所述遮挡特征值表征目标对象在各区域的面部特征被遮挡情况,所述属性特征值表征各区域包括的面部属性信息;

针对所述面部图像中的每个区域,基于该区域的遮挡特征值,确定针对该区域的属性特征值的调整权重,其中,每个区域的调整权重与该区域的遮挡特征值成反比;

基于各个区域的调整权重和对应的属性特征值,确定所述目标对象的面部属性。

在一种实施方式中,针对所述面部图像中的每个区域,提取该区域的遮挡特征值和属性特征值,包括:

将所述面部图像输入到预先训练的面部属性识别模型中的遮挡特征提取模型,得到所述面部图像中各个区域的遮挡特征值;

将所述面部图像输入到所述面部属性识别模型中的面部属性特征提取模型,得到所述面部图像中各个区域的属性特征值。

在一种实施方式中,基于各个区域的调整权重和对应的属性特征值,确定所述目标对象的面部属性,包括:

针对每个区域,计算该区域的调整权重和对应的属性特征值的乘积值;

将各个区域对应的乘积值输入到面部属性识别模型中的面部属性分类模型,得到所述目标对象的面部属性。

在一种实施方式中,针对所述面部图像中的每个区域,基于该区域的遮挡特征值,确定针对该区域的属性特征值的调整权重,包括:

将各个区域的遮挡特征值输入到面部属性识别模型的注意力模型,得到针对对应区域的属性特征值的调整权重。

在一种实施方式中,根据以下步骤训练所述面部属性识别模型:

获取第一训练样本集,所述第一训练样本集包括样本图像以及该样本图像对应的实际面部属性,所述样本图像包括参考对象被遮挡的图像和参考对象未被遮挡的图像;

将样本图像输入到面部属性识别模型中的遮挡特征提取模型,得到所述样本图像中划分的每个区域的第一预测特征值;

将所述样本图像中每个区域的第一预测特征值输入到所述面部属性识别模型中的注意力模型,得到所述样本图像中每个区域的预测调整权重;

将所述样本图像输入到所述面部属性识别模型的面部属性特征提取模型,得到所述样本图像中每个区域的第二预测特征值;

基于所述样本图像中每个区域的预测调整权重和对应的第二预测特征值,确定所述样本图像中包括的测试对象的预测面部属性;

基于所述预测面部属性和实际面部属性,控制所述遮挡特征提取模型的模型参数不变,调整所述面部属性识别模型中面部属性特征提取模型、注意力模型的模型参数,得到完成训练的面部属性识别模型。

在一种实施方式中,根据以下步骤训练所述遮挡特征提取模型:

获取第二训练样本集,所述第二训练样本集包括遮挡图像和该遮挡图像对应的实际遮挡区域,所述遮挡图像为参考对象被遮挡的图像;

将所述遮挡图像输入到包括遮挡特征提取模型的第一模型,得到预测遮挡区域;

根据实际遮挡区域和预测遮挡区域,调整所述第一模型的模型参数,得到完成训练的第一模型;

从训练完成的第一模型中,确定所述遮挡特征提取模型。

在一种实施方式中,按照所述预测遮挡区域和所述实际遮挡区域之间的距离最小原则,调整所述第一模型的模型参数。

在一种实施方式中,根据以下步骤训练所述面部属性特征提取模型:

获取第三训练样本集,所述第三训练样本集包括样本图像以及该样本图像对应的实际面部属性,所述样本图像包括参考对象未被遮挡的图像;

将所述样本图像输入到包括面部属性特征提取模型的第二模型,得到预测面部属性;

根据实际面部属性和预测面部属性,调整所述第二模型的模型参数,得到完成训练的第二模型;

从训练完成的第二模型中,确定所述面部属性特征提取模型。

第二方面,本申请实施例提供了一种电子设备,包括:处理器和存储器,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器运行所述机器可读指令,以执行时执行如上述第一方面方法的步骤。

第三方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面方法的步骤。

本申请实施例提供的面部属性识别方法,通过提取的面部图像中划分的每个区域的遮挡特征信息,生成针对对应区域的属性特征值的调整权重,遮挡越严重,调整权重越小,遮挡越小,调整权重越大,利用该调整权重对面部图像中面部属性特征进行调整,在进行面部属性识别时,减少遮挡特征信息对面部属性识别过程的响应,更关注面部图像中未被遮挡的区域,提高了识别结果的准确度。

为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种面部属性识别方法的流程示意图;

图2示出了本申请实施例所提供的一种面部属性识别过程的示意图;

图3示出了本申请实施例所提供的一种面部属性识别装置的结构示意图;

图4示出了本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。

另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。

需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。

面部属性识别的准确度依赖于人脸检测、人脸对齐以及人脸质量判断等前置条件,在人脸存在遮挡的情况下,将严重影响人脸属性识别的准确率,遮挡破坏了人脸固有的结构和几何特征,严重降低了人脸特征信息的丰富度,保留未被遮挡的部分人脸区域进行人脸属性识别,确保可根据人脸遮挡情况进行有针对性的处理。

对于存在局部遮挡的人脸,充分利用人脸未被遮挡部分的面部特征信息,减少遮挡物对整体人脸属性识别的影响,使人脸属性识别模型在识别完整人脸的人脸属性的准确率不降低的前提下,能自适应各种人脸局部遮挡的情况,并显著提高该情况下的识别准确度,提升了人脸属性识别模型的鲁棒性。

针对上述情况,本申请实施例提供了一种面部属性识别模型,可以用于在进行面部属性识别时,减少遮挡特征信息对面部属性识别过程的响应,更关注面部图像中包含面部属性信息的区域(未被遮挡区域),提高识别结果的准确度。

该面部属性识别模型包括遮挡特征提取模型、面部属性特征提取模型、注意力模型、面部属性分类模型,可以基于训练样本集通过预先训练得到,具体的训练过程可以包括面部属性识别模型训练、遮挡特征提取模型训练以及面部属性特征提取模型训练,其中,训练面部属性识别模型的方法,该方法包括:

A11,获取第一训练样本集,所述第一训练样本集包括样本图像以及该样本图像对应的实际面部属性,所述样本图像包括参考对象被遮挡的图像和参考对象未被遮挡的图像;

A12,将样本图像输入到面部属性识别模型中的遮挡特征提取模型,得到所述样本图像中划分的每个区域的第一预测特征值;

A13,将所述样本图像中每个区域的第一预测特征值输入到所述面部属性识别模型中的注意力模型,得到所述样本图像中每个区域的预测调整权重;

A14,将所述样本图像输入到所述面部属性识别模型的面部属性特征提取模型,得到所述样本图像中每个区域的第二预测特征值;

A15,基于所述样本图像中每个区域的预测调整权重和对应的第二预测特征值,确定所述样本图像中包括的测试对象的预测面部属性;

A16,基于所述预测面部属性和实际面部属性,控制所述遮挡特征提取模型的模型参数不变,调整所述面部属性识别模型中面部属性特征提取模型、注意力模型的模型参数,得到完成训练的面部属性识别模型。

这里,样本图像包括参考对象被遮挡的图像(遮挡图像)和参考对象未被遮挡的图像(未遮挡图像),其中,参考对象可以为人脸,参考对象在遮挡图像中被遮挡区域的大小可以是不固定的,样本图像中的遮挡图像和未遮挡图像的比例可以根据实际情况确定;实际面部属性包括参考对象的实际面部属性,例如,参考对象的性别、年龄、表情等。

在具体实施过程中,在获取包含样本图像的第一训练样本集后,对样本图像进行区域划分,将划分区域的样本图像输入到面部属性识别模型中的遮挡特征提取模型,得到样本图像中每个区域的第一预测特征值,也就是,将遮挡图像和未遮挡图像输入到面部属性识别模型中的遮挡特征提取模型,得到遮挡图像中的每个区域的第一预测特征值和未遮挡图像中的每个区域的第一预测特征值。

将遮挡图像中每个区域的第一预测特征值输入到面部属性识别模型中的注意力模型,得到遮挡图像中每个区域的预测调整权重,将未遮挡图像中每个区域的第一预测特征值输入到面部属性识别模型中的注意力模型,得到未遮挡图像中每个区域的预测调整权重。

将遮挡图像和未遮挡图像输入到面部属性识别模型的面部属性特征提取模型,分别得到遮挡图像中每个区域的第二预测特征值和未遮挡图像中每个区域的第二预测特征值。其中,遮挡特征提取模型和面部属性特征提取模型可以是但不限于卷积神经网络模型,注意力模型可以是但不限于sigmoid激活函数、卷积神经网络、卷积神经网络与softmax等函数的组合等,注意力模型的卷积核可以根据实际情况确定。

针对遮挡图像中的每个区域,计算该区域中预测调整权重和第二预测特征值的乘积值,将各个区域的乘积值输入到面部属性识别模型中的面部属性分类模型,得到遮挡图像的预测面部属性。

针对未遮挡图像中的每个区域,计算该区域中预测调整权重和第二预测特征值的乘积值,将各个区域的乘积值输入到面部属性识别模型中的面部属性分类模型,得到未遮挡图像的预测面部属性。

按照遮挡图像的预测面部属性和实际面部属性之间的距离和未遮挡图像的预测面部属性和实际面部属性之间的距离同时最小原则,并控制遮挡特征提取模型的模型参数不变,调整面部属性识别模型中面部属性特征提取模型、注意力模型的模型参数,得到完成训练的面部属性识别模型。

考虑在训练面部属性识别模型时,同时调整遮挡特征提取模型、面部属性特征提取模型、注意力模型、面部属性分类模型的计算量比较大,而且同时包含面部遮挡区域标签和面部属性标签的数据集很少,标注起来也很耗费人力,另外,遮挡区域检测任务和人脸属性识别任务同时训练,可能会有遮挡特征提取模型的模型参数与面部属性特征提取模型的模型参数相互拟合的问题,即在针对面部图像进行训练时,遮挡特征提取模型的模型参数的调整会导致面部属性特征提取模型的模型参数的调整,导致训练结果不稳定。因此,可以单独调整遮挡特征提取模型的模型参数,以减少面部属性识别模型训练过程中的计算量。

在调整面部属性识别模型包括的各个模型的模型参数时,若优先训练面部属性特征提取模型,再训练遮挡特征提取模型,需要对面部属性特征提取模型进行训练,在面部属性特征提取模型完成训练后,与遮挡特征提取模型进行拼接,并对拼接的遮挡特征提取模型进行训练,最后,将完成训练的面部属性特征提取模型以及完成训练的遮挡特征提取模型进行拼接,得到面部属性识别模型,也就是,对面部属性特征提取模型、遮挡特征提取模型、注意力模型和面部属性分类模型进行拼接并训练,增加了训练步骤和计算量,因此,优先训练遮挡特征提取模型。

本申请实施例中,根据以下步骤训练所述遮挡特征提取模型:

B11,获取第二训练样本集,所述第二训练样本集包括遮挡图像和该遮挡图像对应的实际遮挡区域,所述遮挡图像为参考对象被遮挡的图像;

B12,将所述遮挡图像输入到包括遮挡特征提取模型和遮挡区域输出模型的第一模型,得到预测遮挡区域;

B13,根据实际遮挡区域和预测遮挡区域,调整所述第一模型的模型参数,得到完成训练的第一模型;

B14,从训练完成的第一模型中,切割出完成训练的遮挡特征提取模型。

这里,第一模型包括遮挡特征提取模型和遮挡区域输出模型,实现对参考对象被遮挡的遮挡图像的识别;遮挡图像为人脸的面部特征存在遮挡的图像,面部特征被遮挡的区域可以为固定的区域,也可以为不固定的区域,其中,固定区域可以为面部特征被口罩遮挡的区域、面部特征被眼镜遮挡的区域等,不固定的区域可以为面部特征被不规则物体遮挡的区域,不规则物体可以为书、手机、纸等;实际遮挡区域为被遮挡部分在遮挡图像中的位置信息。

在具体实施过程中,在获取第二训练样本集后,将进行区域划分的遮挡图像输入到第一模型中,第一模型中的遮挡特征提取模型对遮挡图像进行特征提取,得到遮挡图像中的每个区域的预测特征值,将每个区域的预测特征值输入到遮挡区域输出模型中,得到预测遮挡区域。

按照预测遮挡区域和实际遮挡区域之间的距离最小原则,调整第一模型中遮挡特征提取模型和遮挡区域输出模型的模型参数,得到完成训练的第一模型。

在得到完成训练的第一模型后,从第一模型中切割出完成训练的遮挡特征提取模型,也就是,从完成训练的第一模型的模型结构文件中,提取遮挡特征提取模型的模型结构信息和模型参数信息,模型结构信息包括模型的结构、执行顺序、层与层之间的输入输出格式,模型参数信息包括模型中每层的模型参数。

本申请实施例中,根据以下步骤训练所述面部属性特征提取模型:

B21,获取第三训练样本集,所述第三训练样本集包括样本图像以及该样本图像对应的实际面部属性,所述样本图像包括参考对象未被遮挡的图像;

B22,将所述样本图像输入到包括面部属性特征提取模型的第二模型,得到预测面部属性;

B23,根据实际面部属性和预测面部属性,调整所述第二模型的模型参数,得到完成训练的第二模型;

B24,从训练完成的第二模型中,切割出完成训练的面部属性特征提取模型。

这里,第二模型实现对参考对象未被遮挡的图像的识别。

通过上述训练过程得到了遮挡特征提取模型、面部属性特征提取模型,以及,包括遮挡特征提取模型、面部属性特征提取模型、注意力模型、面部属性分类模型的面部属性识别模型,面部属性识别模型可以用于下述的面部属性识别方法,具体地,本申请实施例提供了一种面部属性识别方法,如图1所示,该方法包括以下步骤:

S101,获取针对目标对象进行拍摄得到的面部图像。

这里,面部图像为目标对象的人脸图像,拍摄面部图像的图像采集设备可以为门禁系统中的摄像设备、安防系统的摄像设备等,例如,门禁系统可以为居住小区中的系统,也可以为应用于企业中的签到系统,安防系统可以为演唱会中设置的系统;目标对象可以为人体。

由于图像采集设备在拍摄到包括目标对象的图像时,该图像中包括的目标对象的人脸不一定是标准的人脸图像(例如人脸正对图像采集设备所拍摄到的图像),因此,需要从该图像中检测人脸关键点信息。人脸关键点信息包括各个人脸关键点在图像中的位置,人脸关键点可以包括眼镜、鼻子、嘴巴。利用该图像中包括的人脸关键点信息,将该图像中包括的人脸图像对齐到标准人脸。将该图像中的标准人脸图像确定为面部图像。

S102,对所述面部图像进行区域划分,针对所述面部图像中的每个区域,提取该区域的遮挡特征值和属性特征值,所述遮挡特征值表征目标对象在各区域的面部特征被遮挡情况,所述属性特征值表征各区域包括的面部属性信息。

在对面部图像进行区域划分时,划分的面部图像中的不同区域的区域范围可以不同,也可以相同,可以根据实际情况确定,在实际实施过程中,面部图像中不同区域的区域范围一般不同,区域范围的形状可以为正方形或矩形。

面部特征被遮挡情况可以通过遮挡范围或遮挡概率表示,遮挡特征值越大,表征目标对象在该区域的面部特征被遮挡的概率越大,遮挡特征值越小,表征目标对象在该区域的面部特征被遮挡的概率越小。在一个实施例中,遮挡特征值可以通过0或1表示,0表示目标对象在该区域的面部特征未被遮挡,1表示目标对象在该区域的面部特征被遮挡;

属性特征值也可以表征各区域包括的面部属性信息在高维度空间的表达。

在执行S102时,可以将面部图像输入到预先训练的面部属性识别模型中的遮挡特征提取模型,得到面部图像中各个区域的遮挡特征值;将所述面部图像输入到所述面部属性识别模型中的面部属性特征提取模型,得到所述面部图像中各个区域的属性特征值。

在一个实施例中,如图2所示,面部属性识别模型包括遮挡特征提取模型、面部属性特征提取模型、注意力模型和面部属性分类模型。

S103,针对所述面部图像中的每个区域,基于该区域的遮挡特征值,确定针对该区域的属性特征值的调整权重,其中,每个区域的调整权重与该区域的遮挡特征值成反比。

这里,遮挡特征值越大,那么调整权重越大,遮挡特征值越小,则调整权重越小。

在执行S103时,可以将各个区域的遮挡特征值输入到面部属性识别模型的注意力模型,得到针对对应区域的属性特征值的调整权重。

在具体实施过程中,可以使用Sigmoid函数计算面部图像中每个区域的调整权重,但是,Sigmoid函数不具有可变性,即sigmoid函数为固定的公式,输出的结果为固定的,最终得到的调整权重在实际应用中的应用效果并不好,因此,可以使用注意力模型(如卷积神经网络)为每个区域生成调整权重。

在注意力模型为卷积神经网络模型时,卷积神经网络中的参数会根据执行的任务进行迭代更新,能够增加网络的表达能力,卷积神经网络的卷积核可以为1、3、5等,当卷积核大于1时,多个遮挡特征值进行卷积处理,得到对应一个属性特征值的权重,多个遮挡特征值分别对应的区域与属性特征值对应的区域并不对应,因此,最终得到的权重的准确度比较差,所以,在具体实施过程中一般选用卷积核为1的卷积神经网络模型,这样,在利用遮挡特征值确定针对属性特征值的权重时,遮挡特征值对应的区域和属性特征值对应的区域为面部图像中相同的区域,从而保证了得到了权重的准确度。

S104,基于各个区域的调整权重和对应的属性特征值,确定所述目标对象的面部属性。

人脸面部器官的属性也属于面部属性,如,鼻子大小、眼睛大小、嘴巴大小等,但是,当人脸中的面部器官(如眼睛、鼻子、嘴巴)被遮挡时,上述面部器官的属性无法被识别,因此,本申请中的面部属性为即使面部器官被遮挡也可以识别的属性,如,目标对象的性别、年龄、和表情等。

在执行S104时,可以针对每个区域,计算该区域的调整权重和对应的属性特征值的乘积值;将各个区域对应的乘积值输入到面部属性识别模型中的面部属性分类模型,得到所述目标对象的面部属性。

在具体实施过程中,面部图像中各个区域对应的调整权重可以为权重矩阵,面部图像中各个区域对应的属性特征值也可以为特征值矩阵,计算权重矩阵和特征值矩阵的乘积,将该乘积输入到面部属性分类模型,得到目标对象的面部属性。

在一个实施例中,参考图2,在获取人脸图片后,将人脸图片分别输入到人脸特征特征提取模型和人脸属性特征提取模型,分别得到人脸遮挡特征图和人脸属性特征图,将人脸遮挡特征图输入到注意力模型得到对人脸属性图进行调整的权重矩阵,计算权重矩阵和人脸属性特征图的乘积,将计算结果输入到人脸属性结果输出模型,得到人脸图片中包括的对象的面部属性。

本申请在识别目标对象的面部属性时,将面部图像划分了多个区域,利用每个区域的调整权重对该区域的属性特征值进行调整,当该区域被遮挡的可能性较大时,将该区域的属性特征值调小,当该区域被遮挡的可能性较小时,将该区域的属性特征值调大,减少遮挡区域对面部属性识别的响应,从而使得面部属性识别模型可以更关注未被遮挡的区域,提高未被遮挡区域在面部属性识别时的响应,而且本申请识别的面部图像中存在目标对象被遮挡时,被遮挡的区域可以是固定的,也可以是随机的。

参照图3所示,为本申请实施例提供的一种面部属性识别装置的示意图,该装置包括:

获取模块31,用于获取针对目标对象进行拍摄得到的面部图像;

提取模块32,用于针对所述面部图像中的每个区域,提取该区域的遮挡特征值和属性特征值,所述遮挡特征值表征目标对象在各区域的面部特征被遮挡情况,所述属性特征值表征各区域包括的面部属性信息;

第一确定模块33,用于针对所述面部图像中的每个区域,基于该区域的遮挡特征值,确定针对该区域的属性特征值的调整权重,其中,每个区域的调整权重与该区域的遮挡特征值成反比;

第二确定模块34,用于基于各个区域的调整权重和对应的属性特征值,确定所述目标对象的面部属性。

在一种实施方式中,所述提取模块32用于根据以下步骤针对所述面部图像中的每个区域,提取该区域的遮挡特征值和属性特征值:

将所述面部图像输入到预先训练的面部属性识别模型中的遮挡特征提取模型,得到所述面部图像中各个区域的遮挡特征值;

将所述面部图像输入到所述面部属性识别模型中的面部属性特征提取模型,得到所述面部图像中各个区域的属性特征值。

在一种实施方式中,该装置还包括:训练模块35,所述训练模块35用于根据以下步骤训练所述遮挡特征提取模型:

获取第一训练样本集,所述第一训练样本集包括遮挡图像和对应的实际遮挡区域;所述遮挡图像为参考对象被遮挡的图像;

将所述遮挡图像输入到包括遮挡特征提取模型的第一模型,得到预测遮挡区域;

根据预测遮挡区域和实际遮挡区域,调整所述第一模型的模型参数,得到完成训练的第一模型;

从训练完成的第一模型中,切割出完成训练的遮挡特征提取模型。

在一种实施方式中,所述训练模块35还用于根据以下步骤训练所述面部属性识别模型:

获取第二训练样本集,所述第二训练样本集包括样本图像以及对应的实际面部属性,所述样本图像包括参考对象被遮挡的图像和参考对象未被遮挡的图像;

将样本图像输入到所述面部属性识别模型中的遮挡特征提取模型,得到所述样本图像中每个区域的第一预测特征值;

将所述样本图像中每个区域的第一预测特征值输入到所述面部属性识别模型中的注意力模型,得到所述样本图像中每个区域的预测调整权重;

将所述样本图像输入到所述面部属性识别模型的面部属性特征提取模型,得到所述样本图像中每个区域的第二预测特征值;

基于所述样本图像中每个区域的预测调整权重和对应的第二预测特征值,确定所述样本图像中包括的测试对象的预测面部属性;

基于所述预测面部属性和实际面部属性,控制所述遮挡特征提取模型的模型参数不变,调整所述面部属性识别模型中面部属性特征提取模型、注意力模型的模型参数,得到完成训练的面部属性识别模型。

在一种实施方式中,所述第二确定模块34用于根据以下步骤确定所述目标对象的面部属性:

针对每个区域,计算该区域的调整权重和对应的属性特征值的乘积值;

将各个区域对应的乘积值输入到面部属性识别模型中的面部属性分类模型,得到所述目标对象的面部属性。

在一种实施方式中,所述第一确定模块33用于根据以下步骤确定针对该区域的属性特征值的调整权重:

将各个区域的遮挡特征值输入到面部属性识别模型的注意力模型,得到针对对应区域的属性特征值的调整权重。

在一些实施例中,图3所示的装置可以是计算机设备,或者,可以是计算机设备的一部分。

本申请实施例还提供了一种电子设备40,如图4所示,为本申请实施例提供的电子设备40结构示意图,包括:

处理器41、存储器42、和总线43;存储器42用于存储处理器41可执行的机器可读指令,包括内存421和外部存储器422;这里的内存421也称内存储器,用于暂时存放处理器41中的运算数据,以及与硬盘等外部存储器422交换的数据,处理器41通过内存421与外部存储器422进行数据交换,当所述电子设备40运行时,所述处理器41与所述存储器42之间通过总线43通信,使得所述处理器41在用户态执行以下指令:

获取针对目标对象进行拍摄得到的面部图像;

针对所述面部图像中的每个区域,提取该区域的遮挡特征值和属性特征值,所述遮挡特征值表征目标对象在各区域的面部特征被遮挡情况,所述属性特征值表征各区域包括的面部属性信息;

针对所述面部图像中的每个区域,基于该区域的遮挡特征值,确定针对该区域的属性特征值的调整权重,其中,每个区域的调整权重与该区域的遮挡特征值成反比;

基于各个区域的调整权重和对应的属性特征值,确定所述目标对象的面部属性。

一种可能的实施方式中,处理器41执行的指令中,针对所述面部图像中的每个区域,提取该区域的遮挡特征值和属性特征值,包括:

将所述面部图像输入到预先训练的面部属性识别模型中的遮挡特征提取模型,得到所述面部图像中各个区域的遮挡特征值;

将所述面部图像输入到所述面部属性识别模型中的面部属性特征提取模型,得到所述面部图像中各个区域的属性特征值。

一种可能的实施方式中,处理器41执行的指令中,基于各个区域的调整权重和对应的属性特征值,确定所述目标对象的面部属性,包括:

针对每个区域,计算该区域的调整权重和对应的属性特征值的乘积值;

将各个区域对应的乘积值输入到面部属性识别模型中的面部属性分类模型,得到所述目标对象的面部属性。

一种可能的实施方式中,处理器41执行的指令中,针对所述面部图像中的每个区域,基于该区域的遮挡特征值,确定针对该区域的属性特征值的调整权重,包括:

将各个区域的遮挡特征值输入到面部属性识别模型的注意力模型,得到针对对应区域的属性特征值的调整权重。

一种可能的实施方式中,处理器41执行的指令中,根据以下步骤训练所述面部属性识别模型:

获取第一训练样本集,所述第一训练样本集包括样本图像以及该样本图像对应的实际面部属性,所述样本图像包括参考对象被遮挡的图像和参考对象未被遮挡的图像;

将样本图像输入到面部属性识别模型中的遮挡特征提取模型,得到所述样本图像中划分的每个区域的第一预测特征值;

将所述样本图像中每个区域的第一预测特征值输入到所述面部属性识别模型中的注意力模型,得到所述样本图像中每个区域的预测调整权重;

将所述样本图像输入到所述面部属性识别模型的面部属性特征提取模型,得到所述样本图像中每个区域的第二预测特征值;

基于所述样本图像中每个区域的预测调整权重和对应的第二预测特征值,确定所述样本图像中包括的测试对象的预测面部属性;

基于所述预测面部属性和实际面部属性,控制所述遮挡特征提取模型的模型参数不变,调整所述面部属性识别模型中面部属性特征提取模型、注意力模型的模型参数,得到完成训练的面部属性识别模型。

一种可能的实施方式中,处理器41执行的指令中,根据以下步骤训练所述遮挡特征提取模型:

获取第二训练样本集,所述第二训练样本集包括遮挡图像和该遮挡图像对应的实际遮挡区域,所述遮挡图像为参考对象被遮挡的图像;

将所述遮挡图像输入到包括遮挡特征提取模型的第一模型,得到预测遮挡区域;

根据实际遮挡区域和预测遮挡区域,调整所述第一模型的模型参数,得到完成训练的第一模型;

从训练完成的第一模型中,确定所述遮挡特征提取模型。

一种可能的实施方式中,处理器41执行的指令中,按照所述预测遮挡区域和所述实际遮挡区域之间的距离最小原则,调整所述第一模型的模型参数。

一种可能的实施方式中,处理器41执行的指令中,

根据以下步骤训练所述面部属性特征提取模型:

获取第三训练样本集,所述第三训练样本集包括样本图像以及该样本图像对应的实际面部属性,所述样本图像包括参考对象未被遮挡的图像;

将所述样本图像输入到包括面部属性特征提取模型的第二模型,得到预测面部属性;

根据实际面部属性和预测面部属性,调整所述第二模型的模型参数,得到完成训练的第二模型;

从训练完成的第二模型中,确定所述面部属性特征提取模型。

如本领域技术人员所知,随着计算机硬件的发展,总线的具体实现方式以及名称可能发生各种改变,此处所称的总线概念上涵盖任何能够为电子设备内各部件提供服务的信息传送线路,包括但不限于FSB、HT、QPI、Infinity Fabric等。

在本申请实施例中,处理器可以是通用处理器,包括中央处理器(CPU),还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、神经网络处理器(NPU)、张量处理器(TPU)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在一些实施例中,处理器41可以包括如图3所示的装置。

可理解的是,图3中的装置以及图4中的电子设备可以用于执行如上述结合图1和图2所描述的方法。

本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述面部属性识别方法的步骤。

具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述音频识别方法,从而解决无法通过一个模型对不同识别任务进行识别的问题,本申请所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。

本申请提供了一种面部属性识别方法、电子设备以及计算机可读存储介质,通过提取的面部图像中每个区域的遮挡特征信息,生成针对对应区域的属性特征值的调整权重,遮挡越严重,调整权重越小,遮挡越小,调整权重越大,利用该调整权重对面部图像中面部属性信息进行调整,在进行面部属性识别时,减少遮挡特征信息对面部属性识别过程的响应,更关注面部图像中包含面部属性信息的区域(未被遮挡区域),提高识别结果的准确度。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号