首页> 中国专利> 基于素描的人脸图像生成方法及相关产品

基于素描的人脸图像生成方法及相关产品

摘要

本申请实施例公开了一种基于素描的人脸图像生成方法及相关产品,所述方法包括:接收目标素描图像;提取所述目标素描图像对应的素描图像特征点集,基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像;将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像;合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像。试试本申请实施例具有用户体验度高的优点。

著录项

  • 公开/公告号CN113129208A

    专利类型发明专利

  • 公开/公告日2021-07-16

    原文格式PDF

  • 申请/专利号CN201911413846.7

  • 发明设计人 程冰;杨武杰;徐磊;陈耀沃;

    申请日2019-12-31

  • 分类号G06T3/00(20060101);G06T7/33(20170101);G06T11/00(20060101);

  • 代理机构44202 广州三环专利商标代理有限公司;

  • 代理人熊永强

  • 地址 518000 广东省深圳市龙岗区园山街道龙岗大道8288号深圳大运软件小镇17栋1楼

  • 入库时间 2023-06-19 11:52:33

说明书

技术领域

本申请涉及电子技术领域,具体涉及一种基于素描的人脸图像生成方法及相关产品。

背景技术

随着图像处理的快速发展和智能设备的广泛应用,通过智能设备进行图像处理逐渐成为一项热门技术,目前,根据素描画来还原犯罪嫌疑人的人像的技术在司法领域中的应用逐渐广泛,目前,在将素描图像转换为人脸图像时,通常是在现有数据库中将素描图像与人脸模板进行比对,从而得到素描图像对应的人脸图像,但是,直接比对的流程复杂繁琐,从而导致素描图像与人脸图像的转换效率较慢。

发明内容

本申请实施例提供了一种基于素描的人脸图像生成方法及相关产品,通过将素描图像划分为多个素描子图像,依据多个素描子图像确定人脸子图像合成人脸图像,有利于提高素描图像与人脸图像的转换效率。

第一方面,本申请实施例提供了一种基于素描的人脸图像生成方法,应用于电子设备,所述方法包括:

接收目标素描图像;

提取所述目标素描图像对应的素描图像特征点集,基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像;

将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像;

合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像。

第二方面,本申请实施例提供了一种基于素描的人脸图像生成装置,所述装置包括:

接收单元,用于接收目标素描图像;

提取单元,用于提取所述目标素描图像对应的素描图像特征点集,基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像;

匹配单元,用于将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像;

合成单元,用于合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像。

第三方面,本申请实施例提供一种电子设备,包括控制器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述控制器执行,上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。

第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出,在本申请实施例中,电子设备接收目标素描图像;提取所述目标素描图像对应的素描图像特征点集,基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像;将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像;合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像。可见,基于素描图像的素描图像特征点对素描图像进行划分,有利于提高素描图像划分的准确度,依据多个素描子图像与人脸模板集确定多个人脸子图像合成,有利于提高素描图像与人脸图像转换的转换效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种基于素描的人脸图像生成方法的流程示意图;

图2是本申请实施例提供的另一种基于素描的人脸图像生成方法的流程示意图;

图3是本申请实施例提供的另一种基于素描的人脸图像生成方法的流程示意图;

图4是本申请实施例提供的另一种基于素描的人脸图像生成方法的流程示意图;

图5是本申请实施例提供的一种电子设备的结构示意图;

图6是本申请实施例提供的一种基于素描的人脸图像生成装置的功能单元组成框图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结果或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能手环、计步器等)、计算设备或通信连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(User Equipment,UE),移动台(Mobile Station,MS),终端设备(terminal device)等等。为方便描述,上面提到的设备统称为电子设备。

请参阅图1,图1是本申请实施例提供的一种基于素描的人脸图像生成方法的流程示意图,应用于电子设备,本基于素描的人脸图像生成方法包括:

步骤101、接收目标素描图像;

可选的,接收预设服务器或终端设备发送的数据传输请求,该数据传输请求用于请求该电子设备与该预设服务器或终端设备建立数据传输通道,该电子设备依据该数据传输请求建立数据传输通道与该预设服务器或终端设备进行连接,接收该预设服务器或终端设备传输的目标扫描图像。在一可能的示例中,该电子设备启动远距离通信模块,该远距离通信模块用于向预设服务器或终端设备发送连接请求,该连接请求用于请求该预设服务器或终端设备与该电子设备进行通信连接,接收该预设服务器或该终端设备返回的连接响应,依据该连接响应建立数据传输通道与该预设服务器或终端设备进行连接,其中,该远距离通信模块可以包括:无线保真Wi-Fi模块、蓝牙模块、蜂窝数据网络等等,在此不作限定。

上述终端启动远距离通信模块的方式可以有多种,例如在一种可选的实施例中,可以通过一个特定的按钮来确定是否同时启动远距离通信模块。当然在另一种可选的实施例中,可以通过满足设定触发条件时,启动远距离通信模块,该触发条件可以是一个特定的操作来确定是否启动远距离通信模块,该特定的操作包括但不限于,特定的手势、或者生物识别验证,该生物识别验证包括但不限于:人脸识别验证、指纹识别验证、静脉识别验证等等。本申请具体实施方式并不限制上述启动远距离通信模块的方案。

步骤102、提取所述目标素描图像对应的素描图像特征点集,基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像;

可选的,提取该目标素描图像对应的素描图像特征点集,包括:获取预设的特征提取算法,对该目标素描图像执行给特征提取算法,得到该素描图像特征点集。

步骤103、将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像;

可选的,获取预设的匹配模型,将该多个素描子图像与该人脸模板集作为该匹配模型的输入,得到与该多个素描子图像匹配的多个人脸模板,依据该多个人脸模板确定该多个人脸子图像。

步骤104、合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像。

可选的,合成多个人脸子图像得到目标素描图像对应的人脸图像,包括:获取目标素描图像与多个素描子图像,依据该目标素描图像计算该多个素描子图像对应的多个连接矩阵,依据该多个连接矩阵合成该多个人脸子图像,得到该人脸图像。

在一可能的示例中,所述提取所述目标素描图像对应的素描图像特征点集,包括:获取预设的图像格式,其中,所述图像格式包括以下至少一个:宽度、高度、位深、分辨率;依据所述图像格式对所述目标素描图像执行格式预处理操作,得到预处理素描图像;将所述预处理素描图像作为预设的卷积神经网络的输入,得到所述素描图像特征点集。

其中,该图像格式还可以包括:水平分辨率、垂直分辨率、图像大小等等,在此不作限定。

可选的,依据图像格式对目标素描图像执行格式预处理操作可以包括:依据该图像格式对该目标素描图像对应的目标图像格式进行更新,即假设该图像格式包括:宽度219、高度191、分辨率为219*191,获取该目标素描图像对应的目标图像格式,将该目标图像格式中的宽度调整为219、高度调整为191、分辨率调整为219*191。

可选的,在得到预处理素描图像后,对该预处理素描图像进行检测,判断该预处理素描图像中包含的目标人脸图像是否被遮挡,若该目标人脸图像被遮挡,将该预处理素描图像划分为两部分,第一部分为该预处理素描图像中未被遮挡的第一素描图像,第二部分为该预处理素描图像中被遮挡的第二素描图像,将该第一素描图像作为该预设的卷积神经网络的输入,得到该素描图像特征点集;若该预处理素描图像未被遮挡,将该预处理素描图像作为该预设的卷积神经网络的输入,得到该素描图像特征点集。

在一可能的示例中,所述基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像,包括:从所述素描图像特征点集中提取多个预设部位对应的多个部位特征点集,其中,所述多个部位包括:眼部、鼻部、口部、眉部、脸部、头部和耳部;基于所述多个部位特征点集在所述目标素描图像中确定所述多个预设部位对应的多个部位坐标点集;基于所述多个部位坐标点集对所述目标素描区域图像进行裁剪,得到所述多个素描子图像,依据所述多个预设部位对所述多个素描子图像进行标记。

在一可能的示例中,对该预处理素描图像进行检测,判断该预处理素描图像中包含的目标人脸图像是否被遮挡,若该目标人脸图像被遮挡,将该预处理素描图像划分为两部分,第一部分为该预处理素描图像中未被遮挡的第一素描图像,第二部分为该预处理素描图像中被遮挡的第二素描图像;针对第一素描图像执行特征提取算法得到该素描图像特征点集;若该预处理素描图像未被遮挡,针对该预处理素描图像执行特征提取算法得到该素描图像特征点集;其中,该特征提取操作包括:电子设备获取预设的特征提取框和搜索步长,依据该搜索步长和该特征提取框在该预处理素描图像中确定多个特征提取区域,针对该多个特征提取区域执行特征提取算法,得到素描图像特征点集,其中,该特征提取算法可以包括:Haar-Like特征提取算法、HOG特征提取算法等等,在此不做限定;获取预设的分类器,获取预设的训练样本,其中该训练样本包括:N个素描特征点集和该N个素描特征点集对应的7*N个素描部位特征点集,其中,该N个素描特征点集中任意一个素描特征点集对应7个素描部位特征点集,依据该训练样本对该分类器进行训练,得到训练好的分类器,将该素描图像特征点集作为该训练好的分类器的输入,得到该素描图像特征点集对应的7个部位特征点集,其中,该7个部位分别包括:眼部、鼻部、口部、眉部、脸部、头部和耳部。

可选的,获取该预处理素描图像,对该预处理素描图像像执行边缘检测算法,确定该预处理素描图像中包含的目标素描人脸的边界,依据该边界在该预处理素描图像中对该目标素描人脸进行定位。

进一步地,获取预设的结构检测模型,该结构检测模型用于对该预处理素描图像进行检测,确定该预处理素描图像中包括的目标素描人脸对应的人脸结构,依据该人脸结构对预处理素描图像中包含的多个预设部位进行定位,得到该多个预设部位对应的位置坐标,获取预设的裁剪框,依据该多个位置坐标和该裁剪框对该目标素描图像进行裁剪,得到该多个素描子图像。

在一可能的示例中,所述将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像,包括:确定所述多个素描子图像中任意一个素描子图像为目标素描子图像;获取所述目标素描子图像对应的目标部位标签;在所述人脸模板集中获取所述目标部位标签对应的多个目标部位模板;计算所述目标素描子图像与所述多个目标部位模板对应的多个相似度,依据预设的相似度与权重的映射关系确定所述多个相似度对应的多个权重;将所述多个目标部位模板和所述多个权重作为预设的人脸生成模型的输入,得到所述目标素描子图像对应的人脸子图像;重复上述步骤,得到所述多个素描子图像对应的多个人脸子图像。

具体实现过程中,从多个素描子图像中确定目标素描子图像,该目标素描子图像可以为该多个素描子图像中任意一个素描子图像,确定该目标素描子图像对应的目标部位标签,即若该目标素描子图像为眼部图像,则确定该目标素描子图像对应的目标部位标签为“眼部”;该人脸模板集中包括多个部位模板集,即该人脸模板集中包括:眼部模板集、鼻部模板集、口部模板集、眉部模板集、脸部模板集、头部模板集和耳部模板集,当该目标部位标签为“眼部”时,从该人脸模板集中提取眼部模板集;计算该目标素描子图像与该眼部模板集中包含的多个眼部模板的多个相似度,依据预设的相似度与权重的映射关系确定该多个相似度对应的多个权重,其中,该预设的相似度与权重的映射关系可以包括:

其中,n为该眼部模板集中包含的眼部模板的总数,即假设该眼部模板集中包含5个眼部模板,计算该目标素描子图像与5个眼部模板的相似度分别为:9%、37%、95%、55%和60%,则该5个权重分别为:0.1、0.5、0.9、0.7和0.7;获取预设的人脸生成模型,将该5个权值和该眼部模板集作为该人脸生成模型的输入,得到该目标素描子图像对应的人脸子图像,该人脸子图像为眼部图像,重复上述步骤,得到多个人脸子图像。

在一可能的示例中,所述合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像,包括:获取预设的合成模型,将所述多个人脸子图像、所述多个素描子图像和所述目标素描图像作为所述合成模型的输入,得到所述人脸图像。

可选的,向预设服务器发送图像合成请求,该图像合成请求包括:多个人脸子图像,该图像合成请求用于请求该预设服务器合成该多个人脸子图像,接收该预设服务器返回的图像合成响应,该图像合成响应可以包括:依据该多个人脸子图像合成的人脸图像,从该图像合成响应中提取该人脸图像。

可以看出,在本申请实施例中,电子设备接收目标素描图像;提取所述目标素描图像对应的素描图像特征点集,基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像;将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像;合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像。可见,基于素描图像的素描图像特征点对素描图像进行划分,有利于提高素描图像划分的准确度,依据多个素描子图像与人脸模板集确定多个人脸子图像合成,有利于提高素描图像与人脸图像转换的转换效率,并且,有利于提高素描图像与人脸图像的相似度,从而提高用户体验度。

请参阅图2,图2是本申请实施例提供的另一种基于素描的人脸图像生成方法的流程示意图,应用于电子设备,本基于素描的人脸图像生成方法包括:

步骤201、接收目标素描图像;

步骤202、获取预设的图像格式,其中,所述图像格式包括以下至少一个:宽度、高度、位深、分辨率;

步骤203、依据所述图像格式对所述目标素描图像执行格式预处理操作,得到预处理素描图像;

步骤204、将所述预处理素描图像作为预设的卷积神经网络的输入,得到所述素描图像特征点集;

步骤205、基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像;

步骤206、将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像;

步骤207、合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像。

其中,上述步骤201-步骤207的具体描述可以参照上述图1所描述的基于素描的人脸图像生成方法的相应步骤,在此不再赘述。

可以看出,在本申请实施例中,电子设备接收目标素描图像;获取预设的图像格式,其中,该图像格式包括以下至少一个:宽度、高度、位深、分辨率;依据该图像格式对该目标素描图像执行格式预处理操作,得到预处理素描图像;将该预处理素描图像作为预设的卷积神经网络的输入,得到该素描图像特征点集;基于该素描图像特征点集对该目标素描图像进行划分得到多个素描子图像;将该多个素描子图像与预设的人脸模板集进行匹配计算,得到该多个素描子图像对应的多个人脸子图像;合成该多个人脸子图像得到该目标素描图像对应的人脸图像。可见,对目标素描图像执行格式预处理操作后再通过卷积神经网络提取该素描特征点,可以提高特征点提取速率,依据素描图像特征点集将目标素描图像进行划分成多个素描子图像执行匹配计算,可以提高匹配速率,进而提高素描图像与人脸图像的转换速率,有利于提高素描图像与人脸图像的相似度,提高用户体验度。

请参阅图3,图3是本申请实施例提供的另一种基于素描的人脸图像生成方法的流程示意图,应用于电子设备,本基于素描的人脸图像生成方法包括:

步骤301、接收目标素描图像;

步骤302、提取所述目标素描图像对应的素描图像特征点集,从所述素描图像特征点集中提取多个预设部位对应的多个部位特征点集,其中,所述多个部位包括:眼部、鼻部、口部、眉部、脸部、头部和耳部;

步骤303、基于所述多个部位特征点集在所述目标素描图像中确定所述多个预设部位对应的7个部位坐标点集;

步骤304、基于所述多个部位坐标点集对所述目标素描区域图像进行裁剪,得到所述多个素描子图像,依据所述多个预设部位对所述多个素描子图像进行标记;

步骤305、将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像;

步骤306、合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像。

其中,上述步骤301-步骤306的具体描述可以参照上述图1所描述的基于素描的人脸图像生成方法的相应步骤,在此不再赘述。

可以看出,在本申请实施例中,电子设备接收目标素描图像;提取该目标素描图像对应的素描图像特征点集,从该素描图像特征点集中提取多个预设部位对应的多个部位特征点集,其中,该多个部位包括:眼部、鼻部、口部、眉部、脸部、头部和耳部;基于该多个部位特征点集在该目标素描图像中确定该多个预设部位对应的7个部位坐标点集;基于该多个部位坐标点集对该目标素描区域图像进行裁剪,得到该多个素描子图像,依据该多个预设部位对该多个素描子图像进行标记;将该多个素描子图像与预设的人脸模板集进行匹配计算,得到该多个素描子图像对应的多个人脸子图像;合成该多个人脸子图像得到该目标素描图像对应的人脸图像。可见,通过从图像特征点集中提取预设部位的部位特征点集实现对目标素描图像的划分,提高了图像划分的准确度和划分速率,依据多个素描子图像和人脸模板集执行匹配计算,可以提高匹配速率,进而提高素描图像与人脸图像的转换速率,提高用户体验度。

请参阅图4,图4是本申请实施例提供的另一种基于素描的人脸图像生成方法的流程示意图,应用于电子设备,本基于素描的人脸图像生成方法包括:

步骤401、接收目标素描图像;

步骤402、提取所述目标素描图像对应的素描图像特征点集,基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像;

步骤403、确定所述多个素描子图像中任意一个素描子图像为目标素描子图像;

步骤404、获取所述目标素描子图像对应的目标部位标签;

步骤405、在所述人脸模板集中获取所述目标部位标签对应的多个目标部位模板;

步骤406、计算所述目标素描子图像与所述多个目标部位模板对应的多个相似度,依据预设的相似度与权重的映射关系确定所述多个相似度对应的多个权重;

步骤407、将所述多个目标部位模板和所述多个权重作为预设的人脸生成模型的输入,得到所述目标素描子图像对应的人脸子图像;

步骤408、重复上述步骤,得到所述多个素描子图像对应的多个人脸子图像;

步骤409、合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像。

其中,上述步骤401-步骤409的具体描述可以参照上述图1所描述的基于素描的人脸图像生成方法的相应步骤,在此不再赘述。

可以看出,在本申请实施例中,电子设备接收目标素描图像;提取该目标素描图像对应的素描图像特征点集,基于该素描图像特征点集对该目标素描图像进行划分得到多个素描子图像;确定该多个素描子图像中任意一个素描子图像为目标素描子图像;获取该目标素描子图像对应的目标部位标签;在该人脸模板集中获取该目标部位标签对应的多个目标部位模板;计算该目标素描子图像与该多个目标部位模板对应的多个相似度,依据预设的相似度与权重的映射关系确定该多个相似度对应的多个权重;将该多个目标部位模板和该多个权重作为预设的人脸生成模型的输入,得到该目标素描子图像对应的人脸子图像;重复上述步骤,得到该多个素描子图像对应的多个人脸子图像;合成该多个人脸子图像得到该目标素描图像对应的人脸图像。如此,可以基于部位标签从人脸模板集中确定目标部位模板与目标素描子图像进行匹配,减少匹配次数,提高匹配速率,进而提高素描图像与人脸图像转换速率,提高用户体验度。

请参阅图5,图5是本申请实施例提供的一种电子设备500的结构示意图,如图所示,所述电子设备500包括:应用处理器510、存储器520、通信接口530以及一个或多个程序521,其中,所述一个或多个程序521被存储在上述存储器520中,并且被配置由上述应用处理器510执行,所述一个或多个程序521包括用于执行以下步骤的指令:本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。

接收目标素描图像;

提取所述目标素描图像对应的素描图像特征点集,基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像;

将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像;

合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像。

可以看出,在本申请实施例中,电子设备接收目标素描图像;提取所述目标素描图像对应的素描图像特征点集,基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像;将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像;合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像。可见,基于素描图像的素描图像特征点对素描图像进行划分,有利于提高素描图像划分的准确度,依据多个素描子图像与人脸模板集确定多个人脸子图像合成,有利于提高素描图像与人脸图像转换的转换效率,并且,有利于提高素描图像与人脸图像的相似度,从而提高用户体验度。

在一可能的示例中,所述提取所述目标素描图像对应的素描图像特征点集,所述程序中的指令具体用于执行以下操作:获取预设的图像格式,其中,所述图像格式包括以下至少一个:宽度、高度、位深、分辨率;依据所述图像格式对所述目标素描图像执行格式预处理操作,得到预处理素描图像;将所述预处理素描图像作为预设的卷积神经网络的输入,得到所述素描图像特征点集。

在一可能的示例中,所述基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像,所述程序中的指令具体用于执行以下操作:从所述素描图像特征点集中提取多个预设部位对应的多个部位特征点集,其中,所述多个部位包括:眼部、鼻部、口部、眉部、脸部、头部和耳部;基于所述多个部位特征点集在所述目标素描图像中确定所述多个预设部位对应的7个部位坐标点集;基于所述多个部位坐标点集对所述目标素描区域图像进行裁剪,得到所述多个素描子图像,依据所述多个预设部位对所述多个素描子图像进行标记。

在一可能的示例中,所述将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像,所述程序中的指令具体用于执行以下操作:确定所述多个素描子图像中任意一个素描子图像为目标素描子图像;获取所述目标素描子图像对应的目标部位标签;在所述人脸模板集中获取所述目标部位标签对应的多个目标部位模板;计算所述目标素描子图像与所述多个目标部位模板对应的多个相似度,依据预设的相似度与权重的映射关系确定所述多个相似度对应的多个权重;将所述多个目标部位模板和所述多个权重作为预设的人脸生成模型的输入,得到所述目标素描子图像对应的人脸子图像;重复上述步骤,得到所述多个素描子图像对应的多个人脸子图像。

在一可能的示例中,所述合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像,所述程序中的指令具体用于执行以下操作:获取预设的合成模型,将所述多个人脸子图像、所述多个素描子图像和所述目标素描图像作为所述合成模型的输入,得到所述人脸图像。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个控制单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

图6是本申请实施例中所涉及的基于素描的人脸图像生成装置600的功能单元组成框图,该基于素描的人脸图像生成装置600应用于电子设备,该基于素描的人脸图像生成装置600包括接收单元601、提取单元602、匹配单元603以及合成单元604,其中:

接收单元601,用于接收目标素描图像;

提取单元602,用于提取所述目标素描图像对应的素描图像特征点集,基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像;

匹配单元603,用于将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像;

合成单元604,用于合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像。

可以看出,在本申请实施例中,电子设备接收目标素描图像;提取所述目标素描图像对应的素描图像特征点集,基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像;将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像;合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像。可见,基于素描图像的素描图像特征点对素描图像进行划分,有利于提高素描图像划分的准确度,依据多个素描子图像与人脸模板集确定多个人脸子图像合成,有利于提高素描图像与人脸图像转换的转换效率,并且,有利于提高素描图像与人脸图像的相似度,从而提高用户体验度。

在一可能的示例中,所述提取所述目标素描图像对应的素描图像特征点集,所述提取单元602,具体用于:获取预设的图像格式,其中,所述图像格式包括以下至少一个:宽度、高度、位深、分辨率;依据所述图像格式对所述目标素描图像执行格式预处理操作,得到预处理素描图像;将所述预处理素描图像作为预设的卷积神经网络的输入,得到所述素描图像特征点集。

在一可能的示例中,所述基于所述素描图像特征点集对所述目标素描图像进行划分得到多个素描子图像,所述提取单元602,具体用于:从所述素描图像特征点集中提取多个预设部位对应的多个部位特征点集,其中,所述多个部位包括:眼部、鼻部、口部、眉部、脸部、头部和耳部;基于所述多个部位特征点集在所述目标素描图像中确定所述多个预设部位对应的7个部位坐标点集;基于所述多个部位坐标点集对所述目标素描区域图像进行裁剪,得到所述多个素描子图像,依据所述多个预设部位对所述多个素描子图像进行标记。

在一可能的示例中,所述将所述多个素描子图像与预设的人脸模板集进行匹配计算,得到所述多个素描子图像对应的多个人脸子图像,所述匹配单元603,具体用于:确定所述多个素描子图像中任意一个素描子图像为目标素描子图像;获取所述目标素描子图像对应的目标部位标签;在所述人脸模板集中获取所述目标部位标签对应的多个目标部位模板;计算所述目标素描子图像与所述多个目标部位模板对应的多个相似度,依据预设的相似度与权重的映射关系确定所述多个相似度对应的多个权重;将所述多个目标部位模板和所述多个权重作为预设的人脸生成模型的输入,得到所述目标素描子图像对应的人脸子图像;重复上述步骤,得到所述多个素描子图像对应的多个人脸子图像。

在一可能的示例中,所述合成所述多个人脸子图像得到所述目标素描图像对应的人脸图像,所述合成单元604,具体用于:获取预设的合成模型,将所述多个人脸子图像、所述多个素描子图像和所述目标素描图像作为所述合成模型的输入,得到所述人脸图像。

本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号