人脸图像去模糊方法、人脸图像去模糊装置、介质与设备

摘要

本公开提供一种人脸图像去模糊方法、人脸图像去模糊装置、计算机可读存储介质与电子设备，涉及图像处理技术领域。所述人脸图像去模糊方法包括：获取待处理人脸图像；对所述待处理人脸图像的纹理进行第一处理，得到第一中间特征，所述第一处理为对所述待处理人脸图像的纹理进行初步去模糊的处理；对所述待处理人脸图像进行第二处理，得到第二中间特征，所述第二处理为对所述待处理人脸图像进行初步去模糊的处理；对所述第一中间特征与所述第二中间特征进行第三处理，得到所述待处理人脸图像对应的去模糊图像。本公开能够对待处理的人脸图像进行有效、准确的去模糊处理。

说明书

技术领域

本公开涉及图像处理技术领域，尤其涉及一种人脸图像去模糊方法、人脸图像去模糊装置、计算机可读存储介质与电子设备。

背景技术

随着人脸图像在快捷支付、刷脸打卡、门禁解锁等人脸识别领域的广泛应用，为了提高识别精度和准确性，需要保证人脸图像具有较高的图像质量。在实际应用中，由于多种因素的干扰，例如人脸运动或摄像头虚焦等，都会造成人脸图像出现模糊的情况，因此，如何对人脸图像去模糊以提高人脸图像的质量非常重要。现有技术中对人脸图像进行去模糊处理，主要是针对人脸图像出现硬件模糊或虚焦模糊等情况，而针对人脸运动造成的人脸图像模糊的情况还没有较好的解决办法，因此，如何对人脸图像进行准确、有效且便捷的去模糊处理是现有技术亟待解决的问题。

发明内容

本公开提供了一种人脸图像去模糊方法、人脸图像去模糊装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善现有技术中难以针对所有人脸图像进行有效去模糊处理的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种人脸图像去模糊方法，包括：获取待处理人脸图像；对所述待处理人脸图像的纹理进行第一处理，得到第一中间特征，所述第一处理为对所述待处理人脸图像的纹理进行初步去模糊的处理；对所述待处理人脸图像进行第二处理，得到第二中间特征，所述第二处理为对所述待处理人脸图像进行初步去模糊的处理；对所述第一中间特征与所述第二中间特征进行第三处理，得到所述待处理人脸图像对应的去模糊图像。

根据本公开的第二方面，提供一种人脸图像去模糊装置，包括：图像获取模块，用于获取待处理人脸图像；第一处理模块，用于对所述待处理人脸图像的纹理进行第一处理，得到第一中间特征，所述第一处理为对所述待处理人脸图像的纹理进行初步去模糊的处理；第二处理模块，用于对所述待处理人脸图像进行第二处理，得到第二中间特征，所述第二处理为对所述待处理人脸图像进行初步去模糊的处理；第三处理模块，用于对所述第一中间特征与所述第二中间特征进行第三处理，得到所述待处理人脸图像对应的去模糊图像。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的人脸图像去模糊方法及其可能的实现方式。

根据本公开的第四方面，提供一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令。其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一方面的人脸图像去模糊方法及其可能的实现方式。

本公开的技术方案具有以下有益效果：

获取待处理人脸图像；对待处理人脸图像的纹理进行第一处理，得到第一中间特征，第一处理为对待处理人脸图像的纹理进行初步去模糊的处理；对待处理人脸图像进行第二处理，得到第二中间特征，第二处理为对待处理人脸图像进行初步去模糊的处理；对第一中间特征与第二中间特征进行第三处理，得到待处理人脸图像对应的去模糊图像。一方面，本示例性实施例提出一种新的人脸图像去模糊的方法，考虑到清晰的人脸往往能够具有清晰明显的纹理，因此，融合人脸图像纹理这一维度的处理结果，对人脸图像进行去模糊处理，能够保证恢复的人脸图像的具有较好的质感和较多的纹理特征，提高了人脸图像去模糊的效果；另一方面，本示例性实施例包括三个处理过程，分别先从人脸图像纹理以及人脸图像本身两个层面进行处理，再根据其处理结果进一步综合处理，能够对人脸图像纹理的处理结果，引导和加强人脸图像中人脸区域纹理细节的增强，保证了人脸图像去模糊处理的准确性和有效性；再一方面，本示例性实施例的处理结构明晰，能够部署于移动终端等电子设备中，在节约内存资源的同时，能够在摄像、摄影等多种应用场景下提供清晰的图像模糊恢复和细节增强效果，适用范围较广。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施方式中一种系统架构的示意图；

图2示出本示例性实施方式中一种电子设备的结构图；

图3示出本示例性实施方式中一种人脸图像去模糊方法的流程图；

图4示出本示例性实施方式中一种人脸图像去模糊方法的子流程图；

图5示出本示例性实施方式中一种原始图像的示意图；

图6示出本示例性实施方式中对原始图像进行人脸关键点检测的示意图；

图7示出本示例性实施方式中原始图像的脸部区域的示意图；

图8示出本示例性实施方式中根据脸部区域确定的待处理人脸图像的示意图；

图9示出本示例性实施方式中一种获取待处理人脸图像的流程图；

图10示出本示例性实施方式中另一种人脸图像去模糊方法的子流程图；

图11示出本示例性实施方式中根据原始图像确定的纹理图像的示意图；

图12示出本示例性实施方式中再一种人脸图像去模糊方法的子流程图；

图13示出本示例性实施方式中一种去模糊网络结构的示意图；

图14示出本示例性实施方式中对去模糊网络进行训练的流程图；

图15示出本示例性实施方式中对去模糊网络进行训练的子流程图；

图16示出本示例性实施方式中对去模糊网络进行训练的结构示意图；

图17示出本示例性实施方式中一种人脸图像去模糊装置的结构图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本公开的示例性实施方式提供一种人脸图像去模糊方法。图1示出了本示例性实施方式运行环境的系统架构图。如图1所示，该系统架构100可以包括服务端110和终端120，两者之间通过网络形成通信交互，例如服务端110将处理后的去模糊图像发送至终端120，终端120显示去模糊后的人脸图像。其中，服务端110是指提供互联网服务的后台服务器；终端120可以包括但不限于智能手机、平板电脑、游戏机、可穿戴设备等。

应当理解，图1中各装置的数量仅是示例性的。根据实现需要，可以设置任意数量的终端，或者服务端可以是多台服务器形成的集群。

本公开实施方式所提供的人脸图像去模糊方法可以由服务端110执行，例如在终端120采集待处理人脸图像后，将其发送至服务端110，由服务端110对其进行去模糊处理后，返回至终端120；也可以由终端120执行，例如由终端120采集待处理人脸图像，并直接对其进行去模糊处理等等，本公开对此不做限定。

本公开的示例性实施方式提供一种用于实现人脸图像去模糊方法的电子设备，其可以是图1中的服务端110或终端120。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行人脸图像去模糊方法。

下面以图2中的移动终端200为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、USB(Universal Serial Bus，通用串行总线)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏幕290、摄像模组291、指示器292、马达293、按键294以及SIM(Subscriber Identification Module，用户标识模块)卡接口295等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。编码器可以对图像或视频数据进行编码(即压缩)；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据。

在一些实施方式中，处理器210可以包括一个或多个接口，通过不同的接口和移动终端200的其他部件形成连接。

内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括易失性存储器、非易失性存储器等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。

外部存储器接口222可以用于连接外部存储器。外部存储器通过外部存储器接口222与处理器210通信，实现数据存储功能。

USB接口230可以用于连接充电器为移动终端200充电，也可以连接耳机或其他电子设备。充电管理模块240用于从充电器接收充电输入。

移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案。

移动终端200可以通过GPU、显示屏幕290及AP等实现显示功能，显示用户界面。例如，移动终端200可以在显示屏290中显示去模糊处理前或去模糊处理后的人脸图像。

移动终端200可以通过ISP、摄像模组291、编码器、解码器、GPU、显示屏幕290及AP等实现拍摄功能，例如，用户可以在图像处理的应用程序中启动拍照功能，触发开启摄像模组291进行拍照，并对拍摄的人脸图像进行去模糊处理。

移动终端200还可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及AP等实现音频功能。

传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等，以实现不同的感应检测功能。

指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。马达293可以产生振动提示，也可以用于触摸振动反馈等。按键294包括开机键，音量键等。

移动终端200可以支持一个或多个SIM卡接口295，用于连接SIM卡，以实现通话以及数据通信等功能。

图3示出了人脸图像去模糊方法的示例性流程，可以由上述服务端110或终端120执行，包括以下步骤S310至S340：

步骤S310，获取待处理人脸图像。

其中，待处理人脸图像是指可以用于进行去模糊处理的图像，该图像的人脸区域可以具有不同程度、不同原因造成的模糊因素，需要进行去模糊处理，以得到清晰的人脸图像。待处理人脸图像可以由终端设备所配置的摄像头或图像传感器实时采集获取，例如通过手机摄像头直接拍摄包含人脸的原始图像，作为待处理人脸图像；也可以从其他特定的图像源处获取，例如从本地已存储的相册中或历史拍摄的图像中获取；还可以从云端或网络上下载得到等等。

在本示例性实施例中，也可以从不同数据源中获取原始图像，通过对原始图像进行人脸检测，来确定待处理人脸图像。当包含人脸时，可以继续执行后续去模糊的处理过程，当不包含人脸时，则可以无需执行后续去模糊的处理过程。具体的，可以通过从原始图像中提取特定的图像特征，例如颜色特征、纹理特征、形状特征或空间关系特征等，来识别原始图像中是否包括人脸区域。其中，考虑到本示例性实施例是为了对人脸进行去模糊处理，因此，图像特征可以是能够反映人脸特征的特征数据，例如人脸的脸部形状、五官形状、五官结构、脸部亮度、脸部肤色、脸部纹理、脸部朝向或脸部大小等。具体的，图像特征的提取方式可以有多种，例如可以采用多个哈尔(Haar)特征模板在原始图像上进行遍历，确定特征值，以提取对应的图像特征等，本公开对于图像特征的提取方式，不做具体限定。在提取图像特征后，可以通过对图像特征进行识别分析，将包括人脸的原始图像作为待处理人脸图像，进行后续人脸图像去模糊的处理过程。

在一示例性实施例中，如图4所示，上述步骤S310可以包括以下步骤：

步骤S410，在原始图像中检测人脸关键点；

步骤S420，根据人脸关键点中的眉毛上沿关键点与脸部外沿关键点，确定脸部区域；

步骤S430，从原始图像中提取脸部区域的图像，得到待处理人脸图像。

本示例性实施例可以通过从原始图像中提取人脸关键点的方式来获取准确且更加具有针对性的，仅包含脸部区域的待处理人脸图像。其中，人脸关键点是指能够反映人物的脸部特征的关键点，例如眼部关键点、眉毛关键点以及嘴部的关键点等，其可以分别反映眼睛、眉毛以及嘴的形状和位置等信息，人脸轮廓关键点或者人脸中心关键点可以反映人脸整体的结构特征等。

眉毛上沿关键点是指能够表征眉毛上边沿的关键点，其可以是眉毛关键点中位置最高的一个关键点，也可以是位置较高的多个关键点进行计算所确定出的关键点等。脸部外沿关键点是指能够表征脸部轮廓的关键点，根据脸部外沿关键点可以大致确定人脸的大小、所在的区域或位置等。

为了避免某些干扰因子对人脸图像造成干扰，例如额头前的碎发或刘海、帽子或者架在额头上的墨镜等，都会对人脸区域造成局部的遮挡等，继而影响后续去模糊处理的效果，本示例性实施例可以根据人脸关键点中的眉毛上沿关键点与脸部外沿关键点，先确定出脸部区域，进一步，根据该脸部区域，确定出仅包含脸部区域的人脸图像。具体而言，可以对原始图像中原本的人脸区域进行脸部区域的分割，仅保留眉毛以下，下巴以上的脸部区域，例如可以采用特定的二维关键点(x，y)点集Keyp，则：

Keyp＝{KeypEye

其中，KeypEye

此外，本示例性实施例还可以采取基于深度学习的人脸分割模型，先从原始图像中分割出人脸区域及五官区域再通过筛选区域，得到包含脸部区域的待处理人脸图像。

图9示出了另一种获取待处理人脸图像的流程图，具体可以包括以下步骤：

步骤S910，获取原始图像；

步骤S920，对原始图像进行人脸检测，确定原始图像中是否包含人脸；

如果原始图像中包含人脸，则执行步骤S930，在原始图像中检测人脸关键点；

步骤S940，根据人脸关键点中的眉毛上沿关键点与脸部外沿关键点，确定脸部区域；

步骤S950，从原始图像中提取脸部区域的图像，得到待处理人脸图像；

如果原始图像中不包含人脸，则执行步骤S960，结束当前流程。

本示例性实施例可以先通过人脸检测，确定出包含人脸的原始图像，若原始图像中不包含人脸，则说明无需进行人脸图像去模糊的处理过程；进一步，通过人脸关键点检测，将人脸的脸部区域从整张原始图像中分割出来，最后基于脸部区域生成待处理人脸图像。

步骤S320，对待处理人脸图像的纹理进行第一处理，得到第一中间特征，第一处理为对待处理人脸图像的纹理进行初步去模糊的处理。

步骤S330，对待处理人脸图像进行第二处理，得到第二中间特征，第二处理为对待处理人脸图像进行初步去模糊的处理。

其中，待处理人脸图像的纹理是指能够反映人脸纹路或细腻程度的数据，本示例性实施例可以根据待处理人脸图像，先确定出对应的纹理图像，基于该纹理图像进行第一处理；也可以直接从待处理人脸图像中提取出人脸的纹理特征数据，对纹理特征数据进行第一处理等，本公开对此不做具体限定。其中，从待处理人脸图像中提取纹理可以采用多种方式，例如可以采用LBP(Local binary pattern，局部二值模式)算法，通过对待处理人脸图像中不同的像素点的关系进行分析分类，以提取纹理；也可以采用HOG的方式来提取待处理人脸图像中的纹理等，本公开对此不做具体限定。第一处理是指针对待处理人脸图像的纹理进行处理的一种过程，其可以对待处理人脸图像的纹理进行一定程度的优化或恢复，例如可以对待处理人脸图像的纹理进行初步的去模糊处理，对应可以得到处理后的第一中间特征。在本示例性实施例中，第一处理可以采用多种方式，例如可以通过预先训练的神经网络模型对待处理人脸图像的纹理进行处理，得到第一中间特征；也可以采用特定的图像增强算法，如平滑、锐化等空间滤波算法，对待处理人脸图像的纹理进行处理，得到第一中间特征；还可以预先确定一模糊核，基于该模糊核与待处理人脸图像的纹理进行计算，以确定第一中间特征等等，本公开对此不做具体限定。

区别于第一处理中针对待处理人脸图像的纹理进行处理的过程，第二处理是指针对待处理人脸图像本身进行的一种初步去模糊处理过程，例如对待处理人脸图像进行模糊修复，对应可以得到处理后的第二中间特征。与第一处理类似，第二处理也可以采用训练神经网络模型、图像增强算法或模糊核计算等方式，本公开对此不做具体限定。需要说明的是，第一处理与第二处理所采用的方法可以相同，也可以不同，例如第一处理与第二处理均可以采用训练神经网络模型进行处理的方式；或者第一处理采用训练神经网络模型进行处理的方式，第二处理采用图像增强算法等等，具体可以根据实际需要确定采用哪种算法。

步骤S340，对第一中间特征与第二中间特征进行第三处理，得到待处理人脸图像对应的去模糊图像。

进一步的，本示例性实施例可以将第一处理过程的处理结果与第二处理过程的处理结果，进行融合再次进行第三处理过程，即将第一中间特征与第二中间特征作为待处理数据，对其进行第三处理，得到最终的待处理人脸图像对应的去模糊图像，该去模糊图像中可以呈现出人脸区域经过去模糊处理后的清晰效果。

综上，本示例性实施方式中，获取待处理人脸图像；对待处理人脸图像的纹理进行第一处理，得到第一中间特征，第一处理为对待处理人脸图像的纹理进行初步去模糊的处理；对待处理人脸图像进行第二处理，得到第二中间特征，第二处理为对待处理人脸图像进行初步去模糊的处理；对第一中间特征与第二中间特征进行第三处理，得到待处理人脸图像对应的去模糊图像。一方面，本示例性实施例提出一种新的人脸图像去模糊的方法，考虑到清晰的人脸往往能够具有清晰明显的纹理，因此，融合人脸图像纹理这一维度的处理结果，对人脸图像进行去模糊处理，能够保证恢复的人脸图像的具有较好的质感和较多的纹理特征，提高了人脸图像去模糊的效果；另一方面，本示例性实施例包括三个处理过程，分别先从人脸图像纹理以及人脸图像本身两个层面进行处理，再根据其处理结果进一步综合处理，能够对人脸图像纹理的处理结果，引导和加强人脸图像中人脸区域纹理细节的增强，保证了人脸图像去模糊处理的准确性和有效性；再一方面，本示例性实施例的处理结构明晰，能够部署于移动终端等电子设备中，在节约内存资源的同时，能够在摄像、摄影等多种应用场景下提供清晰的图像模糊恢复和细节增强效果，适用范围较广。

在一示例性实施例中，如图10所示，上述步骤S320可以包括以下步骤：

步骤S1010，利用第一神经网络对待处理人脸图像的纹理进行处理，得到第一中间特征；

步骤S330可以包括：

步骤S1020，利用第二神经网络对待处理人脸图像进行处理，得到第二中间特征；

步骤S340，可以包括：

步骤S1030，利用第三神经网络对第一中间特征与第二中间特征进行处理，得到去模糊图像；

其中，第一神经网络的输出与第二神经网络的输出为第三神经网络的输入。

本示例性实施例可以采用三个神经网络分别执行上述第一处理、第二处理以及第三处理的处理过程，三个神经网络的网络结构可以相同，仅需要设置不同的网络权重参数即可以执行不同的处理过程，即三个神经网络可以共用一个网络结构，但是参数不同，从而可以较好的节约内存。本示例性实施例可以将第一神经网络与第二神经网络的处理过程看成初步处理阶段，在获取待处理人脸图像后，对其进行纹理提取，将纹理作为第一神经网络的输入，将待处理人脸图像作为第二神经网络的输入；将第三神经网络的处理过程看成综合处理阶段，将第一神经网络和第二神经网络的输出结果作为输入数据进行处理，得到去模糊图像。

在本示例性实施例中，上述第一神经网络、第二神经网络以及第三神经网络可以是独立的三个神经网络模型，其也可以是一个神经网络模型中的子模型。

在一示例性实施例中，上述第一神经网络、第二神经网络、第三神经网络中的至少一个为去模糊网络中的子网络。

其中，去模糊网络即本示例性实施例中用于得到去模糊图像的网络模型，其可以包括第一神经网络、第二神经网络或第三神经网络一个或多个，换而言之，本示例性实施例可以在去模糊网络中构建至少一个子网络，例如构建3个子网络，分别为第一神经网络、第二神经网络、第三神经网络；或者构建2个子网络，分别为第一神经网络和第二神经网络组成的子网络，以及第三神经网络等等，本公开对此不做具体限定。

在一示例性实施例中，上述待处理人脸图像的纹理可以包括待处理人脸纹理图像，以图8所示的待处理人脸图像为例，可以确定对应的纹理图像，如图11所示。第一中间特征可以包括去模糊纹理中间图像，第二中间特征可以包括去模糊人脸中间图像；如图12所示，上述步骤S1110包括：

步骤S1210，利用第一神经网络对待处理人脸纹理图像进行第一去模糊处理，得到去模糊纹理中间图像；

上述步骤S1120，包括：

步骤S1220，利用第二神经网络对待处理人脸图像进行第二去模糊处理，得到去模糊人脸中间图像。

通常情况下，模糊的人脸往往较为平滑，对应的纹理图像中纹理特征也比较不明显，因此，本示例性实施例，可以通过第一神经网络先对待处理人脸图像的纹理图像进行恢复，对其纹理细节进行增强，得到去模糊后的纹理中间图像。

另外，通过第二神经网络对待处理人脸图像本身进行修复处理，例如，可以对待处理人脸图像的原始三通道的人脸区域进行去模糊修复，其中原始三通道可以根据图像编码方式确定，例如可以是RGB(红绿蓝)或YVU(明度及色度)等，以得到去模糊人脸中间图像。通常，在对待处理人脸图像进行修复后，虽然可以达到去模糊的效果，但是处理后的人脸图像中人脸区域的皮肤纹理，如眼睛、眉毛、嘴唇等却很难恢复，可能会呈现出过度美颜的效果。

因此，为了能够得到纹理及去模糊效果俱佳的人脸图像，本示例性实施例进一步，可以将去模糊人脸中间图像与去模糊纹理中间图像相结合，例如进行拼接处理后，输入第三神经网络中进行处理，以去模糊纹理中间图像来引导并加强第三神经网络对增强人脸纹理细节的关注，使其能够得到清晰且有质感的去模糊的人脸图像。

本示例性实施例中，上述去模糊网络的网络结构可以根据任务需求进行设置，例如其可以采用U-net网络结构，也可以采用GAN(Generative adversarial nets，生成式对抗网络)网络结构等，本公开对此不做具体限定。图13示出了本示例性实施例中一种U-net(U型网络)网络结构的去模糊网络的示意图，第一神经网络以待处理人脸图像纹理图像1311作为输入进行处理，输出去模糊纹理中间图像；第二神经网络以待处理人脸图像1321作为输入进行处理，输出去模糊人脸中间图像；第三神经网络以去模糊纹理中间图像与去模糊人脸中间图像作为输入，输出最终的去模糊图像1331。

以第一神经网络1310的处理过程进行举例说明，第一神经网络可以包括第一像素重排层、至少一个卷积层、至少一个转置卷积层、第二像素重排层。第一神经网络在获取纹理图像后，可以先利用第一像素重排层1312对纹理图像进行由单通道到多通道的像素重排处理，得到第一特征图像；然后经由多个卷积层1313对第一特征图像进行卷积处理，即下采样处理，以实现信息抽象，降低参数复杂度，得到第二特征图像；进一步，利用多个转置卷积层1314对第二特征图像进行转置卷积处理，即通过转置卷积层对第二特征图像进行上采样，可视为卷积的相反过程，由此恢复图像的尺寸，得到第二特征图像；最后，利用第二像素重排层1315对第三特征图像进行由多通道到单通道的像素重排处理，得到去模糊纹理中间图像，其中，第一像素重排层可以采用TensorFlow(一种机器学习的实现框架)中的space_to_depth函数实现，第二像素重排层可以采用TensorFlow中的depth_to_space函数实现。卷积层与转置卷积层可以为完全对称的结构，卷积层与转置卷积层的数量、卷积核尺寸、卷积层的具体结构等在此不做具体限定。第二神经网络1320与第三神经网络1330的处理过程与其类似，在此不做赘述。

在一示例性实施例中，如图14所示，上述人脸图像去模糊方法还可以包括以下步骤：

步骤S1410，获取清晰人脸样本图像；

步骤S1420，对清晰人脸样本图像进行模糊处理，得到模糊人脸样本图像；

步骤S1430，对清晰人脸样本图像提取纹理，得到清晰人脸样本纹理图像；

步骤S1440，对模糊人脸样本图像提取纹理或者对清晰人脸样本纹理图像进行模糊处理，得到模糊人脸样本纹理图像；

步骤S1450，以模糊人脸样本纹理图像为第一神经网络的输入，所述模糊人脸样本图像为第二神经网络的输入，第一神经网络的输出与第二神经网络的输出为第三神经网络的输入，以清晰人脸样本纹理图像为标签，训练第一神经网络，以清晰人脸样本图像为标签，训练第二神经网络和/或第三神经网络。

考虑到第一神经网络和第二神经网络的输入数据其本质都是人脸样本图像，且清晰的人脸图像，相比于模糊的人脸图像以及纹理图像等更易获取。因此，可以先通过多种方式获取清晰人脸样本图像，例如从不同的数据源中直接获取清晰的人脸图像，或者拍摄或采集大量清晰的人脸图像等。再对清晰人脸样本图像进行模糊处理，例如对清晰人脸样本图像中的像素点进行重置；或者通过设置模糊核，与清晰人脸样本图像进行计算等方式，得到模糊人脸样本图像。然后，分别从清晰人脸样本图像以及模糊人脸样本图像中提取纹理，得到清晰人脸样本纹理图像和模糊人脸样本纹理图像，从而完成了训练去模糊网络所需的训练数据及标签数据。最后，以模糊人脸样本纹理图像为第一神经网络的输入，模糊人脸样本图像为第二神经网络的输入，第一神经网络的输出与第二神经网络的输出为第三神经网络的输入，以清晰人脸样本纹理图像为标签，训练第一神经网络，以清晰人脸样本图像为标签，训练第二神经网络、第三神经网络、或者第二神经网络和第三神经网络。训练过程可以包括：第一神经网络以模糊人脸样本纹理图像为输入，输出处理结果，通过调整第一神经网络的参数，使输出的结果越来越接近清晰人脸样本图像的标签，直到模型的准确率达到一定的标准，或者计算收敛，可以认为训练完成。第二神经网络与第三神经网络的训练过程与其类似，在此不做具体赘述。需要说明的是，第一神经网络、第二神经网络以及第三神经网络的训练过程可以同时进行，也可以分开进行，例如，第二神经网络与第三神经网络可以共用相同的标签，同时进行训练过程等，本公开对此不做具体限定。

本示例性实施例可以通过对清晰人脸样本图像的不同处理，获取用于第一神经网络、第二神经网络以及第三神经网络的全部训练数据及标签，较大程度降低了获取训练数据的难度，提高了网络训练的效率，且模糊人脸样本图像和模糊人脸样本纹理图像均通过人脸样本图像得到，也保证了训练数据的一致性，有利于提高网络训练的准确性。

在一示例性实施例中，如图15所示，步骤S1450包括：

步骤S1510，以模糊人脸样本纹理图像为第一神经网络的输入，清晰人脸样本纹理图像为对应的标签，根据第一神经网络的输出与清晰人脸样本纹理图像的差别确定第一损失函数；

步骤S1520，以模糊人脸样本图像为第二神经网络的输入，清晰人脸样本图像为对应的标签，根据第二神经网络的输出与清晰人脸样本图像的差别确定第二损失函数；

步骤S1530，以第一神经网络的输出与第二神经网络的输出为第三神经网络的输入，清晰人脸样本图像为对应的标签，根据第三神经网络的输出与清晰人脸样本图像的差别确定第三损失函数；

步骤S1540，根据第一损失函数更新第一神经网络，根据第二损失函数更新第二神经网络，根据第三损失函数更新第三神经网络的参数。

图16示出了本示例性实施例中一种去模糊网络训练的网络结构示意图，对于第一神经网络1610的训练可以包括，以模糊人脸样本纹理图像1611为输入，将第一神经网络输出的纹理图像和清晰人脸样本纹理图像1612进行比较，确定第一损失函数1613，基于第一损失函数反向传播更新第一神经网络的权重参数。对于第二神经网络1620的训练可以包括，以模糊人脸样本图像1621为输入，将第二神经网络输出的人脸图像和清晰人脸样本图像1622进行比较，确定第二损失函数1623，基于第二损失函数反向传播更新第二神经网络的权重参数。对于第三神经网络1630的训练可以包括，以第一神经网络的输出与第二神经网络的输出为输入，将第三神经网络输出的人脸图像1631与清晰人脸样本图像1622进行比较，确定第三损失函数1632，基于第三损失函数反向传播更新第二神经网络的权重参数。其中，可以看到第二神经网络与第三神经网络可以共用相同的标签清晰人脸样本图像1622进行训练。

在本示例性实施例中，损失函数可以采用多种计算方式，例如可以采用L1损失函数，即最小绝对值偏差，或者L2损失函数，即最小平方误差等等，本公开对此不做具体限定。

本公开的示例性实施方式还提供一种人脸图像去模糊装置。如图17所示，该人脸图像去模糊装置1700可以包括：图像获取模块1710，用于获取待处理人脸图像；第一处理模块1720，用于对待处理人脸图像的纹理进行第一处理，得到第一中间特征，第一处理为对待处理人脸图像的纹理进行初步去模糊的处理；第二处理模块1730，用于对待处理人脸图像进行第二处理，得到第二中间特征，第二处理为对待处理人脸图像进行初步去模糊的处理；第三处理模块1740，用于对第一中间特征与第二中间特征进行第三处理，得到待处理人脸图像对应的去模糊图像。

在一示例性实施例中，第一处理模块包括：第一特征获得单元，用于利用第一神经网络对待处理人脸图像的纹理进行处理，得到第一中间特征；第二处理模块包括：第二特征获得单元，用于利用第二神经网络对待处理人脸图像进行处理，得到第二中间特征；第三处理模块包括：第三特征获得单元，用于利用第三神经网络对第一中间特征与第二中间特征进行处理，得到去模糊图像；其中，所述第一神经网络的输出与第二神经网络的输出为第三神经网络的输入。

在一示例性实施例中，上述第一神经网络、第二神经网络、第三神经网络中的至少一个为去模糊网络中的子网络。

在一示例性实施例中，待处理人脸图像的纹理包括待处理人脸纹理图像；第一中间特征包括去模糊纹理中间图像，第二中间特征包括去模糊人脸中间图像；第一特征获得单元包括：第一去模糊处理子单元，用于利用第一神经网络对待处理人脸纹理图像进行第一去模糊处理，得到去模糊纹理中间图像；第二特征获得单元包括：第二去模糊处理子单元，用于利用第二神经网络对待处理人脸图像进行第二去模糊处理，得到去模糊人脸中间图像。

在一示例性实施例中，上述人脸图像去模糊装置还包括：样本图像获取模块，用于获取清晰人脸样本图像；样本图像模糊处理模块，用于对清晰人脸样本图像进行模糊处理，得到模糊人脸样本图像；纹理图像获取模块，用于对清晰人脸样本图像提取纹理，得到清晰人脸样本纹理图像；纹理图像模糊处理模块，用于对模糊人脸样本图像提取纹理或者对清晰人脸样本纹理图像进行模糊处理，得到模糊人脸样本纹理图像；网络训练模块，用于以模糊人脸样本纹理图像为第一神经网络的输入，模糊人脸样本图像为第二神经网络的输入，第一神经网络的输出与第二神经网络的输出为第三神经网络的输入，以清晰人脸样本纹理图像为标签，训练第一神经网络，以清晰人脸样本图像为标签，训练第二神经网络和/或第三神经网络。

在一示例性实施例中，网络训练模块包括：第一损失函数确定单元，用于以模糊人脸样本纹理图像为第一神经网络的输入，清晰人脸样本纹理图像为对应的标签，根据第一神经网络的输出与清晰人脸样本纹理图像的差别确定第一损失函数；第二损失函数确定单元，用于以模糊人脸样本图像为第二神经网络的输入，清晰人脸样本图像为对应的标签，根据第二神经网络的输出与清晰人脸样本图像的差别确定第二损失函数；第三损失函数确定单元，用于以第一神经网络的输出与第二神经网络的输出为第三神经网络的输入，清晰人脸样本图像为对应的标签，根据第三神经网络的输出与清晰人脸样本图像的差别确定第三损失函数；网络参数更新单元，用于根据第一损失函数更新第一神经网络，根据第二损失函数更新第二神经网络，根据第三损失函数更新第三神经网络的参数。

在一示例性实施例中，上述图像获取模块包括：关键点检测单元，用于在原始图像中检测人脸关键点；脸部区域确定单元，用于根据人脸关键点中的眉毛上沿关键点与脸部外沿关键点，确定脸部区域；人脸图像获得单元，用于从原始图像中提取脸部区域的图像，得到待处理人脸图像。

上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，因而不再赘述。

本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为程序产品的形式，包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3、图4、图9、图10、图12、图14或图15中任意一个或多个步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。