基于自适应边缘增强的人脸解析方法、装置及存储介质

摘要

本发明公开了一种基于自适应边缘增强的人脸解析方法、装置及存储介质，其包括以下步骤：构建轻量级的深度卷积神经网络；神经网络包括编码器、自适应边缘增强模块和解码器；编码器对输入的人脸图像进行编码，获得具有分割特征的人脸特征图；自适应边缘增强模块提取人脸特征图对应的边缘特征，得到具有边缘特征的人脸分割图；解码器通过add操作将分割特征与边缘特征进行融合得到带有自适应边缘特征的分割特征，从而能够提升分割边缘的精细度；同时，采用轻量化的模型能够让人脸解析在移动端进行实时检测，从而提升用户在上妆等场景下的体验感。

说明书

技术领域

本发明涉及人脸识别技术领域，特别是一种基于自适应边缘增强的人脸解析方法及其应用该方法的装置及计算机可读存储介质。

背景技术

人脸解析(Face Parsing)是一种自动标识每个像素所属脸部区域的算法，人脸区域一般分为头发、眼睛、鼻子和嘴巴等。相较于人脸关键点检测，人脸解析能够提供像素级的分类结果，有助于精细化应用的需求，如人脸区域遮挡判定，人脸五官抠图等。人脸区域遮挡判定常用于提升虚拟上妆的真实性，因此，人脸解析算法的高效性和精细度至关重要。

随着深度学习的不断发展，人脸解析的优化算法不断涌现。Pin Luo[1] 等人提出将人脸图像分区块进行预测来提升分割准确度。Jinpeng Lin[2]等人提出一种新的人脸裁图(face warp)方式，使模型通过更多的背景信息来提升分割精度。Yifu Chen[3]等人在语义分割任务上提出基于边缘损失(edge aware loss)的方法来提升整体的分割效果，但是该方法只将边缘网络作为多任务来训练，未将分割特征结合到边缘特征中，从而极大地影响分割精度。

[1]Ping Luo,Xiaogang Wang,Xiaoou Tang,Hierarchical face parsing viadeep learning,CVPR,2012.

[2]Jinpeng Lin and Hao Yang and Dong Chen and Ming Zeng and Fang Wenand Lu Yuan,Face Parsing with RoI Tanh-Warping,arXiv,2019.

[3]Yifu Chen,Arnaud Dapogny,Matthieu Cord,SEMEDA:EnhancingSegmentation Precision with Semantic Edge Aware Loss,arXiv,2019.

发明内容

本发明的主要目的在于提供了一种基于自适应边缘增强的人脸解析方法、装置及存储介质，旨在提高人脸分割精度。

为实现上述目的，本发明提供了一种基于自适应边缘增强的人脸解析方法，其包括以下步骤：

构建轻量级的深度卷积神经网络；所述神经网络包括编码器、自适应边缘增强模块和解码器；

所述编码器对输入的人脸图像进行编码，获得具有分割特征的人脸特征图；

所述自适应边缘增强模块提取所述人脸特征图对应的边缘特征，得到具有所述边缘特征的人脸分割图；所述边缘特征包括人脸五官边界、五官遮挡物边界和不同物体类型之间的边界；

所述解码器通过add操作将所述分割特征与所述边缘特征进行融合，得到带有自适应边缘特征的分割特征。

优选的，所述编码器由一个4x4s4的卷积层和一个以上的深度可分离卷积层堆叠而成；所述4x4的卷积层用于对输入图像进行下采样处理，并连接一个批量归一化层；所述深度可分离卷积层包括一个以上的残差块；每个残差块至少包括一个3x3的卷积层和一个1x1的卷积层，所述3x3的卷积层连接一个批量归一化层和一个参数化修正线性单元层，所述1x1的卷积层连接一个批量归一化层和一个参数化修正线性单元层。

优选的，所述编码器获取的人脸特征图包括三种不同分辨率的特征图： 56x56分辨率、28x28分辨率和14x14分辨率；所述自适应边缘增强模块对所述三种不同分辨率的特征图分别进行边缘特征的提取。

并且，进一步基于自注意力机制提取所述边缘特征的局部特征，并将该局部特征与所述边缘特征进行叠加处理。

优选的，所述自适应边缘增强模块利用编码器获取的三个不同分辨率的特征图作为输入，由三个卷积堆叠进行特征提取，从而自适应得到对应分辨率的边缘特征，并将该边缘特征加回输入；所述三个卷积分别包括：第一1x1 的卷积层连接一个批量归一化层，第二1x1的卷积层并依次连接一个批量归一化层、一个Relu激励层、一个全局池化层、一个sigmoid激励层。

进一步的，所述自适应边缘增强模块进一步利用所述边缘特征预测所述人脸分割图，并由损失函数Loss_edge进行监督：

其中，y为预设的边缘标签，x为预测结果。

优选的，所述自适应边缘增强模块进一步对所述人脸分割图进行滤波处理，去除干扰性边缘信息；所述干扰性边缘信息包括皱纹、痘痕。

此外，为实现上述目的，本发明还提供一种基于自适应边缘增强的人脸解析装置，所述装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于自适应边缘增强的人脸解析程序，所述基于自适应边缘增强的人脸解析程序被所述处理器执行时实现如上文所述的基于自适应边缘增强的人脸解析方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于自适应边缘增强的人脸解析程序，所述基于自适应边缘增强的人脸解析程序被处理器执行时实现如上文所述的基于自适应边缘增强的人脸解析方法的步骤。

本发明的有益效果是：

(1)本发明通过编码器提取分割特征，并通过自适应边缘增强模块进一步在所述分割特征的基础上提取边缘特征，再通过解码器将分割特征与边缘特征进行融合，从而极大的提升分割边缘的精细度；

(2)本发明对模型结构进行精简化设计，由编码器、自适应边缘增强模块、解码器组成轻量级的深度卷积神经网络，从而能够满足实时性的要求，使其在移动端上实现实时检测；

(3)本发明的编码器由一个4x4s4的卷积层和一个以上的深度可分离卷积层堆叠而成，能够降低模型计算量和内存，保证特征质量的同时提升特征提取速度；

(4)本发明的自适应边缘增强模块不同于传统的边缘检测算法；传统的边缘检测算法对于物体本身的纹理比较敏感，对分割边缘提升比较有限，容易出现分割缺块问题；本发明是在编码器提取的分割特征的基础上，进一步提取对分割结果又帮助的特征，得到边缘特征，从而能够减少该分割缺块问题；

(5)本发明的网络将U-Net网络中的concat操作替换成为add操作，能够有效降低模型的计算量，保证模型在移动端能够达到实时需求；并采用该add操作将编码器的分割特征与自适应边缘增强模块的边缘特征结合起来，从而保证整个网络的速度和准确度；

(6)本发明将边缘检测作为附属任务进行监督训练，通过自适应边缘增强模块对编码器提取的三种不同分辨率的特征图分别进行边缘特征的提取，并通过自注意力机制的操作将该边缘特征叠加至原分割特征中，从而达到自适应增强分割特征的目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的深度卷积神经网络的框架结构示意图；

图2为本发明的一种实施例的编码分支的具体结构图；

图3为本发明的另一实施例的编码分支的具体结构图；

图4为本发明的自适应边缘增强分支的具体结构图；

图5为本发明基于自注意力机制进行局部特征的提取和叠加处理过程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的一种基于自适应边缘增强的人脸解析方法，其包括以下步骤：

构建轻量级的深度卷积神经网络；所述神经网络包括编码器(encoder 分支)、自适应边缘增强模块(edge enhance分支)和解码器(decoder分支)，最大卷积通道数为128；

所述编码器对输入的人脸图像进行编码，获得具有分割特征的人脸特征图；所述分割特征用于判定人脸哪些区域属于同一类别的特征；

所述自适应边缘增强模块提取所述人脸特征图对应的边缘特征，得到具有所述边缘特征的人脸分割图；边缘特征用于增强模型对边缘的分割精度；所述边缘特征包括人脸五官边界、五官遮挡物边界(即遮挡物边界)和不同物体类型之间的边界(能够加强网络对不同类别物体间分割边缘的精细度)；

所述解码器通过add操作将所述分割特征与所述边缘特征进行融合，得到带有自适应边缘特征的分割特征(即，输出融合特征图)，从而保证整个网络的速度和准确度。

本实施例中，所述编码器由一个4x4s4的卷积层(Conv)和一个以上的深度可分离卷积层(Depthwise Separable Convolution)堆叠而成；所述 4x4的卷积层(Conv)用于对输入图像进行下采样处理这样能保证后续网络特征图尺寸不至于过大，能有效降低计算量和内存；然后，连接一个批量归一化层(BatchNormalization)；所述深度可分离卷积层包括一个以上的残差块(ResBlock)，保证提取特征的质量；每个残差块至少包括一个3x3的卷积层和一个1x1的卷积层，所述3x3的卷积层连接一个批量归一化层(BatchNormalization)和一个参数化修正线性单元层(PRelu)，所述1x1 的卷积层连接一个批量归一化层(BatchNormalization)和一个参数化修正线性单元层(PRelu)。同时，在特征图尺寸越小的阶段，采用越多channel 的卷积核，来保证深层特征的多样性。

如图2所示，所述编码器由一个4x4s4的卷积层接一个残差块(ResBlock)示意图；如图3所示为堆叠的残差块(ResBlock)示意图。

所述编码器获取的人脸特征图包括三种不同分辨率的特征图：56x56分辨率、28x28分辨率和14x14分辨率；所述自适应边缘增强模块对所述三种不同分辨率的特征图分别进行边缘特征的提取。

并且，进一步基于自注意力机制提取所述边缘特征的局部特征，并将该局部特征与所述边缘特征进行叠加处理。如图5所示，本发明的自注意力机制是指输入通道自注意力，具体是指x通过卷积等一些操作后每个通道一个权重值，然后把该若干个权重乘上输入x的到加权边缘特征，这个加权边缘特征就是自适应边缘特征，再加上x就得到自适应边缘增强的分割特征。

如图4所示，所述自适应边缘增强模块利用编码器获取的三个不同分辨率的特征图作为输入，由三个卷积堆叠进行特征提取，从而自适应得到对应分辨率的边缘特征，并将该边缘特征加回输入；所述三个卷积分别包括：第一1x1的卷积层连接一个批量归一化层(BatchNormalization)，第二1x1 的卷积层并依次连接一个批量归一化层(BatchNormalization)、一个Relu 激励层、一个全局池化层(Global Average Pool)、一个sigmoid激励层。

所述自适应边缘增强模块进一步利用所述边缘特征预测所述人脸分割图，并由损失函数Loss_edge进行监督(各分辨率的人脸分割图分别进行训练)：

其中，y为预设的边缘标签，x为预测结果(conbine_edge_prediction，如图4所示)。

所述自适应边缘增强模块进一步对所述人脸分割图进行滤波处理，去除干扰性边缘信息；所述干扰性边缘信息包括皱纹、痘痕等等；所示滤波处理可使用均值滤波或高斯滤波，并根据不同的分辨率设置对应的滤波窗口：所示人脸分割图的分辨率越大，滤波窗口越大，滤波越强；反之，所示人脸分割图的分辨率越小，滤波窗口越小，滤波越弱。

另外，本发明还提供一种自适应边缘增强的人脸解析装置，所述装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于自适应边缘增强的人脸解析程序，所述基于自适应边缘增强的人脸解析程序被所述处理器执行时实现如上文所述的基于自适应边缘增强的人脸解析方法的步骤，详细可以参见上述实施例中的相关记载，此处不再赘述。

所述装置包括：手机、数码相机或平板电脑等具有拍照功能的终移动端，或者具有人脸采集、人脸解析功能的装置，或者具有图像显示功能的装置。所述装置可包括存储器、处理器、输入单元、显示单元、电源等部件。

其中，存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(例如图像播放功能等)等；存储数据区可存储根据装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器和输入单元对存储器的访问。

输入单元可用于接收输入的数字或字符或图像信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，本实施例的输入单元除了包括摄像头，还可包括触敏表面(例如触摸显示屏)以及其他输入装置。

显示单元可用于显示由用户输入的信息或提供给用户的信息以及装置的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元可包括显示面板，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器以确定触摸事件的类型，随后处理器根据触摸事件的类型在显示面板上提供相应的视觉输出。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入装置中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现所述的基于自适应边缘增强的人脸解析方法。所述计算机可读存储介质可以是只读存储器，磁盘或光盘等。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例及存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。