一种基于U-GAT-IT改进的秦腔角色卡通化风格迁移的方法

摘要

本发明公开一种基于U‑GAT‑IT改进的秦腔角色卡通化风格迁移的方法，首先制作了独有的秦腔角色卡通数据集，并对搜集到的人脸图片进行修改尺寸大小等预处理操作，其次在U‑GAT‑IT网络的基础上，在编码器之前和解码器之后均增加了两个堆叠的up‑down采样卷积模块，逐步提升模型的特征抽象和重建能力。另外，在U‑GAT‑IT网络中加入face loss损失函数，约束新生成的秦腔角色卡通图，让秦腔角色卡通图的身份信息与输入的人脸信息尽可能保持一致。最后通过pytorch构建网络模型，将处理好的人脸图像传入到该网络中，得到具有秦腔角色特征的卡通图。其解决了卡通图像在风格迁移时易丢失原图像的身份信息的问题，改进了U‑GAT‑IT需要大量数据集的缺陷，并且能更准确的勾勒出卡通图的细节信息。

说明书

技术领域

本发明属于计算机图形学处理技术领域，具体涉及一种基于U-GAT-IT改进的秦腔角色卡通化风格迁移的方法。

背景技术

秦腔是相当古老的剧种，堪称中国戏曲的鼻祖。秦腔的角色行当基本上继承了元杂剧与明代传奇“江湖十二角色”的规模体制。从总的看来，主要是生、旦、净、丑四大行。随着现代经济高速发展，国民大众的娱乐方式发生了变化。秦腔原始的娱乐性功能被削弱，受众群体老龄化，面临着生存和发展的危机。将秦腔人脸图像在U-GAT-IT的基础上通过人像卡通风格迁移转换为卡通风格的图像，借助计算机将秦腔艺术这种非物质文化遗产焕活生机，实现秦腔艺术的文化创新，以更加现代化的方式让人们重拾对传统戏剧的兴趣。

其中，U-GAT-IT是指具有自适应层实例归一化的无监督生成注意网络，用于图像到图像的翻译。

人像卡通风格迁移是指在维持原始图像身份信息不变，保留尽可能多的纹理细节同时将真实的人脸图像转换为卡通风格非真实感的图像。卡通图像是简化处理后的线条，该线条纹理清晰，色块平滑，但采用该技术进行人像卡通化处理过程中，易存在以下技术问题，如丢失人脸的身份信息和图像细节、卡通图像数据的获取难度大以及卡通图像的制作成本高等问题。

发明内容

为克服现有技术的不足，本发明目的在于提供一种基于U-GAT-IT改进的秦腔角色卡通化风格迁移的方法，其解决了卡通图像在风格迁移时易丢失原图像身份信息的问题，改进了U-GAT-IT需要大量数据集的缺陷，并且能更准确的勾勒出卡通图的细节信息。

为实现上述目的，本发明采用的技术方案是：

一种基于U-GAT-IT改进的秦腔角色卡通化风格迁移的方法，包括以下步骤；

步骤1：获取秦腔角色卡通数据集和人脸图片集；

步骤2：使用pytorch构建原始的U-GAT-IT网络框架，U-GAT-IT网络框架包括生成器Generator和鉴别器Discriminator，在U-GAT-IT网络框架中输入步骤1中获取的一张人脸图像作为源域图像x～X

步骤3：将步骤2中得到的源域图像和目标域图像通过两个堆叠的up-down采样卷积模块，在保证语义信息位置不变的情况下提取源域图像和目标域图像的特征，后经过生成器Generator中的编码器E

步骤4：将步骤3中所得特征图通过生成器Generator中一个二分类的辅助分类器η

步骤5：将步骤4中所得每个特征图的权重信息均与编码后的特征图相乘即得到有注意力的特征图；

步骤6：将步骤5中得到的注意力特征图通过1*1的卷积和激活函数层得到类激活图

其中，a表示每个类激活图，w表示每个特征图的权重信息，E表示编码后的特征图；

步骤7：将步骤6中得到的类激活图

步骤8：将步骤7中得到的gamma和beta通过自适应残差块Adaptive ResidualBlocks进一步生成图像；

步骤9：将步骤8中所得图像通过新增加的两个堆叠up-down采样卷积模块，从嵌入特征中进一步生成目标域图像；

步骤10：将步骤9中得到的目标域图像通过鉴别器Discriminator中的CAM类激活图判断图像的真伪；

步骤11：将步骤10中判断出的结果通过U-GAT-IT网络框架中的GAN Loss，CycleLoss，Identity Loss，CAM Loss以及Face Loss损失函数计算得到秦腔角色特征的卡通图像。

进一步地，步骤7中所述AdaLIN中的Instance Normalization和LayerNormalization的归一化公式分别为：

其中，μ

所述AdaLIN中的Instance Normalization和Layer Normalization的归一化加权求和公式为：

其中，λ为具有注意力的特征图，γ为缩放因子，β为偏移量；θ是一个学习权重，通过反向传播进行更新。

进一步地，所述θ区间裁剪公式为：

θ←clip[0,1](θ-τΔθ)

其中，τ为学习率。

进一步地，步骤5和步骤9中所述的两个堆叠up-down采样卷积模块包括四对首尾相互对应的下采样块和上采样快，目的是在进入主网络之前，先提取图片中人脸的表面特征，将输入的图像抽象成易于编码的形式，特征提取的同时保证语义信息位置的不变。

进一步地，步骤11中所述的损失函数Face Loss的函数公式为：

其中，P

进一步地，步骤1中所述的秦腔角色卡通数据集为花旦卡通数据集，人脸图片集为女性人脸图片集。

与现有技术相比，本发明的有益效果是：

本发明基于U-GAT-IT改进的秦腔角色卡通化风格迁移的方法，首先获取秦腔角色卡通数据集和人脸图片集，其次在U-GAT-IT网络的基础上，在编码器之前和解码器之后均增加了两个堆叠的up-down采样卷积模块，为了逐步提升模型的特征抽象和重建能力。另外，在U-GAT-IT网络中加入face loss损失函数，约束新生成的秦腔角色卡通图，让秦腔角色卡通图的身份信息与输入的人脸信息尽可能保持一致。最后通过pytorch构建网络模型，将处理好的人脸图像传入到该网络中，得到具有秦腔角色特征的卡通图。其解决了卡通图像在风格迁移时易丢失原图像身份信息的问题，改进了U-GAT-IT需要大量数据集的缺陷，并且能更准确的勾勒出卡通图的细节信息。

附图说明

图1(a)是本发明搜集的人脸图片；

图1(b)是本发明制作的秦腔花旦卡通图；

图2是本发明的网络结构图；

图3是本发明的堆叠的up-down采样卷积模块的结构图；

图4是本发明生成器Generator内部的网络结构图；

图5是本发明鉴别器Discriminator内部的网络结构图；

图6是本发明的AdaLIN实例归一化的结构图；

图7是通过改进的U-GAT-IT网络进行秦腔角色卡通化风格迁移的结果图。

具体实施方式

下面结合具体实施例对本发明作进一步详细描述，但不作为对本发明的限定。

本发明提供一种基于U-GAT-IT改进的秦腔角色卡通化风格迁移的方法，具体包括以下步骤；

步骤1：通过在秦腔网站上搜集花旦图片制作秦腔花旦卡通数据集，图片大小设置为512*512mm。在网站上搜集女性人脸图片，尺寸设置为：256*256mm(参照图1)。

步骤2：使用pytorch构建原始的U-GAT-IT网络框架(参照图2)，U-GAT-IT网络框架包括生成器Generator(参照图4)和鉴别器Discriminator(参照图5)，在U-GAT-IT网络框架中输入步骤1中获取的一张人脸图像作为源域图像x～X

步骤3：将步骤2中得到的源域图像和目标域图像通过两个堆叠的up-down采样卷积模块(参照图3)，在保证语义信息位置不变的情况下提取源域图像和目标域图像的特征，后经过生成器Generator中的编码器E

步骤4：将步骤3中的的特征图通过生成器Generator中一个二分类的辅助分类器η

步骤5：将步骤4中所得每个特征图的权重信息均与编码后的特征图相乘即得到有注意力的特征图。

步骤6：将步骤5中得到的注意力特征图通过1*1的卷积和激活函数层得到类激活图

其中，a表示每个类激活图，w表示每个特征图的权重信息，E表示编码后的特征图。

步骤7：将步骤6中得到的类激活图

AdaLIN中的Instance Normalization和Layer Normalization的归一化公式分别为：

其中，μ

AdaLIN中的Instance Normalization和Layer Normalization的归一化加权求和公式为：

其中，λ为具有注意力的特征图，λ为缩放因子，β为偏移量。θ是一个学习权重，通过反向传播进行更新。

为了防止θ超出[0,1]范围，对θ进行了区间裁剪，裁剪公式为

θ←clip[0,1](θ-τΔθ)

其中，τ为学习率。

步骤8：将步骤7中得到的gamma和beta通过自适应残差块Adaptive ResidualBlocks进一步生成图像；

步骤9：将步骤8中所得图像通过新增加的两个堆叠up-down采样卷积模块，从嵌入特征中进一步生成目标域图像；

步骤10：将步骤9中得到的目标域图像通过鉴别器Discriminator中的CAM类激活图判断图像的真伪；

步骤11：将步骤10中判断出的结果通过U-GAT-IT网络框架中的GAN Loss，CycleLoss，Identity Loss，CAM Loss以及Face Loss损失函数计算得到具有秦腔花旦特征的卡通图像(参照图7)。

其中Face Loss损失函数的函数公式为：

其中，P

综上所述，本实施例在保证人脸信息与秦腔花旦卡通图的身份信息的一致性的基础上，使用较少的卡通图片数据实现人脸到秦腔花旦卡通图的风格迁移，解决了传统卡通图像数据的获取难度大以及卡通图像的制作成本高的问题，同时，解决了卡通图像在风格迁移时易丢失原图像的身份信息的问题，改进了U-GAT-IT需要大量数据集的缺陷，并且能更准确的勾勒出卡通图的细节信息。