一种基于解纠缠网络的服装图像生成系统和方法

摘要

本发明涉及计算机视觉领域，特别是一种基于解纠缠网络的服装图像生成系统和方法，该方法包括：步骤S101，获取多张带有类别标签的服装图像；步骤S102，获取服装图像的颜色标签、并与类别标签进行级联；步骤S103，训练解纠缠神经网络，初始化解纠缠网络的生成器和判别器网络参数；步骤S104，判别真实图像和解纠缠生成器生成的服装图像；步骤S105，根据所属判定值和输出图像，对解纠缠网络参数进行调整优化。本发明将人工智能技术和传统服装行业结合，克服了传统服装行业中设计单一、用户满意度不够、设计成本昂贵等问题，提高了服装设计效率，所设计的服装充分满足用户的设计需求。

说明书

技术领域

本发明涉及计算机视觉领域，特别是一种基于解纠缠网络的服装图像生成系统和方法。

背景技术

计算机视觉技术在图像生成、转换、修复等领域有非常多的具体应用，条件式对抗生成网络能够根据输入标签生成与真实图像无法区分的服装图像，从而为服装设计师和消费者提供灵感；服装图像生成的关键是多样化的样式设计，这要求网络能够很好的解开服装图像特征之间的纠缠，例如服装颜色特征和形状特征；同时，用户可以选择需要生成的服装类型或者颜色风格，可以在一定程度上解决服装定制化设计问题，实现以用户为中心的服装智能设计，根据用户要求给予设计灵感，所有生成的服装图像都是根据真实图像分布从无到有生成的，条件式地随机生成既能保证生成服装图像的多样性，又能依据用户要求，实现服装的定制化生成，同时也能为服装设计师提供设计灵感，有助于服装行业与人工智能技术的结合，促进服装行业的发展。

当然，使用人工智能技术来设计服装图像也存在着许多难点。难点主要表现在：

1)生成对抗网络本身的训练难度较大，难收敛；

2)生成图像的随机性；

3)服装图像特征较多、纹理和图案较复杂，很容易造成特征交叉，图像模糊；

4)高分辨率、高清晰度的图像生成效果不佳。

发明内容

为了解决上述现有技术的不足，本发明提供一种基于解纠缠网络的服装图像生成方法，根据用户条件生成多种样式的服装图像，为消费者和设计师提供服装设计灵感，其具体技术方案如下：

一种基于解纠缠神经网络的服装图像生成方法，包括以下步骤：

S101、获取多张带有类别标签的服装图像；

S102、获取服装图像的颜色标签，并与服装类别标签进行级联；

S103、训练解纠缠神经网络，初始化所述解纠缠神经网络的解纠缠生成器参数和判别器网络参数；

S104、将所述级联后的标签输入所述解纠缠神经网络，判别真实图像和解纠缠生成器生成的服装图像；

S105、根据判定值和输出服装图像，对解纠缠网络参数进行调整优化。

进一步的，所述服装图像的类别标签和颜色标签均采用独热编码的方法获得，其中，服装图像颜色的分类采用OpenCV工具将服装图像的RGB模型转化为HSV模型。

进一步的，所述步骤S103具体包括：

S103_1，训练解纠缠神经网络，所述解纠缠神经网络为条件式对抗网络，包括解纠缠生成器G和多级判别器D，解纠缠生成器提取出服装图像的样式特征后生成图片，多级判别器对真实图片与生成图片进行判别，解纠缠神经网络的输入是服装图像的类别标签l

训练时的总体目标函数为：

其中的，

S103_2，对解纠缠生成器和多级判别器的所有网络层都进行谱归一化，所有网络层的权重初始化都服从高斯分布，均值为0，方差为1。

进一步的，所述多级判别器由局部判别器和全局判别器组成，局部判别器和全局判别器分别在两个不同的尺度上对真实图片和生成图片进行下采样区分，最终采样的结果进行组合，得到多级判别器的判别结果。

进一步的，所述多级判别器的生成图像中间特征输出与真实图像中间特征输出相匹配，特征匹配损失函数为：

其中T并表示总的网络层数，N

进一步的，所述解纠缠生成器由映射网络ω和渐进式生成网络G

进一步的，所述映射网络将输入信号映射成潜在空间变量ω，接着映射转换将潜在空间变量转换成样式变量y＝(y

进一步的，所述步骤S104具体为：真实图像及其类别标签和色彩风格标签被送入到多级判别器中进行判定真假，多级判别器训练开始时将真实图片和匹配的标签判断为真，对解纠缠生成器生成的服装图像判断为假。

进一步的，所述步骤S105具体为：在每一轮训练中，根据判定值和目标函数对参数进行优化，具体通过VGG网络来提取生成图像的特征，在训练过程中增加感知损失函数：

其中，λ

一种基于解纠缠神经网络的服装图像生成系统，包括：

用户注册模块：确认用户的身份信息，记录用户喜好的服装类型和色彩风格；

输入转换模块：接受用户输入的服装设计需求，并将其转换成对应模型的输入；

服装图像设计生成模块：将转换后的用户服装设计需求送入到训练好的模型中，解纠缠生成网络接收噪声信号和条件输入，输出对应的服装图像；

展示模块：系统将解纠缠网络输出的服装图像显式给用户，用户可以挑选出自己喜欢、满意的图像。

本发明采用了条件式解纠缠生成网络，能很好的保留服装的纹理、图案等元素，又能根据用户需求实现定制化设计，提升用户体验具有随机性和指定性；采用生成对抗网络，共同促进，能够不断提升生成图像的质量和效果；在算法训练好以后，系统能够高效、海量的产生定制化的服装图像，根据用户条件进行服装设计，本发明能够很好的生成用户需求的服装类型和颜色风格。

附图说明

图1是本发明的方法流程示意框图；

图2是本发明的系统结构的流程示意框图；

图3是本发明的方法训练时所用的服装图像样例示意图；

图4是本发明的方法训练时所用的解纠缠网络整体结构示意图；

图5是本发明的方法训练时所用的解纠缠网络中多级判别器网络示意图；

图6是本发明系统实际生成的效果图。

具体实施方式

为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图，对本发明作进一步详细说明。

一种基于解纠缠网络的服装图像生成系统和方法，主要是为了辅助服装设计师，为消费者提供服装图像设计，该方法为：

系统预先接收用户的服装生成要求，将该要求转换成标签向量L，并将其送入预先训练好的神经网络中，系统根据用户输入条件生成服装图像并显示。

其中，所述神经网络为条件式生成对抗网络，主要包含两部分：1)解纠缠服装图像解纠缠生成器，生成模型捕捉原始数据集的图像分布，根据输入的条件生成与原始数据集不断接近的服装图像；2)多级判别器，对输入进行判断真假，对于带有特定类别属性的真实服装图像判断为真，对于生成模型生成的服装图像判断为假；生成模型根据判别的结果不断改进模型参数，最终生成图像质量和类别属性都符合用户要求的服装图像。

更具体的，如图1所示，一种基于解纠缠网络的服装图像生成方法，包括以下步骤：

S101、获取多张带有类别标签的服装图像。

所述服装图像是背景为白色，大小为512×512的各类服装图像，服装类别可以是西装、衬衣、连衣裙、毛衣等。每张服装有特定的服装类型，采用独热编码的方法，例如1表示该服装为毛衣，4表示该服装为西装，为每一个类型分别设置一个特定的编码，转换成标签向量，特定位置为1，其余位置均为0，将该编码作为条件生成网络的输入。

S102、获取服装图像的颜色标签，并与服装类别标签进行级联。

服装的主要色彩风格，包括：白色、黑色、绿色等，为每件服装打上颜色标签，具体为：每一张服装图像的主要颜色标签可由OpenCV工具获得，将每一张服装图像颜色独立编码，例如红色编码为1，绿色编码为5，再通过独热编码的方法，将其转为对应的颜色标签；之后将其与每一张服装图像的类别标签级联，作为条件式对抗生成网络的条件，控制生成结果。

其中，所述OpenCV工具将服装图像的RGB模型转化为HSV模型，在HSV模型中，H∈[0,180),S∈[0,255],V∈[0,255],分别表示图像的色调、饱和度、亮度。

S103、训练解纠缠神经网络，初始化所述解纠缠神经网络的解纠缠生成器参数和判别器网络参数。

系统预先训练好的解纠缠神经网络需要的训练数据是原始服装图像，并为每一张原始服装图像进行预处理和分类编码；

在训练阶段，通过由解纠缠生成器和多级判别器组成的解纠缠神经网络，对服装数据集进行训练，解纠缠神经网络的输入是服装图像的类别标签l

训练时的总体目标函数为：

其中的，

为了提升GAN损失函数的效果，所述多级判别器采用了中间特征匹配过程，能够输出中间特征，多级判别器的生成图像中间特征输出需要与真实图像中间特征输出相匹配，特征匹配损失函数为：

其中T并表示总的网络层数，N

所述解纠缠生成器能够提取出服装图像的类别特征和样式特征，解开服装花纹、图案进行的特征纠缠，主要由映射网络ω和渐进式生成网络G

随机噪声z和标签编码L作为映射网络ω的输入，中间潜码和自适应的随机噪声作为渐进式生成网络G

所述映射网络ω是由6层全连接网络层组成，输入和输出的大小为512×512，映射网络ω的输入是常量和标签独热编码，将其输入映射到中间潜空间，接着将映射变量通过带有自适应实例归一化模块的卷积模块，每一个卷积模块都可以看作是上采样模块，所述的渐进式生成网络由所述上采样模块组成，采用线性插值法进行上采样，放大的倍数为2；卷积层的卷积核大小为3×3，随着网络堆叠通道数不断减小，卷积层之后是ReLU非线性变换层、批归一化层，在每一层最后添加高斯噪声以增加生成图像的随机性，输入是中间潜特征和随机高斯噪声，所述随机高斯噪声服从高斯分布，其均值为0，方差为1；最后通过一个卷积核为1的卷积层将输出转换为RGB数据，即最终的输出图像。

所述卷积模块内含有自适应实例归一化模块，使用映射网络输出的特征样式y＝(y

多级判别器是带有局部判别器和全局判别器的下采样网络，对于本发明中图像大小为512×512的图像，局部判别器对256×256大小的特征进行下采样，全局判别器对整张图像进行下采样，最终采样的结果进行组合，得到多级判别器的判别结果。为了保证GAN网络在训练时的稳定性，对解纠缠生成器和多级判别器的所有网络层都进行谱归一化，所有网络层的权重初始化都服从高斯分布，均值为0，方差为1。

S104、将真实图像和解纠缠生成器生成服装图像输入判别器中判定。

解纠缠生成器的主要目标是生成与真实图像“难以区分”的假图像，判别器的目标是将真实的图像判断为真，将假图像判断为假。

具体地，真实图像及其类别标签和色彩风格标签被送入到多级判别器中进行判定真假，多级判别器训练开始时将真实图片和匹配的标签判断为真，即“1”，对解纠缠生成器生成的服装图像判断为假，即“0”，解纠缠生成器不断提升生成服装图像的质量以期望“骗”过判别器，而判别器也不断提升判别水平，以准确区分真假图像，二者相互对抗，最终解纠缠生成器生成的图像能够以假乱真。

S105、根据所属判定值、所述输出图像，对解纠缠网络参数进行调整优化。解纠缠生成器和多级判别器交替迭代，训练时的全局目标函数表示为：

在每一轮训练中，根据判定值和目标函数对参数进行优化，为了提升图像生成的质量，使用一个VGG网络来提取生成图像的特征，在训练过程中增加了感知损失函数：

F

为了加速训练过程，所述的总体目标函数在优化时，每更新5次解纠缠生成器参数θ

如图2所示，使用所述基于解纠缠网络的服装图像生成方法的系统，包括：

用户注册模块：确认用户的身份信息，记录用户喜好的服装类型和色彩风格；

输入转换模块：接受用户输入的服装设计需求，并将其转换成对应模型的输入；

服装图像设计生成模块：将转换后的用户服装设计需求送入到训练好的模型中，解纠缠生成网络接收噪声信号和条件输入，输出对应的服装图像；

展示模块：系统将解纠缠网络输出的服装图像显式给用户，用户可以挑选出自己喜欢、满意的图像。

通过对不同数据集的图像进行处理，得到了验证本申请实施例提供方案的实验结果，下面将对数据集和实验结果进行介绍：

本发明使用的数据集为Apparel Classification with Style(ACWS)文章中提供的数据集，该数据集包含超过80000张图片，15种服装类型，本发明将该数据集的图片通过缩放、拉伸、双线性插值等方法统一到大小为512×512，每类服装的标签和服装图像被同时送入到多级判别器中进行判定，在迭代训练20000轮后，对实验结果进行了测试，如图6所示，训练好的模型组成服装图像生成系统的算法模块，用户输入不同类型的服装类型标签和色彩风格标签，系统可以生成用户指定的服装图像。

为了证明本发明在特征解开纠缠的效果，本发明还进行了消融实验来证明：解纠缠生成器和多级判别器对提升服装图像生成效果具有非常大的效果，感知得分(InceptionScore,IS)是一种常用于生成模型的客观评价指标，其得分越高说明生成模型的效果越好，利用感知得分来为本发明的结果进行评价，评价的结果如下表所示：

可以看出本发明所采用的方法IS值最高，即本发明所提出的方法实施效果最好。但对于生成模型来说，仅仅使用IS值来评价是不够的，为了说明本方法在生成图像感知效果的评价效果，还对测试效果的图像感知相似度指标(LPIPS)进行了测试，其值越低，表明感知效果越好，评价的结果如下表所示：

从中可以看出本发明所采用的方法LPIPS值最低，表明最接近真实图像的感知程度，上述两种定量评价的指标很好地说明了本申请所采用的方法实施效果最好。

本发明提供的方案，可以应用在电子商务、应用软件、服装设计行业等多种领域中。需要说明的是，上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。