具有设计师风格的服装图像智能生成系统

摘要

本发明公开了一种具有设计师风格的服装图像智能生成系统，包括灵感图片区域单元、画板区域单元、参考图片区域单元和展示板区域单元；所述灵感图片区域单元用于设计师浏览服装图片，并对选择其中的图片生成设计师风格的草图；所述画板区域单元用于显示生成的设计师风格的草图，并供设计师对设计师风格的草图进行调整；所述参考图片区域用于对设计师浏览不同服装风格的图片，并选则某个服装风格的图片作为参考图片。本发明能根据设计师指定的服装图片，生成与设计师风格一致的服装草图，同时也能根据设计师指定的服装风格对生成的草图进行风格迁移，生成真实的，具有特定风格的服装图片。

说明书

技术领域

本发明涉及服装设计，尤其涉及一种具有设计师风格的服装图像智能生成系统。

背景技术

随着数字信息技术的发展和大数据时代的到来，数据的分析和利用在各个行业中发挥着越来越重要的作用。在创意设计领域，过去几年出现了越来越多的数据驱动的设计支持工具。其中一些工具已经集成到专业的设计软件或平台中。

具体到时装设计领域，素描是设计过程中的基本阶段。而数字辅助被认为是促进传统手绘草图发展的关键技术。自动生成手绘草图的研究已得到更多的研究者的关注和跟随。

在服装设计中，设计师需要根据一个设计主题来设计服装。在设计服装的过程中，设计师通常需要浏览和搜索大量与特定主题相关的服装图片来寻找能启发设计灵感的服装素材。然后设计师需要根据他们自己的设计灵感来安排设计素材，包括草图，颜色，纹理和细节。尽管一些技术能从服装图片自动生成服装草图，但是它们主要聚焦于抽取图片的物体轮廓，虽然服装草图通常包括丰富的线条变化，并可以通过线条的粗细，线条的虚实改变来展示服装的立体感和服装的纹理风格。例如，在服装草图中，服装的外部轮廓通常由粗实线表示，服装内部的褶皱和缝合线通常用细实线表示。但是服装设计的过程不仅仅是画草图。设计师需要根据草图的绘制风格选择合适的颜色，来丰富服装的样式和风格。例如，当设计师创作一套服装设计时，他会考虑怎么为苗条体态的服装搭配颜色，以使得服装模特看起来更加突出。

因此现有的技术存在如下问题：

1.在之前的研究中，数据驱动的设计创意支持工具通常是面向专业设计师，而没有考虑半专业设计师的设计需求。这与创意设计工具在数据采集阶段没有考虑多样化的输入数据特征有关。

2.大部分现存的工作不能生成具有设计师风格的个性化草图，只能生成与草图相似的物体轮廓。同时，现存的方法需要大量的设计师手稿来作为训练数据，然而获取大量的手绘草图与对应的彩图是困难的。这与在方法设计的过程中，没有有效利用草图的风格特征有关，同时之前的方法没有考虑怎么在有限数量的场景下，最大化利用有效的数据特征。

3.目前研究方法中，多数风格迁移都是对整张图片进行风格变换，而服装图片具有清晰的轮廓。对于服装图片的风格迁移，只能将颜色和纹理迁移到服装轮廓内，而不是覆盖整个图像。之前的研究没有解决服装设计特定领域的痛点。此外，将指定图片的风格迁移到服装草图上，需要将服装草图的内容与风格特征进行分离，然后将指定图片的颜色风格特征与服装草图的内容特征进行重组，从而生成新的服装图片，这些功能是之前的研究中没有考虑到的。

4.目前的创意设计工具中，没有将草图生成功能和风格迁移功能整合到一个系统中。根据问卷调查的反馈结果，这会严重影响设计师的设计效率。

发明内容

针对现有技术存在的问题，本发明公开了一种具有设计师风格的服装图像智能生成系统。本发明能根据设计师指定的服装图片，生成与设计师风格一致的服装草图，同时也能根据设计师指定的服装风格对生成的草图进行风格迁移，生成真实的，具有特定风格的服装图片。

为解决上述问题，本发明的技术方案如下：

一种具有设计师风格的服装图像智能生成系统，包括灵感图片区域单元、画板区域单元、参考图片区域单元和展示板区域单元；所述灵感图片区域单元用于设计师浏览服装图片，并对选择其中的图片生成设计师风格的草图；所述画板区域单元用于显示生成的设计师风格的草图，并供设计师对设计师风格的草图进行调整；

所述参考图片区域用于对设计师浏览不同服装风格的图片，并选则某个服装风格的图片作为参考图片，并将参考图片风格迁移至草图，形成显示风格迁移后服装图片列表；

所述展示板区域单元用于显示风格迁移后服装图片列表，并供设计师进行风格迁移后服装图片的选取。

进一步的改进，所述草图通过草图生成网络生成，草图生成网络包括编码器模块、通道特征自适应正则化模块、带有通道注意力机制的生成器模块、第一损失函数模块和带有通道注意力机制的判别器模块；

所述编码器模块使用VGG-16预训练网络分别从输入的设计师的手绘草图和对应的服装图片抽取手绘草图的风格特征和服装图片的内容特征，然后对草图生成网络训练得到训练后的草图生成网络；训练后的草图生成网络用于根据服装图片自动生产对应的设计师风格的草图；

特征自适应正则化模块通过考虑通道特征和全局特征统计的相关性，选择生成的设计师风格的草图的风格特征权重和服装图片的内容特征权重，从而能控制生成草图的形状和细节；带有通道注意力机制的生成器模块用于生成具有清晰轮廓和完整细节的服装草图；损失函数模块通过缩小源域图像和目标域图像之间的损失函数值，使得生成的草图更加接近设计师的设计风格；判别器模块通过判别生成的图片是否真实，从而提高生成器生成的图片质量。

进一步的改进，所述编码器模块的公式如下：

其中，

进一步的改进，所述通道特征自适应正则化模块包括自适应正则化计算网络层，自适应正则化计算网络层包括参数

其中，

进一步的改进，所述带有通道注意力机制的生成器模块通过计算得到的权重参数

其中，

进一步的改进，所述第一损失函数模块的损失函数包括草图判别器网络损失函数、草图生成器网络损失函数、 草图生成器的通道注意力损失函数和草图判别器的通道注意力损失函数；

草图判别器网络损失函数如下：

草图生成器网络损失函数如下：

草图生成器的通道注意力损失函数如下：

草图判别器的通道注意力损失函数如下：

训练草图生成网络使得草图判别器网络损失函数、草图生成器网络损失函数、 草图生成器的通道注意力损失函数和草图判别器的通道注意力损失函数均最小。

进一步的改进，所述风格迁移通过风格迁移网络进行，所述风格迁移网络包括两个编码模块，一个解码模块和一个损失函数模块；其中，一个编码模块用于抽取草图的内容特征

其中，

为了使编码模块提取的风格特征能更加关注颜色和精细的纹理，并使解码模块通过记忆这些独特的内容与风格之间的关系来生成原始图片的风格，使用了互信息损失函数来确保风格编码模块尽可能的获得独特的风格信息，并使内容编码器解耦合风格和内容特征之间的关系；为了鉴别不同的图像，使用风格分类器损失函数，

本发明的优点：

1.服装设计师在绘制手稿之前，需要浏览大量的服装图片，思考设计灵感。在之前的创意设计工具中，并没有考虑到这一设计过程。针对这些不足，该系统设计了一个灵感图区域，以供设计师快速浏览大量灵感图片，帮助设计师产生设计灵感。

2.在之前的研究方法中，没有考虑到收集大量的成对的服装草图图像数据集是困难的，同时设计师手绘草图具有特定的设计师风格特征，其他的创意设计工具并没有考虑该特征。针对这些不足，我们使用带有自适应正则化和通道注意力机制的对抗生成网络，可以在有限数量草图的场景下，产生大量的具有设计师风格的手绘草图。

3.风格迁移功能能够根据设计师选择的服装颜色风格，对设计师创作的服装草图进行上色，从而能提高服装设计的效率。在之前的研究方法中，没有将草图生成功能和风格迁移功能整合到一个系统中，这会严重影响设计师的设计效率。针对这些不足，我们提出将草图生成功能和风格迁移功能所对应的两个算法嵌入到一个系统中，并设计了相应的系统用户界面。

附图说明

图1为系统用户界面；

图2为个性化草图生成网络架构图；

图3为风格迁移网络架构概述图；

图4为通过变体方法生成的风格迁移后的图片用户反馈分布图；

图5为在绘制草图任务上的完成时间对比图；

图6为草图配色设计任务上的完成时间对比图。

具体实施方式

为了使本发明的目的、优点更加清楚明白，以下结合附图及实施例对本发明的一种具有时尚设计师风格的服装图像智能生成系统进行进一步的详细说明。

如图1所示，在该系统中，我们设计了一个用户界面，该用户界面包括四个部分，分别是a灵感图片区域，用于设计师浏览服装图片，启发设计灵感，同时可以选择图片来生成设计师风格的草图；b画板区域，用于显示生成的服装草图，同时设计师可以对草图进行调整；c参考图片区域，用于设计师浏览服装风格并选择参考图片进行风格迁移；d展示板区域，用于显示风格迁移后服装图片列表，并放大显示用户感兴趣的服装图片。当设计师进入该系统界面，设计师首先会浏览大量的服装灵感图，来思考整个设计的主题和风格。在整个设计过程种，设计师需要考虑服装的腰线，袖型，领型和装饰细节等。对于没有设计师历史手稿数据的用户，点击“粗粒度草图生成”按钮，系统能生成一个具有完整轮廓的草图。对于有设计师历史手稿数据的用户，点击“细粒度草图生成”按钮，系统能根据设计师历史手稿数据的设计风格，生成类似风格的服装草图。设计师可以在生成草图后进行适当细节调整，或者对该服装的草图生成效果不满意，选择另外的服装进行草图生成。当绘制草图完成后，设计师可以在参考图片区域选择符合草图设计风格的参考服装图片，进行指定颜色风格的服装风格迁移。当在参考图片区域选种某张图片后，点击展示板区域的更新按钮，便能生成风格迁移后的服装图片，并且可以多次选择参考图片，生成多张风格迁移后的服装图片，为设计师提供多种设计方案。

草图生成网络包含五个模块，分别是编码器模块，通道特征自适应正则化模块，带有通道注意力机制的生成器模块，损失函数模块和带有通道注意力机制的判别器模块。编码器模块使用VGG预训练网络分别从草图和服装图片抽取内容特征和草图风格特征。特征自适应正则化模块通过考虑通道特征和全局特征统计的相关性，可以灵活选择是保留草图的风格特征权重大还是保留服装图片的内容特征权重大，从而能控制生成草图的形状和细节。带有通道注意力机制的生成器模块能生成具有清晰轮廓和完整细节的服装草图。损失函数模块通过缩小源域图像和目标域图像之间的损失函数值，从而使得生成的草图能更加接近设计师的设计风格。判别器模块通过判别生成的图片是否真实，从而使得生成器生成的图片质量更高。

编码器模块的公式如下：

特征自适应正则化模块，我们在VGG网络中增加了自适应层和实例结合的正则化计算网络层（Adaptive Layer and Instance Normalization），该自适应正则化计算网络层包括参数

在带有通道注意力的生成器模块，

损失函数模块的计算公式如下，格莱姆矩阵用于计算特征图的空间级协方差。判别器损失确保生成器生成的草图特征

该系统不仅能让设计师对草图进行调整，也能将设计师指定的颜色风格迁移到生成后的草图，从而生成真实的服装图片。在这部分，用户能选择一个参考的服装图片，点击更新按钮，从而将草图转换成一个与参考图片相同颜色风格的真实服装图片。设计师能通过多次选择不同的服装参考图片，从而生成多个不同设计风格的服装图片。

图3描述了风格迁移网络架构，该网络包含两个编码模块，一个解码模块和一个损失函数模块。一个编码模块单独抽取草图的内容特征

为了使编码器模块提取的风格特征能更加关注颜色和精细的纹理，并使解码器通过记忆这些独特的内容与风格之间的关系来生成原始图片的风格，我们使用了互信息损失函数来确保风格编码器尽可能的获得独特的风格信息，并使内容编码器解耦合风格和内容特征之间的关系。为了鉴别不同的图像，我们使用了风格分类器损失函数，

当编码器模块训练完成，我们开始训练对抗生成网络来细化编码器模块生成的图片。在对抗生成网络中，生成器是一个编解码结构，将特征

我们从三个方面评估了系统在自动生成个性化的服装草图和服装风格迁移功能的性能。首先，我们做了一个用户调研来验证生成不同质量的草图对草图风格迁移的影响。第二，我们对草图生成和草图风格迁移执行了图灵测试来验证其功能是否达到人类的水平。该图灵测试分为两部分，一个是评估生成的草图是否具有设计师风格，另一个是评估风格迁移后生成的服装图片质量是否接近人类设计师的水平甚至更好。第三，我们使用了两个量化指标来评估实验性能，分别是弗雷切感知距离（Frechet Inception Distance）和均方误差（Mean Square Error）。

我们通过用户研究检验了网络模型两个组件的性能及其对生成草图质量的影响，分别是模型中的通道注意力机制和自适应通道特征层级和实例级结合的正则化计算网络层。我们同时也使用了量化指标弗雷切感知距离和均方误差来度量模型的性能。弗雷切感知距离用于测量合成图像的整体语义真实性，弗雷切感知距离的值越少，生成图片的质量越高。均方误差用于测量生成的图像与原始图像之间的重建误差，该值越小，生成的图像的质量就越高。我们的对比方法是一个自监督草图到图像转换网络，其他的对比方法是我们提出方法的变体。通过表1的结果显示，我们提出的网络模型比其他草图到图像转换的方法性能要好，同时，通道注意力机制和自适应通道特征层级和实例级结合正则化计算网络层对生成高质量的草图贡献较大。

表1：与其他对比方法和方法变体的量化指标比较

我们根据三个比较条件对不同方法生成的风格迁移后的图片用户反馈分类，如图4所示，其中，对比（1）表示有通道注意力模块（A）与无通道注意力机制的模块（B）进行对比，对比（2）表示有特征自适应正则化模块（A）与没有自适应通道特征层级和实例级结合正则化计算网络层的模块（B）进行对比，对比（3）表示有通道注意力模块（A）与只有自适应通道特征层级和实例级结合正则化计算网络层的模块（B）进行对比。为了统一参与者的评估尺度，我们将用户偏好划分为三个层级，分别是非常好，有点好和差不多。结果显示，81%的参与者更偏好有自适应通道特征层级和实例级结合正则化计算网络层的模型生成的风格迁移图像，73%的参与者更偏好有通道注意力机制的模型生成的风格迁移图像。综上所述，自适应通道特征层级和实例级结合正则化计算网络层组件和通道注意力组件对图像风格迁移有很大的影响。

我们还对人类设计师和系统辅助设计师绘制草图与草图配色设计的完成时间做了一个用户调研，以此来评估相对于设计师独立设计，系统辅助设计的效率是否有提高。我们邀请了30名设计学生（12名男性，18名女性，平均年龄23岁）参与这个设计实验。每个参与者被要求完成10套服装设计作品，该设计要求为将尺寸为300*600的服装设计草图修改为尺寸为300*150的服装设计草图，所有的参与者被要求遵循设计风格，只改变草图位置，线条。如图5和图6所示，其中X轴表示设计完成的套数，Y轴表示每套完成的时间，单位为分钟，当参与者完成1套服装设计作品时，人类设计师独立设计和系统辅助设计完成时间相差不大，随着设计作品数量的增加，人类设计师独立设计完成的时间首先显著增加，然后再逐步降低，这是由于人类设计师进行服装设计时初始设计后会有一个明显的疲劳期，使得设计速度变慢，而随着经验的增加，之后服装的设计时长会逐渐降低，而系统辅助设计的完成时间逐步减低且明显小于人类设计师独立设计完成的时间。

用户完成绘制草图任务和服装配色任务的时间平均值和均方值对比的表如表2所示：

表2 用户完成绘制草图任务和服装配色任务的时间平均值和均方值对比

以上仅为本发明的一个具体实施实例，并不限定本发明的范围，在本发明的构思和原则之内所做的任何修改、同等替换和改进等，都属于本发明的保护范围之内。