图像风格转换模型的训练方法、图像风格转换方法及装置

摘要

本公开关于一种图像风格转换模型的训练方法、图像风格转换方法及装置。图像风格转换模型的训练方法包括：获取训练预设模型使用的风格参数；其中，风格参数用于表示目标风格的参数，预设模型用于基于风格参数将样本原始图像转换为目标风格，目标风格为以下三个种类之一：单风格、融合多风格或分区多风格；获取将样本原始图像按照风格参数转换后的训练目标图像；针对每个种类的目标风格，根据样本原始图像、对应种类目标风格的风格参数、以及根据对应的风格参数转换后得到的训练目标图像，针对每种目标风格对预设模型训练，得到图像风格转换模型，解决了相关技术中图像风格转换模型支持的风格转换方式单一的问题。

说明书

技术领域

本公开涉及图像处理技术领域，尤其涉及图像风格转换模型的训练方法、图像风格转换方法及装置。

背景技术

风格转换，也可以称为风格迁移，是指通过计算机(或其他智能计算设备)对数字图像进行变换处理，输出带有风格的图像，如油画，工笔画，手绘人像等常见风格。相关技术中常见的实现方式是一个模型支持一个风格，针对不同的风格训练不同的风格转换模型，这种风格转换模型只支持单一风格的转换，风格转换的方式不够灵活。

发明内容

本公开提供一种图像风格转换模型的训练方法、图像风格转换方法及装置，以至少解决相关技术中图像风格转换模型支持的风格转换方式单一的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像风格转换模型的训练方法，包括：

获取训练预设模型使用的风格参数；其中，风格参数用于表示目标风格的参数，预设模型用于基于风格参数，将样本原始图像转换为目标风格，其中，目标风格为以下三个种类之一：单风格、融合多风格或分区多风格，单风格为单一类型的风格，融合多风格为融合多个类型风格效果的风格，分区多风格为转换后的图像中不同区域对应不同类型的风格；

获取将样本原始图像按照风格参数转换后的训练目标图像；其中，训练目标图像用于作为预设模型的输出图像的训练目标；

针对每个种类的目标风格，根据样本原始图像、对应种类目标风格的风格参数、以及根据对应的风格参数转换后得到的训练目标图像，训练预设模型；

在预设模型针对每种目标风格得到训练之后，得到图像风格转换模型。

可选地，获取训练预设模型使用的风格参数的步骤包括：

在多种目标风格中选择本次训练的目标风格；

在目标风格为单风格的情况下，选择单一风格的风格类型，得到风格参数；其中，单风格的风格参数包括单一风格的风格类型；

在目标风格为融合多风格的情况下，选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数；其中，融合多风格的风格参数包括多种风格的风格类型和每个风格类型的融合权重；

在目标风格为分区多风格的情况下，选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数；其中，分区多风格的风格参数包括多种风格的风格类型和每个风格类型对应的分区。

可选地，在目标风格为单风格的情况下，选择单一风格的风格类型，得到风格参数的步骤包括：在多个候选的风格编码中随机选择一个风格编码；其中，每个风格编码用于表示对应的风格类型；

在目标风格为融合多风格的情况下，选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数的步骤包括：在多个候选的风格编码中随机选择P个风格编码，并随机生成总和为1的P个数值，P个数值分别作为P个风格编码的融合权重，P为大于等于2的正整数，每个数值大于0，且小于1；

在目标风格为分区多风格的情况下，选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数的步骤包括：在多个候选的风格编码中随机选择M个风格编码，并随机生成M个二值矩阵，M个二值矩阵分别作为M个风格编码的分区掩码模板，其中，M为大于等于2的正整数，M个二值矩阵的矩阵之和为全1矩阵，每个二值矩阵的矩阵大小与样本原始图像的像素矩阵大小相同。

可选地，获取将样本原始图像按照风格参数转换后的训练目标图像，包括：

在目标风格为单风格的情况下，获取样本原始图像与单一类型的风格对应的风格图像，得到训练目标图像；

在目标风格为融合多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，根据每个风格类型的融合权重，将多张风格图像按照对应的融合权重进行加权求和，得到训练目标图像；

在目标风格为分区多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，结合每个风格类型对应的分区，计算得到训练目标图像。

根据本公开实施例的第二方面，提供一种图像风格转换方法，包括：

获取待转换图像和风格参数；其中，风格参数用于表示目标风格的参数；

将待转换图像和风格参数输入至图像风格转换模型，得到将待转换图像转换为目标风格后的目标图像；其中，图像风格转换模型为根据第一方面的图像风格转换模型的训练方法进行训练得到。

根据本公开实施例的第三方面，提供一种图像风格转换模型的训练装置，包括：

第一获取单元，用于获取训练预设模型使用的风格参数；其中，风格参数用于表示目标风格的参数，预设模型用于基于风格参数，将样本原始图像转换为目标风格，其中，目标风格为以下三个种类之一：单风格、融合多风格或分区多风格，单风格为单一类型的风格，融合多风格为融合多个类型风格效果的风格，分区多风格为转换后的图像中不同区域对应不同类型的风格；

第二获取单元，用于获取将样本原始图像按照风格参数转换后的训练目标图像；其中，训练目标图像用于作为预设模型的输出图像的训练目标；

第一训练单元，用于针对每个种类的目标风格，根据样本原始图像、对应种类目标风格的风格参数、以及根据对应的风格参数转换后得到的训练目标图像，训练预设模型；

第二训练单元，用于在预设模型针对每种目标风格得到训练之后，得到图像风格转换模型。

可选地，第一获取单元包括：

第一选择子单元，用于在多种目标风格中选择本次训练的目标风格；

第二选择子单元，用于在目标风格为单风格的情况下，选择单一风格的风格类型，得到风格参数；其中，单风格的风格参数包括单一风格的风格类型；

第三选择子单元，用于在目标风格为融合多风格的情况下，选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数；其中，融合多风格的风格参数包括多种风格的风格类型和每个风格类型的融合权重；

第四选择子单元，用于在目标风格为分区多风格的情况下，选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数；其中，分区多风格的风格参数包括多种风格的风格类型和每个风格类型对应的分区。

可选地，第二选择子单元还用于在目标风格为单风格的情况下，在多个候选的风格编码中随机选择一个风格编码；其中，每个风格编码用于表示对应的风格类型；

第三选择子单元还用于在目标风格为融合多风格的情况下，在多个候选的风格编码中随机选择P个风格编码，并随机生成总和为1的P个数值，P个数值分别作为P个风格编码的融合权重，P为大于等于2的正整数，每个数值大于0，且小于1；

第四选择子单元还用于在目标风格为分区多风格的情况下，在多个候选的风格编码中随机选择M个风格编码，并随机生成M个二值矩阵，M个二值矩阵分别作为M个风格编码的分区掩码模板，其中，M为大于等于2的正整数，M个二值矩阵的矩阵之和为全1矩阵，每个二值矩阵的矩阵大小与样本原始图像的像素矩阵大小相同。

可选地，第二获取单元包括：

第一获取子单元，用于在目标风格为单风格的情况下，获取样本原始图像与单一类型的风格对应的风格图像，得到训练目标图像；

第二获取子单元，用于在目标风格为融合多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，根据每个风格类型的融合权重，将多张风格图像按照对应的融合权重进行加权求和，得到训练目标图像；

第三获取子单元，用于在目标风格为分区多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，结合每个风格类型对应的分区，计算得到训练目标图像。

根据本公开实施例的第四方面，提供一种图像风格转换装置，包括：

获取单元，用于获取待转换图像和风格参数；其中，风格参数用于表示目标风格的参数；

输入单元，用于将待转换图像和风格参数输入至图像风格转换模型，得到将待转换图像转换为目标风格后的目标图像；其中，图像风格转换模型为根据第一方面的图像风格转换模型的训练方法进行训练得到。

根据本公开实施例的第五方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器被配置为执行指令，以实现如第一方面及其任意一个示例所提供的图像风格转换模型的训练方法，或者第二方面及其任意一个示例所提供的图像风格转换方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由服务器的处理器执行时，使得服务器能够执行如第一方面及其任意一个示例所提供的图像风格转换模型的训练方法，或者第二方面及其任意一个示例所提供的图像风格转换方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如第一方面及其任意一个示例所提供的图像风格转换模型的训练方法，或者第二方面及其任意一个示例所提供的图像风格转换方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过针对不同的目标风格对预设模型进行训练，使得完成训练得到的图像风格转换模型能够实现不同风格的转换效果，包括在不同的单风格之间切换、转换为融合多种风格、在图像中的不同区域中转换不同类型的风格，从而，能够根据输入的风格参数的不同，实现不同类型的风格的转换效果，风格转换方式灵活多变，解决了相关技术中图像风格转换模型支持的风格转换方式单一的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像风格转换模型的训练方法的流程图。

图2是根据一示例性实施例示出的一种不同风格类型的转换效果的示意图。

图3是根据一示例性实施例示出的一种多风格融合转换的转换效果的示意图。

图4是根据一示例性实施例示出的一种分区转换的转换效果的示意图。

图5是根据一示例性实施例示出的一种多风格转换模型的示意图。

图6是根据一示例性实施例示出的一种图像风格转换方法的流程图。

图7是根据一示例性实施例示出的一种图像风格转换模型的训练装置的框图。

图8是根据一示例性实施例示出的一种图像风格转换装置的框图。

图9是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种图像风格转换模型的训练方法的流程图，如图1所示，具体可以包括以下步骤。

步骤101，获取训练预设模型使用的风格参数。

在本公开实施例中，风格参数是训练时的预设模型以及对预设模型训练后得到的图像风格转换模型的输入之一。预设模型以及图像风格转换模型的结构，可以使用相关技术中的神经网络模型的结构，例如，前馈神经网络模型、循环神经网络模型、对称连接神经网络模型等。在对预设模型训练之后，得到图像风格转换模型。

上述的风格参数用于表示目标风格的参数。预设模型用于基于风格参数，将样本原始图像转换为目标风格。

目标风格为以下三个种类之一：单风格、融合多风格或分区多风格。预设模型/图像风格转换模型能够至少实现三种目标风格的转换，具体的，模型能够将输入的图像转换为输入的风格参数指示种类的目标风格。

具体来说，单风格为单一类型的风格，融合多风格为融合多个类型风格效果的风格，分区多风格为转换后的图像中不同区域对应不同类型的风格。

这样，步骤101获取训练预设模型使用的风格参数的步骤，可以是在多种目标风格中选择本次训练的目标风格，进而，根据目标风格的不同，执行对应的步骤。

在目标风格为单风格的情况下，可以选择单一风格的风格类型，得到风格参数；其中，单风格的风格参数包括单一风格的风格类型。在目标风格为单风格的情况下，预设模型可以在不同的单风格中切换，也即，输入一张原始图像，可以输出不同种类风格的风格图像。而切换的“开关”就是风格参数。单风格对应的风格参数用于表示对应的风格类型，每个类型的风格可以通过不同的风格编码来表示。

例如，如图2所示，对于一张原始图像200，经过预设模型处理之后，可以根据输入的风格参数的不同，生成不同的风格图像，风格图像201～204可以分别对应风格参数：00、01、10、11；或者，风格参数也可以使用独热(one-hot)编码方式编码，示例性的，风格图像201～204可以分别对应风格参数：0001、0010、0100、1000。

在目标风格为融合多风格的情况下，可以选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数；其中，融合多风格的风格参数包括多种风格的风格类型和每个风格类型的融合权重。在目标风格为融合多风格的情况下，预设模型可以将不同风格进行融合，也即，将图像转换为多风格融合之后得到的融合风格。融合多风格对应的风格参数可以表示融合的每种风格以及每种风格所占的权重。例如，可以用多维数组的形式来表示，数组的每个维度表示对应类型风格在融合后的风格中所占的权重比例，权重比例在0～1之间，且所有风格的权重相加为1。

例如，预设模型可以支持如图2所示的四种风格类型，那么，在进行多风格融合时，可以在这四种风格类型中选择至少两个类型的风格进行融合，并通过风格参数来描述选择融合的风格类型以及每种风格类型所占的权重。

示例性的，风格参数可以是[0,i,j,0]，这个风格参数表示第一种和第四种风格类型权重是0，未被选择融合，而选择融合的是第二种和第三种风格类型，权重分别为i和j，i和j都在(0,1)区间，且i+j＝1。

图3示意了第二种和第三种风格类型所占权重不同的情况下的融合多风格的效果，样本原始图像300在转换为第二种风格类型时可以得到风格图像301，在转换为第三种风格类型时得到风格图像302，而风格图像3001～3004就是第二种风格类型和第三种风格类型融合的效果，其中，风格图像3001至风格图像3004中第二种风格类型所占的权重越来越小，第三种风格类型所占的权重越来越大。

在目标风格为分区多风格的情况下，可以选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数；其中，分区多风格的风格参数包括多种风格的风格类型和每个风格类型对应的分区。在目标风格为分区多风格的情况下，预设模型可以对不同区域转移不同的风格类型，也即，生成的风格图像中每个区域的风格类型是不同的。需要说明的是，分区的精细度可以是像素级别。分区多风格的风格参数用于表示每种风格类型以及每种风格类型对应的图像区域。

一个示例中，风格参数可以使用与图像的数字矩阵大小相同的掩码矩阵来表示，掩码矩阵中每个元素用于表示对应像素位置所使用的风格。如图4所示为对左、右两个分区分别转换为不同风格得到的效果示意图。

通过以上说明可以看出，风格参数能够表示出期望预设模型/图像转换风格模型的目标风格及具体参数。通过对不同目标风格的风格参数预设不同的参数格式，可以使模型(包括预设模型和图像转换风格模型)根据参数格式识别出期望转换的目标风格。

为了训练预设模型，可以根据风格参数的参数格式，在风格参数的参数取值区间内随机的生成风格参数。这样，可以提高模型训练过程的灵活性，增加样本空间，提高风格转换效果。

步骤102，获取将样本原始图像按照风格参数转换后的训练目标图像。

训练目标图像用于作为预设模型的输出图像的训练目标。在训练预设模型时，预设模型根据输入的风格参数和样本原始图像可以得到输出的风格图像，然后，可以根据训练目标图像与输出的风格图像之间的差距，对预设模型的内部参数进行调整。这样，通过使用不同的样本原始图像或风格参数进行多次迭代训练，可以减小输出的风格图像与训练目标图像之间的差距。

可选地，在目标风格为单风格的情况下，可以获取样本原始图像与单一类型的风格对应的风格图像，得到训练目标图像。

在目标风格为融合多风格的情况下，可以获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，进而，根据每个风格类型的融合权重，将多张风格图像按照对应的融合权重进行加权求和，得到训练目标图像。

在目标风格为分区多风格的情况下，可以获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，结合每个风格类型对应的分区，计算得到训练目标图像。

可选地，在执行步骤102时，可以根据图像样本集中的样本生成训练目标图像。图像样本集中，包括样本原始图像，以及样本原始图像转换为每种不同的风格类型的风格图像，例如，油画风格、素描风格、漫画风格、写实风格等等。以上风格类型仅用于示例性的举例，不用于对本公开实施例的风格类型进行限定。这样，在得到风格参数之后，可以获取一张样本原始图像，进而，根据风格参数获取对应风格类型的风格图像，并根据风格参数生成训练目标图像。通过这种实施方式，可以根据不同的风格参数生成不同的训练目标图像，增加了训练的样本空间，提高了样本中风格图像的使用效率。

步骤103，针对每个种类的目标风格，根据样本原始图像、对应种类目标风格的风格参数、以及根据对应的风格参数转换后得到的训练目标图像，训练预设模型。

在训练预设模型时，每次训练可以向预设模型输入一张样本原始图像以及对应的风格参数，在预设模型得到输出的图像之后，可以根据输出图像与训练目标图像之间的差距调整预设模型中的模型参数。通过多次迭代训练，可以减小输出图像与训练目标图像之间的差距，使得预设模型输出的图像能够更符合风格参数所指示的目标风格。

输出图像与训练目标图像之间的差距，具体可以是通过所有像素的均方差、分区域的均方差等参数指标进行评价的，本公开实施例对此不作限定。在根据差距来调整预设模型中的模型参数时，可以使用相关技术中深度学习的参数调整算法，例如，基于贝叶斯优化的参数调整算法、基于梯度下降的参数调整算法等。

步骤104，在预设模型针对每种目标风格得到训练之后，得到图像风格转换模型。

本公开实施例中的预设模型/图像风格转换模型的结构，可以包括如图5所示的输入编码器、隐空间和输出编码器三个部分，其中，风格参数可以加在上述任意一个部分或任意多个部分中，也即，可以在训练中在这三个部分中同时加入或分别的加入风格参数，具体而言，预设模型/图像风格转换模型可以为神经网络模型，加入风格参数相当于在对应部分的卷积层输出加入额外的用于表示风格参数的编码通道。优选地，风格参数的编码通道可以加在隐空间和输出编码器。

本公开实施例通过针对不同的目标风格对预设模型进行训练，使得完成训练得到的图像风格转换模型能够实现不同风格的转换效果，包括在不同的单风格之间切换、转换为融合多种风格、在图像中的不同区域中转换不同类型的风格，从而，能够根据输入的风格参数的不同，实现不同类型的风格的转换效果，风格转换方式灵活多变，解决了相关技术中图像风格转换模型支持的风格转换方式单一的问题。训练得到的图像风格转换模型由于能够实现转换为不同目标风格的效果，可以减少模型所需的存储空间和运行内存，解决了相关技术中实现多种风格的图像处理效果时，加载多个模型所需的存储空间和运行内存较大的问题。

在一个示例中，在目标风格为单风格的情况下，上述选择单一风格的风格类型，得到风格参数的步骤，具体可以是在多个候选的风格编码中随机选择一个风格编码，其中，每个风格编码用于表示对应的风格类型。

这样，在执行步骤102获取训练目标图像时，可以选择样本原始图像与风格编码对应的风格图像即可。

在目标风格为融合多风格的情况下，上述选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数的步骤，可以是在多个候选的风格编码中随机选择P个风格编码，并随机生成总和为1的P个数值。这里，P个数值分别作为P个风格编码的融合权重，P为大于等于2的正整数，每个数值大于0，且小于1。

这样，在执行步骤102获取训练目标图像时，可以根据风格参数获取样本原始图像的与每个风格编码对应的风格图像，并进一步按照权重公式计算融合多种风格后的图像。具体做法可以是获取样本原始图像对应的P个风格图像的像素值矩阵，将每个矩阵与对应风格类型的权重相乘，并求和，可以参考公式：

G＝∑k

其中，G为训练目标图像，k

在目标风格为分区多风格的情况下，上述选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数的步骤，可以是在多个候选的风格编码中随机选择M个风格编码，并随机生成M个二值矩阵。这里，M个二值矩阵分别作为M个风格编码的分区掩码模板，其中，M为大于等于2的正整数，M个二值矩阵的矩阵之和为全1矩阵，每个二值矩阵的矩阵大小与样本原始图像的像素矩阵大小相同。

这样，在执行步骤102获取训练目标图像时，可以根据风格参数获取样本原始图像的与每个风格编码对应的风格图像，并进一步按照分区掩码模板计算出训练目标图像。举例来说，可以通过如下公式计算训练目标图像：

G＝∑K

其中，G为训练目标图像，K

K

示例性的，第一种风格类型的分区掩码模板K

也即，相当于在需要实现分区转换为不同风格的情况下，可以根据风格参数确定每种风格类型对应的图像区域(像素值位置)，在对应的风格图像中提取出对应部分的像素值，并将所有风格类型提取出的像素值按照对应的像素位置组合为一张图像，得到训练目标图像。

通过上述生成风格参数的具体实施方式，可以得到更符合不同目标风格特点的风格参数，使训练后得到的模型在转换图像风格时，能够得到更符合对应目标风格的图像。

本公开实施例还提供一种图像风格转换方法，如图6所示，包括如下步骤：

步骤501，获取待转换图像和风格参数。

风格参数用于表示目标风格的参数。风格参数可以是用户输入或选择的。待转换图像是待输入至图像风格转换模型的图像，具体可以是用户提供或选择的图像。

一个示例的应用场景中，本公开实施例提供的图像风格转换方法可以应用于客户端中，图像风格转换模型为服务端通过本公开实施例提供的图像风格转换模型的训练方法训练得到，客户端可以安装于终端中，服务端可以配置于与终端通信连接的服务器中，客户端可以通过终端接收用户在相册中选择上传的待转换图像，并接收用户在客户端提供的多个风格参数中选择一个风格参数，或者由用户自行输入符合风格参数的预设参数格式和预设参数区间范围的数值。

步骤502，将待转换图像和风格参数输入至图像风格转换模型，得到将待转换图像转换为目标风格后的目标图像。

其中，图像风格转换模型为根据本公开实施例提供的图像风格转换模型的训练方法进行训练得到。

本公开实施例提供的图像风格转换方法，通过针对不同的目标风格对预设模型进行训练，使得完成训练得到的图像风格转换模型能够实现不同

本公开实施例还提供一种图像风格转换模型的训练装置，可以用于执行本公开实施例提供的图像风格转换模型的训练方法，其中，在本公开实施例提供的图像风格转换模型的训练装置中未详述的说明，可以参考上述对图像风格转换模型的训练方法的实施例的相关说明，在此不再赘述。

图7是根据一示例性实施例示出的一种图像风格转换模型的训练装置的框图。参照图7，该装置包括第一获取单元601，第二获取单元602，第一训练单元603和第二训练单元604。

第一获取单元601用于获取训练预设模型使用的风格参数；其中，风格参数用于表示目标风格的参数，预设模型用于基于风格参数，将样本原始图像转换为目标风格，其中，目标风格为以下三个种类之一：单风格、融合多风格或分区多风格，单风格为单一类型的风格，融合多风格为融合多个类型风格效果的风格，分区多风格为转换后的图像中不同区域对应不同类型的风格；

第二获取单元602用于获取将样本原始图像按照风格参数转换后的训练目标图像；其中，训练目标图像用于作为预设模型的输出图像的训练目标；

第一训练单元603用于针对每个种类的目标风格，根据样本原始图像、对应种类目标风格的风格参数、以及根据对应的风格参数转换后得到的训练目标图像，训练预设模型；

第二训练单元604用于在预设模型针对每种目标风格得到训练之后，得到图像风格转换模型。

可选地，第一获取单元601可以包括：

第一选择子单元，用于在多种目标风格中选择本次训练的目标风格；

第二选择子单元，用于在目标风格为单风格的情况下，选择单一风格的风格类型，得到风格参数；其中，单风格的风格参数包括单一风格的风格类型；

第三选择子单元，用于在目标风格为融合多风格的情况下，选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数；其中，融合多风格的风格参数包括多种风格的风格类型和每个风格类型的融合权重；

第四选择子单元，用于在目标风格为分区多风格的情况下，选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数；其中，分区多风格的风格参数包括多种风格的风格类型和每个风格类型对应的分区。

可选地，第二选择子单元还可以用于在目标风格为单风格的情况下，在多个候选的风格编码中随机选择一个风格编码；其中，每个风格编码用于表示对应的风格类型；

第三选择子单元还可以用于在目标风格为融合多风格的情况下，在多个候选的风格编码中随机选择P个风格编码，并随机生成总和为1的P个数值，P个数值分别作为P个风格编码的融合权重，P为大于等于2的正整数，每个数值大于0，且小于1；

第四选择子单元还可以用于在目标风格为分区多风格的情况下，在多个候选的风格编码中随机选择M个风格编码，并随机生成M个二值矩阵，M个二值矩阵分别作为M个风格编码的分区掩码模板，其中，M为大于等于2的正整数，M个二值矩阵的矩阵之和为全1矩阵，每个二值矩阵的矩阵大小与样本原始图像的像素矩阵大小相同。

可选地，第二获取单元602可以包括：

第一获取子单元，用于在目标风格为单风格的情况下，获取样本原始图像与单一类型的风格对应的风格图像，得到训练目标图像；

第二获取子单元，用于在目标风格为融合多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，根据每个风格类型的融合权重，将多张风格图像按照对应的融合权重进行加权求和，得到训练目标图像；

第三获取子单元，用于在目标风格为分区多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，结合每个风格类型对应的分区，计算得到训练目标图像。

本公开实施例提供的图像风格转换模型的训练装置通过针对不同的目标风格对预设模型进行训练，使得完成训练得到的图像风格转换模型能够实现不同风格的转换效果，包括在不同的单风格之间切换、转换为融合多种风格、在图像中的不同区域中转换不同类型的风格，从而，能够根据输入的风格参数的不同，实现不同类型的风格的转换效果，风格转换方式灵活多变，解决了相关技术中图像风格转换模型支持的风格转换方式单一的问题。

本公开实施例还提供一种图像风格转换装置，可以用于执行本公开实施例提供的图像风格转换方法，其中，在本公开实施例提供的图像风格转换装置中未详述的说明，可以参考上述对图像风格转换方法的实施例的相关说明，在此不再赘述。

图8是根据一示例性实施例示出的一种图像风格转换装置的框图。参照图8，该装置包括获取单元701和输入单元702。

获取单元701用于获取待转换图像和风格参数；其中，风格参数用于表示目标风格的参数。

输入单元702用于将待转换图像和风格参数输入至图像风格转换模型，得到将待转换图像转换为目标风格后的目标图像；其中，图像风格转换模型为根据本公开实施例的图像风格转换模型的训练方法进行训练得到。

本公开实施例提供的图像风格转换装置通过针对不同的目标风格对预设模型进行训练，使得完成训练得到的图像风格转换模型能够实现不同风格的转换效果，包括在不同的单风格之间切换、转换为融合多种风格、在图像中的不同区域中转换不同类型的风格，从而，能够根据输入的风格参数的不同，实现不同类型的风格的转换效果，风格转换方式灵活多变，解决了相关技术中图像风格转换模型支持的风格转换方式单一的问题。

关于上述实施例中的装置，其中各个模块执行操作的具体方式以及方案的技术效果已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开实施例还提供了一种电子设备，具体结合图9进行详细说明。

图9是根据一示例性实施例示出的一种电子设备900的结构框图。该电子设备900能够实现根据本公开实施例中的图像风格转换模型的训练方法或图像风格转换方法。

在示例性实施例中，本公开实施例还提供了一种包括指令的计算机可读存储介质，例如，计算机可读存储介质可以是电子设备900中的包括指令的存储器902，该指令可以由电子设备900中的处理器901执行，以使电子设备900完成本公开实施例提供的图像风格转换模型的训练方法或图像风格转换方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，本公开实施例还提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令可以被处理器901执行，以实现本公开实施例提供的图像风格转换模型的训练方法或图像风格转换方法。

具体地，上述处理器901可以包括中央处理器(CPU)，或者特定集成电路(application specific integrated circuit，ASIC)，或者可以被配置成实施本公开实施例的一个或多个集成电路。

存储器902可以包括用于信息或指令的大容量存储器。举例来说而非限制，存储器902可包括硬盘驱动器(hard disk drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，USB)驱动器或者两个及其以上这些的组合。在合适的情况下，存储器902可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器902可在综合网关设备的内部或外部。在特定实施例中，存储器902是非易失性固态存储器。在特定实施例中，存储器902包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存，或者两个或及其以上这些的组合。

处理器901可以通过读取并执行存储器902中存储的计算机程序指令，以执行如下步骤：

获取训练预设模型使用的风格参数；其中，风格参数用于表示目标风格的参数，预设模型用于基于风格参数，将样本原始图像转换为目标风格，其中，目标风格为以下三个种类之一：单风格、融合多风格或分区多风格，单风格为单一类型的风格，融合多风格为融合多个类型风格效果的风格，分区多风格为转换后的图像中不同区域对应不同类型的风格；

获取将样本原始图像按照风格参数转换后的训练目标图像；其中，训练目标图像用于作为预设模型的输出图像的训练目标；

针对每个种类的目标风格，根据样本原始图像、对应种类目标风格的风格参数、以及根据对应的风格参数转换后得到的训练目标图像，训练预设模型；

在预设模型针对每种目标风格得到训练之后，得到图像风格转换模型。

在一个可选的实施方式中，处理器901执行获取训练预设模型使用的风格参数的步骤，可以包括如下步骤：

在多种目标风格中选择本次训练的目标风格；

在目标风格为单风格的情况下，选择单一风格的风格类型，得到风格参数；其中，单风格的风格参数包括单一风格的风格类型；

在目标风格为融合多风格的情况下，选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数；其中，融合多风格的风格参数包括多种风格的风格类型和每个风格类型的融合权重；

在目标风格为分区多风格的情况下，选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数；其中，分区多风格的风格参数包括多种风格的风格类型和每个风格类型对应的分区。

在一个可选的实施方式中，在目标风格为单风格的情况下，处理器901执行选择单一风格的风格类型，得到风格参数的步骤包括：在多个候选的风格编码中随机选择一个风格编码；其中，每个风格编码用于表示对应的风格类型；

在目标风格为融合多风格的情况下，处理器901执行选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数的步骤包括：在多个候选的风格编码中随机选择P个风格编码，并随机生成总和为1的P个数值，P个数值分别作为P个风格编码的融合权重，P为大于等于2的正整数，每个数值大于0，且小于1；

在目标风格为分区多风格的情况下，处理器901执行选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数的步骤包括：在多个候选的风格编码中随机选择M个风格编码，并随机生成M个二值矩阵，M个二值矩阵分别作为M个风格编码的分区掩码模板，其中，M为大于等于2的正整数，M个二值矩阵的矩阵之和为全1矩阵，每个二值矩阵的矩阵大小与样本原始图像的像素矩阵大小相同。

可选地，处理器901执行获取将样本原始图像按照风格参数转换后的训练目标图像的步骤，可以包括：

在目标风格为单风格的情况下，获取样本原始图像与单一类型的风格对应的风格图像，得到训练目标图像；

在目标风格为融合多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，根据每个风格类型的融合权重，将多张风格图像按照对应的融合权重进行加权求和，得到训练目标图像；

在目标风格为分区多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，结合每个风格类型对应的分区，计算得到训练目标图像。

或者，在另一个示例中，处理器901用于执行以下步骤：

获取待转换图像和风格参数；其中，风格参数用于表示目标风格的参数；

将待转换图像和风格参数输入至图像风格转换模型，得到将待转换图像转换为目标风格后的目标图像；其中，图像风格转换模型为根据本公开实施例的图像风格转换模型的训练方法进行训练得到。

在一个示例中，该900还可包括收发器903和总线904。其中，如图9所示，处理器901、存储器902和收发器903通过总线904连接并完成相互间的通信。

总线904包括硬件、软件或两者。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围控件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线904可包括一个或多个总线。尽管本公开实施例描述和示出了特定的总线，但本公开考虑任何合适的总线或互连。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。