一种人像风格迁移方法

摘要

本发明公开了一种人像风格迁移方法，该方法包括以下步骤：一、获取内容图像；二、风格迁移总损失函数的建立：通过内容损失、风格损失、总变差正则化损失和正则惩罚项，得到总损失函数；三、生成图像的迭代优化：计算机采用梯度下降法，利用总损失函数对初始的生成图像进行迭代优化，得到风格迁移图像。本发明方法步骤简单，设计合理，通过内容损失、风格损失、总变差正则化损失和正则惩罚项作为总损失函数，从而采用梯度下降法进行迭代优化，以使最后的风格迁移图像与内容图像和风格图像相似，提高了人像风格迁移的质量和效果。

说明书

技术领域

本发明属于人像风格迁移技术领域，尤其是涉及一种人像风格迁移方法。

背景技术

图像风格迁移是指利用算法学习著名画作的风格,然后再把这种风格应用到另外一张图片上的技术。风格迁移技术在图像处理、游戏制作、电影特效渲染等工业领域得到广泛应用。随着人工智能研究的快速进步，受到卷积神经网络的启发，利用深度学习将普通图像渲染为具有艺术风格图像的方法，这种方式合成风格化图像效果出色而且不需要对每种风格单独建模解决了传统方法建模效率低下与风格化效果不佳的缺陷，引起了学术界和工业界的广泛关注，随后产生了大量的研究与应用成果。风格迁移技术的基本思想是利用深度神经网络分别提取图像的风格纹理与语义内容信息，然后再将两者融合为一张图片。使之同时拥有艺术风格图像的纹理与普通图像的内容，实现图像的风格化渲染。深度学习风格迁移算法网络可以通过将图像渲染为任意艺术风格不需要针对特定风格类型单独建模。然而基于深度学习的风格迁移算法目前问题主要有：仅通过内容损失和风格损失进行迭代优化，导致很多情况下，特别是对于人物的风格迁移，效果很不理想。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种人像风格迁移方法，其方法步骤简单，设计合理，通过内容损失、风格损失、总变差正则化损失和正则惩罚项作为总损失函数而进行迭代优化，以使最后的风格迁移图像与内容图像和风格图像相似，提高了人像风格迁移的质量和效果。

为解决上述技术问题，本发明采用的技术方案是：一种人像风格迁移方法，其特征在于：

步骤一、获取内容图像：

步骤101、采用摄像机在纯色背景下对人物进行拍摄，获取人物图像；其中，人物图像的大小为A×C个像素点，且A大于C，A和C均为正整数，其中，A表示行，C表示列；

步骤102、计算机对人物图像进行背景和前景分离，得到优化后的二值化人物图像；其中，优化后的二值化人物图像为人物图像；

步骤103、从计算机的背景图像库中选择背景图像；其中，背景图像的大小为A×C个像素点；

步骤104、计算机根据优化后的二值化人物图像，将人物图像中的人物区域与背景图像合成，得到合成人物图像，并将合成人物图像作为内容图像；

步骤二、风格迁移总损失函数的建立：

步骤201、随机生成白噪声图像作为初始的生成图像；

步骤202、选取卷积神经网络VGG19作为原始模型；其中，卷积神经网络VGG19包括16个卷积层和5个池化层，16个卷积层分别为Relu1_1卷积层，Relu1_2卷积层；Relu2_1卷积层，Relu2_2卷积层；Relu3_1卷积层，Relu3_2卷积层，Relu3_3卷积层，Relu3_4卷积层；Relu4_1卷积层，Relu4_2卷积层，Relu4_3卷积层，Relu4_4卷积层；Relu5_1卷积层，Relu5_2卷积层，Relu5_3卷积层，Relu5_4卷积层；

步骤203、计算机获取内容损失，具体过程如下：

步骤2031、将内容图像和初始的生成图像输入原始模型，并设定内容图像经Relu4_1卷积层输出第4_1层内容特征图，内容图像经Relu5_1卷积层输出第5_1层内容特征图；

设定初始的生成图像经Relu4_1卷积层输出第4_1层生成特征图，初始的生成图像经Relu5_1卷积层输出第5_1层生成特征图；其中，第4_1层内容特征图、第5_1层内容特征图、第4_1层生成特征图和第5_1层生成特征图的数量均为N，且N＝512；

步骤2032、计算机根据公式

计算机根据公式

步骤2033、计算机根据公式

步骤204、计算机获取风格损失，具体过程如下：

步骤2041、计算机将第一遮罩层覆盖在风格图像上，生成第一遮罩风格图像；计算机将第二遮罩层覆盖在风格图像上，生成第二遮罩风格图像；其中，第一遮罩层中人物区域的透明度设置为100％，第一遮罩层中背景区域的透明度设置为0；第二遮罩层中人物区域的透明度设置为0，第二遮罩层中背景区域的透明度设置为100％，第一遮罩层和第二遮罩层中背景区域均为白色，第一遮罩层中和第二遮罩层中人物区域均为黑色；

步骤2042、计算机将第一遮罩层覆盖在初始的生成图像上，生成第一遮罩生成图像，计算机将第二遮罩层覆盖在初始的生成图像上，生成第二遮罩生成图像；

步骤2043、计算机将第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像输入原始模型，且分别经Relu1_1卷积层、Relu2_1卷积层、Relu3_1卷积层、Relu4_1卷积层和Relu5_1卷积层输出的特征图进行风格损失的获取方法相同，其中，对经Relu c_1卷积层输出的特征图进行风格损失的获取，具体过程如下：

步骤20431、设定第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像分别经Relu c_1卷积层输出第c_1层第一遮罩风格特征图、第c_1层第二遮罩风格特征图、第c_1层第一遮罩生成特征图和第c_1层第二遮罩生成特征图；且第c_1层第一遮罩风格特征图，第c_1层第二遮罩风格特征图、第c_1层第一遮罩生成特征图和第c_1层第二遮罩生成特征图的数量均为N

步骤20432、计算机获取N

获取N

获取N

获取N

步骤20433、计算机根据公式

步骤20434、计算机根据公式

步骤205、计算机根据公式

步骤206、计算机根据公式

步骤207、计算机根据公式L

步骤三、生成图像的迭代优化：

步骤301、计算机采用梯度下降法，利用总损失函数对初始的生成图像进行迭代优化；

步骤302、重复步骤301迭代优化直至满足迭代优化预设次数，得到风格迁移图像。

上述的一种人像风格迁移方法，其特征在于：步骤102中计算机对人物图像进行背景和前景分离，得到优化后的二值化人物图像，具体过程如下：

步骤1021、计算机调取二值化模块对人物图像进行二值化处理，得到二值化人物图像；其中，二值化人物图像的背景为白色，二值化人物图像中人物区域为黑色；

步骤1022、计算机调取腐蚀模块对二值化人物图像进行腐蚀处理，得到腐蚀后的二值化人物图像；

步骤1023、计算机调取膨胀模块对腐蚀后的二值化人物图像进行膨胀处理，得到优化后的二值化人物图像。

上述的一种人像风格迁移方法，其特征在于：步骤104中计算机根据优化后的二值化人物图像，将人物图像中中的人物区域与背景图像合成，得到合成人物图像，具体过程如下：

步骤1041、计算机调取CNNY边缘提取模块对优化后的二值化人物图像进行边缘提取，得到人物区域轮廓；

步骤1042、计算机将人物区域轮廓所围设的区域标记为人物区域，并获取人物图像中所对应的人物区域各个像素点的像素坐标与RGB三分量值；其中，按照从左到右从上到下的顺序，将人物区域中第a个像素点的像素坐标记作(u

步骤1043、计算机将背景图像中第a个像素点的像素坐标(u

上述的一种人像风格迁移方法，其特征在于：步骤201中初始的生成图像的大小和内容图像的大小相同，初始的生成图像为RGB彩色图像，且初始的生成图像上的白噪声服从正态分布。

上述的一种人像风格迁移方法，其特征在于：步骤202中16个卷积层的激活函数均为ReLU激活函数，16个卷积层的内核大小均为3×3，16个卷积层的步长均为1，5个池化层的内核大小均为2×2，5个池化层的步长均为2。

上述的一种人像风格迁移方法，其特征在于：步骤207中内容损失的加权系数α的取值为0～2，风格损失的加权系数ρ的取值为0～1000，总变差正则化损失的权重γ的取值为100～110；

步骤301中梯度下降算法中学习率α′的取值为0＜α′＜1；

步骤302中迭代优化预设次数为2000次～2100次。

本发明与现有技术相比具有以下优点：

1、本发明人像风格迁移方法步骤简单，设计合理，提高了人像风格迁移的质量和效果。

2、本发明人像风格迁移方法使用效果好，首先是获取人物图像和背景图像，并将人物图像和背景图像的合成得到内容图像；其次是风格迁移总损失函数的建立，最后是采用梯度下降法利用总损失函数对初始的生成图像进行迭代优化，得到最后的风格迁移图像与内容图像和风格图像相似，提高了人像风格迁移的质量和效果。

3、本发明所采用的风格迁移总损失函数的建立中考虑内容损失、风格损失、总变差正则化损失和正则惩罚项作为总损失函数，从而便于利用总损失函数进行后续的迭代优化，通过正则惩罚项对内容图像的迁移过程增加约束，通过总变差正则化损失能有效的去除生成图像中的噪音同时能保留生成图像的轮廓与纹理细节，以使生成图像平滑，提高了人像风格迁移的质量和效果。

综上所述，本发明方法步骤简单，设计合理，通过内容损失、风格损失、总变差正则化损失和正则惩罚项作为总损失函数，从而采用梯度下降法进行迭代优化，以使最后的风格迁移图像与内容图像和风格图像相似，提高了人像风格迁移的质量和效果。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明一种人像风格迁移方法的流程框图。

具体实施方式

如图1所示的一种人像风格迁移方法，该方法包括以下步骤：

步骤一、获取内容图像：

步骤101、采用摄像机在纯色背景下对人物进行拍摄，获取人物图像；其中，人物图像的大小为A×C个像素点，且A大于C，A和C均为正整数，其中，A表示行，C表示列；

步骤102、计算机对人物图像进行背景和前景分离，得到优化后的二值化人物图像；其中，优化后的二值化人物图像为人物图像；

步骤103、从计算机的背景图像库中选择背景图像；其中，背景图像的大小为A×C个像素点；

步骤104、计算机根据优化后的二值化人物图像，将人物图像中的人物区域与背景图像合成，得到合成人物图像，并将合成人物图像作为内容图像；

步骤二、风格迁移总损失函数的建立：

步骤201、随机生成白噪声图像作为初始的生成图像；

步骤202、选取卷积神经网络VGG19作为原始模型；其中，卷积神经网络VGG19包括16个卷积层和5个池化层，16个卷积层分别为Relu1_1卷积层，Relu1_2卷积层；Relu2_1卷积层，Relu2_2卷积层；Relu3_1卷积层，Relu3_2卷积层，Relu3_3卷积层，Relu3_4卷积层；Relu4_1卷积层，Relu4_2卷积层，Relu4_3卷积层，Relu4_4卷积层；Relu5_1卷积层，Relu5_2卷积层，Relu5_3卷积层，Relu5_4卷积层；

步骤203、计算机获取内容损失，具体过程如下：

步骤2031、将内容图像和初始的生成图像输入原始模型，并设定内容图像经Relu4_1卷积层输出第4_1层内容特征图，内容图像经Relu5_1卷积层输出第5_1层内容特征图；

设定初始的生成图像经Relu4_1卷积层输出第4_1层生成特征图，初始的生成图像经Relu5_1卷积层输出第5_1层生成特征图；其中，第4_1层内容特征图、第5_1层内容特征图、第4_1层生成特征图和第5_1层生成特征图的数量均为N，且N＝512；

步骤2032、计算机根据公式

计算机根据公式

步骤2033、计算机根据公式

步骤204、计算机获取风格损失，具体过程如下：

步骤2041、计算机将第一遮罩层覆盖在风格图像上，生成第一遮罩风格图像；计算机将第二遮罩层覆盖在风格图像上，生成第二遮罩风格图像；其中，第一遮罩层中人物区域的透明度设置为100％，第一遮罩层中背景区域的透明度设置为0；第二遮罩层中人物区域的透明度设置为0，第二遮罩层中背景区域的透明度设置为100％，第一遮罩层和第二遮罩层中背景区域均为白色，第一遮罩层中和第二遮罩层中人物区域均为黑色；

步骤2042、计算机将第一遮罩层覆盖在初始的生成图像上，生成第一遮罩生成图像，计算机将第二遮罩层覆盖在初始的生成图像上，生成第二遮罩生成图像；

步骤2043、计算机将第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像输入原始模型，且分别经Relu1_1卷积层、Relu2_1卷积层、Relu3_1卷积层、Relu4_1卷积层和Relu5_1卷积层输出的特征图进行风格损失的获取方法相同，其中，对经Relu c_1卷积层输出的特征图进行风格损失的获取，具体过程如下：

步骤20431、设定第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像分别经Relu c_1卷积层输出第c_1层第一遮罩风格特征图、第c_1层第二遮罩风格特征图、第c_1层第一遮罩生成特征图和第c_1层第二遮罩生成特征图；且第c_1层第一遮罩风格特征图，第c_1层第二遮罩风格特征图、第c_1层第一遮罩生成特征图和第c_1层第二遮罩生成特征图的数量均为N

步骤20432、计算机获取N

获取N

获取N

获取N

步骤20433、计算机根据公式

步骤20434、计算机根据公式

步骤205、计算机根据公式

步骤206、计算机根据公式

步骤207、计算机根据公式L

步骤三、生成图像的迭代优化：

步骤301、计算机采用梯度下降法，利用总损失函数对初始的生成图像进行迭代优化；

步骤302、重复步骤301迭代优化直至满足迭代优化预设次数，得到风格迁移图像。

本实施例中，步骤102中计算机对人物图像进行背景和前景分离，得到优化后的二值化人物图像，具体过程如下：

步骤1021、计算机调取二值化模块对人物图像进行二值化处理，得到二值化人物图像；其中，二值化人物图像的背景为白色，二值化人物图像中人物区域为黑色；

步骤1022、计算机调取腐蚀模块对二值化人物图像进行腐蚀处理，得到腐蚀后的二值化人物图像；

步骤1023、计算机调取膨胀模块对腐蚀后的二值化人物图像进行膨胀处理，得到优化后的二值化人物图像。

本实施例中，步骤104中计算机根据优化后的二值化人物图像，将人物图像中中的人物区域与背景图像合成，得到合成人物图像，具体过程如下：

步骤1041、计算机调取CNNY边缘提取模块对优化后的二值化人物图像进行边缘提取，得到人物区域轮廓；

步骤1042、计算机将人物区域轮廓所围设的区域标记为人物区域，并获取人物图像中所对应的人物区域各个像素点的像素坐标与RGB三分量值；其中，按照从左到右从上到下的顺序，将人物区域中第a个像素点的像素坐标记作(u

步骤1043、计算机将背景图像中第a个像素点的像素坐标(u

本实施例中，步骤201中初始的生成图像的大小和内容图像的大小相同，初始的生成图像为RGB彩色图像，且初始的生成图像上的白噪声服从正态分布。

本实施例中，步骤202中16个卷积层的激活函数均为ReLU激活函数，16个卷积层的内核大小均为3×3，16个卷积层的步长均为1，5个池化层的内核大小均为2×2，5个池化层的步长均为2。

本实施例中，步骤207中内容损失的加权系数α的取值为0～2，风格损失的加权系数ρ的取值为0～1000，总变差正则化损失的权重γ的取值为100～110；

步骤301中梯度下降算法中学习率α′的取值为0＜α′＜1；

步骤302中迭代优化预设次数为2000次～2100次。

本实施例中，实际使用时，优化后的二值化人物图像作为第一遮罩层和第二遮罩层。

本实施例中，获取总变差正则化损失，能有效的去除生成图像中的噪音同时能保留生成图像的轮廓与纹理细节，以使生成图像平滑，提高了人像风格迁移的质量和效果。

本实施例中，人物图像的大小为1200×840，背景图像的大小为1200×840。风格图像的大小为1200×840，且A＝1200，C＝840。

本实施例中，计算机将第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像输入原始模型，并设定第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像分别经Relu1_1卷积层输出第1_1层第一遮罩风格特征图、第1_1层第二遮罩风格特征图、第1_1层第一遮罩生成特征图和第1_1层第二遮罩生成特征图；且第1_1层第一遮罩风格特征图、第1_1层第二遮罩风格特征图、第1_1层第一遮罩生成特征图和第1_1层第二遮罩生成特征图的数量均为N

本实施例中，计算机将第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像输入原始模型，并设定第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像分别经Relu2_1卷积层输出第2_1层第一遮罩风格特征图、第2_1层第二遮罩风格特征图、第2_1层第一遮罩生成特征图和第2_1层第二遮罩生成特征图；且第2_1层第一遮罩风格特征图、第2_1层第二遮罩风格特征图、第2_1层第一遮罩生成特征图和第2_1层第二遮罩生成特征图的数量均为N

本实施例中，计算机将第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像输入原始模型，并设定第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像分别经Relu3_1卷积层输出第3_1层第一遮罩风格特征图、第3_1层第二遮罩风格特征图、第3_1层第一遮罩生成特征图和第3_1层第二遮罩生成特征图；且第3_1层第一遮罩风格特征图、第3_1层第二遮罩风格特征图、第3_1层第一遮罩生成特征图和第3_1层第二遮罩生成特征图的数量均为N

本实施例中，计算机将第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像输入原始模型，并设定第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像分别经Relu4_1卷积层输出第4_1层第一遮罩风格特征图、第4_1层第二遮罩风格特征图、第4_1层第一遮罩生成特征图和第4_1层第二遮罩生成特征图；且第4_1层第一遮罩风格特征图、第4_1层第二遮罩风格特征图、第4_1层第一遮罩生成特征图和第4_1层第二遮罩生成特征图的数量均为N

本实施例中，计算机将第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像输入原始模型，并设定第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像分别经Relu5_1卷积层输出第5_1层第一遮罩风格特征图、第5_1层第二遮罩风格特征图、第5_1层第一遮罩生成特征图和第5_1层第二遮罩生成特征图；且第5_1层第一遮罩风格特征图、第5_1层第二遮罩风格特征图、第5_1层第一遮罩生成特征图和第5_1层第二遮罩生成特征图的数量均为N

本实施例中，梯度下降算法中学习率α′的取值为0.1。

本实施例中，设置α和ρ，是为了平衡内容损失和风格损失，α越大语义内容信息保留的越多生成的风格化图像语义轮廓更加清晰，相应的ρ越大纹理风格信息保留的越多生成的风格化图像风格化程度越大。从而使生成图像具有内容图像的内容和风格图像的风格，实现了图像风格的迁移。

本实施例中，设置γ的取值为100～110，能有效的去除生成图像中的噪音同时能保留图像的轮廓与纹理细节。

综上所述，本发明方法步骤简单，设计合理，通过内容损失、风格损失、总变差正则化损失和正则惩罚项作为总损失函数，从而采用梯度下降法进行迭代优化，以使最后的风格迁移图像与内容图像和风格图像相似，提高了人像风格迁移的质量和效果。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。