一种基于照片现实主义正则项的图像风格转移方法

摘要

本发明公开了一种基于语义分割的风景图像风格转移方法，该方法提高了风格转移过程中出现的语义内容不匹配、误匹配等缺陷，解决了不同场景语义匹配准确度问题。根据风格转移理论，设计了语义分割方法，使用空洞卷积金字塔池化操作得出特征映射，编码‑解码器得出语义分割结果，语义‑风格拼接网络得出风格转移后的目标图像。实验结果表明，本方法对风格转移效果较好，对内容图像的影响较小，具有较好的视觉效果。

说明书

技术领域

本发明属于风格转移的数字图像处理领域，主题内容是一种基于照片现实主义正则项的图像风格转移方法，具有良好的图像风格迁移效果。

背景技术

近年来，图像风格迁移被众多学者广泛研究，一幅具有艺术风格的风景画的创作需要画家掌握到风景画的真实性与建筑物的鲜明特点，需要艺术家倾注大量的时间和精力。将计算机技术运用到该创作过程中，将在艺术创作上给予艺术家及相关工作者在理论与创作上的帮助，将大幅提高画作创作的质量与数量。

图像风格转移是一种重要的图像处理手段，其可以生成具有不同风格，但内容不变的目标图像。一幅具有艺术风格的风景画的创作需要画家掌握到风景画的真实性与建筑物的鲜明特点，需要艺术家倾注大量的时间和精力。如果能够将计算机技术运用到该创作过程中，将在艺术创作上给予艺术家及相关工作者在理论与创作上的帮助，将大幅提高画作创作的质量与数量，具有理论意义与现实意义。

发明内容

针对传统风格转移算法中出现的目标图像边缘模糊扭曲的缺陷，本文以包含风景的内容图像与风格图像为研究对象，采结合卷积神经网络算法，提出了基于现实主义正则项的风景照片风格转移方法。

主要技术方案包括：对内容图像添加现实主义正则项操作来约束输入图像的结构，为保证边缘信息完整，使用一个边缘信息块突出边缘信息，得出目标图像。

实验结果表明,该方法能够较好的避免目标图像中存在的扭曲现象，使用经改进后的算法图像风格转移效果较好。

附图说明

下面是该方法主要的附图。

图1是本发明方法(PBS-NST)与传统风格转移方法(BS-NST)的目标图像对比图。

图2是相同内容-风格图像6次实验对比图。

图3是不同算法的迭代次数与时间关系。

图4是本发明方法(PBS-NST)与传统风格转移方法(BS-NST)的损失函数对比图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。

本发明的流程图如图1所示，基于语义分割的风景图像风格转移方法，该方法具体包括以下流程：

步骤一：原理部分

对于如何使照片产生逼真输出，我们通过从前景图像F和背景图像B中设计出一个损失函数，使用这个函数可以将F和B消除，从而产生α的二次损失函数。该算法可通过输入图片得到具有高质量、高真实度的蒙版，具有较大的现实意义。

步骤二：设计照片现实主义正则项的表达式

我们利用了一个只依赖输入图像的惩戒函数，矩阵M

最后增强的风格损失如公式所示：

最后得出的PB-NST的总损失函数如公式所示：

Γ

其中，α为内容损失函数权值，β为风格损失函数权值，γ为照片现实主义正则化权重。对图像使用L-BFGS网络梯度下降，迭代目标达到收敛条件，产生融合内容图像内容特征和风格图像风格特征的目标图像。

方法测试

仿真实验分别选用选择6张不同场景的风景照片作为内容图像与风格图像实验对象。

本方法从PSNR、SSIM与损失函数对比来评估该方法的性能，PSNR可以用来评价目标图像与原内容图像相比质量的好坏，PSNR值越高，说明风格转移后图像的质量越高，说明算法对原内容图像的影响越小；SSIM值可以用来评价目标图像与原内容图像的相似度，取值范围在0～1之间，两张图像越像，则SSIM值越趋近于1；损失函数可以表示该算法对图像的影响大小，损失越严重则代表算法越不可靠。传统算法与改进后算法的对比图如图1所示。

表1为传统BN-NST算法与BS-NST算法的输出图片的PSNR值，可以明显得出BS-NST算法的PSNR值均大于PBS-NST算法。通常情况下，PSNR值高，则表示图像的质量越高，PBS-NST算法添加了一项正则项，对输出的图像进行重构和约束，视觉效果更佳，但在无法用肉眼识别出来。

表2为传统BS-NST算法与PBS-NST算法的输出图片的SSIM值，可以明显得出改进后的BS-NST算法的SSIM值均高于PBS-NST算法,说明PBS-NST算法更优。

图2是是相同内容-风格图像6次实验对比图，在用相同内容图像和风格图像的条件下运行6次之后的实验对比图，第一行为PBS-NST算法，第二行为BS-NST算法，每一行的额视觉效果几乎相同。证明BS-NST和PBS-NST算法运行稳定。

图3是BS-NST算法与PBS-NST算法的迭代次数与时间关系，用正则项的PBS-NST算法在约束内容失真方面效果显著，可以抵消时间带来的损耗。

图4为损失函数对比图，在PBS-NST算法与BS-NST算法的基础上分别进行6次实验，画出其损失函数图，可以明显得出PBS-NST算法损失程度较低且更加稳定。