在图像中添加浮世绘海浪倒影的方法和系统

摘要

本发明提供了一种在图像中添加浮世绘海浪倒影的方法和系统，包括：步骤1：基于卷积神经网络VGG‑19模型，对图像样本进行训练，得到浮世绘海浪风格转换模型；步骤2：使用浮世绘海浪风格转换模型处理原图，得到浮世绘海浪风格图像；步骤3：对浮世绘海浪风格图像进行反转和渐变处理，得到海浪倒影图像；步骤4：拼接原图和海浪倒影图像，得到最终的浮世绘海浪倒影图像。本发明通过采用VGG‑19卷积神经网络训练浮世绘海浪风格模型，解决了传统倒影图像水波效果单一的问题，实现了一种现代与古风的对比意象。

说明书

技术领域

本发明涉及图像处理技术领域，具体地，涉及一种在图像中添加浮世绘海浪倒影的方法和系统。

背景技术

目前在社交网络图片展示、商场推广活动以及数字画廊制作图片等各种服务中，需要呈现各种风格的图片，现有的原始图片并不足以满足这种需求。需要将各种原始图片灵活转换成具备某种特定艺术风格的图片，虽然也引入了深度学习网络对图像进行风格迁移处理，但是现有的深度学习网络在保持原始图片的边缘的效果上和风格迁移效果上还不够好，尤其是在图像倒影方面上的处理。

专利文献CN109766895A(申请号：CN201910005026.8)公开了一种用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法。该方法包括：接收尺寸相同的内容图像和风格图像；基于所述内容图像和风格图像利用训练好的卷积神经网络来得到风格迁移后的输出图像，其中，所述卷积神经网络使用包括内容损失函数、风格损失函数和正则化损失函数三者的总损失函数来训练，所述正则化损失函数基于矩阵L构成。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种在图像中添加浮世绘海浪倒影的方法和系统。

根据本发明提供的在图像中添加浮世绘海浪倒影的方法，包括：

步骤1：基于卷积神经网络VGG-19模型，对图像样本进行训练，得到浮世绘海浪风格转换模型；

步骤2：使用浮世绘海浪风格转换模型处理原图，得到浮世绘海浪风格图像；

步骤3：对浮世绘海浪风格图像进行反转和渐变处理，得到海浪倒影图像；

步骤4：拼接原图和海浪倒影图像，得到最终的浮世绘海浪倒影图像。

优选的，选择不同类型的浮世绘海浪风格主题并传入到浮世绘海浪风格转换模型中，对原图进行处理，得到不同类型的浮世绘海浪风格图。

优选的，所述步骤2包括：通过高斯滤波对图像进行降噪，公式为：

其中，G(x,y)为二维高斯分布；σ为标准方差，值越大，高斯函数的峰越宽，临接的数值差越大；e为自然常数；x为x轴数值，y为y轴数值。

优选的，使用图像处理矩阵对图像进行反转；

使用画板Canvas画出图像的渐变色图，包括文字和日期。

优选的，把风格主题图片、待处理图像一起输入到VGG-19训练好的浮世绘海浪风格转换模型中，生成目标的损失函数是内容损失函数和风格损失函数的加权和，损失函数计算公式如下：

J(G)＝αJcontent(C,G)+βJstyle(S,G)

其中：C是输入图像；S是风格主题图像；G是生成图像；J是总损失；α是内容损失权重；β是风格损失权重；

采用梯度下降法，经预设次数迭代最小化损失函数，最后生成浮世绘海浪风格图像。

根据本发明提供的在图像中添加浮世绘海浪倒影的系统，包括：

模块M1：基于卷积神经网络VGG-19模型，对图像样本进行训练，得到浮世绘海浪风格转换模型；

模块M2：使用浮世绘海浪风格转换模型处理原图，得到浮世绘海浪风格图像；

模块M3：对浮世绘海浪风格图像进行反转和渐变处理，得到海浪倒影图像；

模块M4：拼接原图和海浪倒影图像，得到最终的浮世绘海浪倒影图像。

优选的，选择不同类型的浮世绘海浪风格主题并传入到浮世绘海浪风格转换模型中，对原图进行处理，得到不同类型的浮世绘海浪风格图。

优选的，所述模块M2包括：通过高斯滤波对图像进行降噪，公式为：

其中，G(x,y)为二维高斯分布；σ为标准方差，值越大，高斯函数的峰越宽，临接的数值差越大；e为自然常数；x为x轴数值，y为y轴数值。

优选的，使用图像处理矩阵对图像进行反转；

使用画板Canvas画出图像的渐变色图，包括文字和日期。

优选的，把风格主题图片、待处理图像一起输入到VGG-19训练好的浮世绘海浪风格转换模型中，生成目标的损失函数是内容损失函数和风格损失函数的加权和，损失函数计算公式如下：

J(G)＝αJcontent(C,G)+βJstyle(S,G)

其中：C是输入图像；S是风格主题图像；G是生成图像；J是总损失；α是内容损失权重；β是风格损失权重；

采用梯度下降法，经预设次数迭代最小化损失函数，最后生成浮世绘海浪风格图像。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明通过采用VGG-19卷积神经网络训练浮世绘海浪风格模型，解决了传统倒影图像水波效果单一的问题，实现了一种现代与古风的对比意象；

(2)通过本发明的方法，可以减少迭代次数，常规是500-1000次迭代，本发明只需要进行300次迭代，解决了风格转换对原图扭曲过多的问题，减少图片处理时间。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为卷积神经网络VGG-19模型图；

图2为VGG-19图像风格转换原理图；

图3为流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例：

根据本发明提供的一种图像添加浮世绘海浪倒影的实现方法，如图1，为卷积神经网络VGG-19模型图，使用VGG-19训练浮世绘海浪风格转换模型，使用该模型处理图像，得到浮世绘海浪风格图，画出风格图像反转图渐变颜色得到海浪倒影图像，拼接原图和倒影图得到最终海浪倒影图像，具体步骤如图3：

步骤1：基于卷积神经网络VGG-19，对图片样本数据进行浮世绘海浪风格转换模型训练；

步骤2：在手机端app选择不同类型的浮世绘海浪风格主题b；

步骤3：图像降噪，通过高斯滤波对原图a做处理，得到图c；

步骤4：手机端app上传图c到服务器；

步骤5：基于训练后的浮世绘海浪风格转换模型，传入风格主题b和图c，对图c进行图片风格转换操作，得到浮世绘海浪风格的图d；

步骤6：服务器将图d回传给手机端app；

步骤7：手机端app使用图像处理矩阵来处理图d，得到反转图e；

步骤8：手机端app使用画板Canvas画出图e渐变色图f；

步骤9：在图f上添加用户输入的仿古题字和日期，得到图g；

步骤10：拼接原图和图g，得到最终的浮世绘海浪倒影图像h。

所述步骤9包括如下步骤：

步骤9.1：手机端app弹框供用户输入文字、选择日期、选择字体；

步骤9.2：在图f上使用画板Canvas画出文字、日期，得到图g。

所述步骤3中的高斯滤波，本方法使用3*3的高斯滤波器核：

G(x,y)为二维高斯分布；σ为标准方差，值越大，高斯函数的峰越宽，临接的数值差越大；e为自然常数；x为x轴数值，y为y轴数值；

如图2，为VGG-19图像风格转换原理图，图中：Style loos为风格损失；Toatl loss为总损失；Content loss为内容损失；NetWork为VGG-19卷积神经网络；input image为输入图像；style image为风格图像；output image为输出图像；input tensor为输入的张量。具体如下：

把风格图片、图像一起输入到VGG-19训练好的浮世绘海浪风格转换模型，生成目标的损失函数是内容损失函数和风格损失函数的加权和，损失函数计算公式如下：

J(G)＝αJcontent(C,G)+βJstyle(S,G)

其中：C是输入图像；S是风格图像；G是生成图像；J是总损失；α是内容损失权重；β是风格损失权重。

采用梯度下降法，经300次迭代最小化损失函数，最后生成风格迁移结果图像。

反转图实现方法：

int a＝1；

Int b＝-1；

int width＝image.getWidth()；

int height＝image.getHeight()；

Matrix matrix＝new Matrix()；

matrix.preScale(a,b)；

Bitmap reflectionImage＝Bitmap.createBitmap(image,0,

height/2,width,height/2,matrix,false)；

其中：image为原图a对象；matrix为图像处理矩阵；a表示x方向上以原比例为准保持不变，正数表示方向不变，设置为1，表示不做处理；b表示y方向上以原比例为准保持不变，负数表示方向取反，设置为-1，表示比例不变得情况下方向取反，实现图片的反转

图片渐变色处理：

Canvas canvas＝new Canvas(reflectionImage)；

Paint paint＝new Paint()；

LinearGradient shader＝new LinearGradient(0,image

.getHeight(),0,reflectionImage.getHeight()

,0x70ffffff,0x00ffffff,TileMode.MIRROR)；

paint.setShader(shader)；

canvas.drawRect(0,image.getHeight(),image

.getWidth(),reflectionImage.getHeight()

,paint)；

其中：canvas为画布；paint为画笔；shader为线性渐变着色器；reflectionImage为翻转图。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。