一种基于稀疏表示的多层次图像风格的转换方法及装置

摘要

本发明公开了一种基于稀疏表示的多层次图像风格的转换方法及装置，该方法包括：将待转换的彩色图像转换成第一灰度图像，通过提取第一灰度图像和目标风格图像的边缘特征重建第一灰度图像的结构层作为第二灰度图像和纹理层作为第三灰度图像，获取彩色图像中的显著区域和非显著区域，在显著区域和非显著区域采用不同的权值融合第二灰度图像和第三灰度图像得到第四灰度图像，根据目标风格图像调整所述第四灰度图像的饱和对比度，获得与目标风格图像风格相同的彩色图像。该方法不仅保留了待转换图像的结构特征，也增添了目标风格图像的纹理特征，实现了通过一张目标风格图像就可以完成待转换图像的风格转换，展示了良好的视觉效果。

说明书

技术领域

本发明涉及图像合成重建技术领域，具体涉及一种基于稀疏表示的多层次图像风格的转换方法及装置。

背景技术

图像风格化旨在将一种风格的图像转变为另一种指定风格的图像，输入的待转换图像和输出的转换后图像有相同的内容但是却有着完全不同的视觉体验。

过去几十年，图像风格化一直是研究的热门领域。Hertzmann提出通过叠加虚拟笔触合成风格化的图像，这种方法适用于将待转换图像转变成固定的目标风格的图像，比如油画风格、蜡笔风格，却不适用于对输入图像进行自定义风格的转化。

为了将用户自定义的图像风格移植到待转换图像上，目前还提出在特征空间进行映射的方法。基于字典的稀疏表示因其在恢复场景方面的出色性能而被广泛研究，这种方法通常分为两个阶段：字典训练阶段和图像重建阶段。在字典训练阶段，待转换图像和目标风格图像对被分解为小的图像块，图像块对之间的关系通过稀疏空间的映射进行训练；在图像重建阶段，基于图像对之间共享相同稀疏系数的假设，重建的图像块与对应的目标风格图像块具有相同的稀疏系数表示。这种方法建立在存在外部训练集的假设上，但是在现实生活中，人们在遇到了一个特定的图片后，通常希望能够通过这一仅有的风格图片将目标风格迁移到自己的图片上，导致用于训练字典的图像对过少，因而这一方法没能得到广泛的应用。

发明内容

针对现有技术中的缺陷，本发明提供了一种基于稀疏表示的多层次图像风格的转换方法及装置，实现了通过一张目标风格图像就可以完成待转换图像的风格转换，具有良好的视觉效果。

第一方面，本发明提供一种基于稀疏表示的多层次图像风格的转换方法，包括：

将待转换的彩色图像转换成第一灰度图像，通过提取所述第一灰度图像和目标风格图像的边缘特征重建所述第一灰度图像的结构层和纹理层，并将包括所述结构层的图像作为第二灰度图像，将包括所述纹理层的图像作为第三灰度图像；

根据所述彩色图像中每一像素的对比度，获取所述彩色图像中的显著区域和非显著区域，并在所述显著区域和非显著区域采用不同的权值融合所述第二灰度图像和所述第三灰度图像得到第四灰度图像，其中，所述显著区域为所述对比度大于等于预设阈值的区域，所述非显著区域为所述对比度小于预设阈值的区域；

根据所述目标风格图像调整所述第四灰度图像的饱和对比度，获得与所述目标风格图像风格相同的彩色图像。

可选的，所述通过提取所述第一灰度图像和目标风格图像的边缘特征重建所述第一灰度图像的结构层和纹理层，包括：

提取所述第一灰度图像和目标风格图像的边缘特征构建字典，利用稀疏表示的方法对所述字典进行训练，通过稀疏分解得到重建后的结构层；

将所述目标风格图像中每一像素的纹理层合成到所述第一灰度图像中与所述目标风格图像对应像素的纹理层。

可选的，所述提取所述第一灰度图像和目标风格图像的边缘特征，包括：

对所述第一灰度图像和目标风格图像进行滤波分别得到滤波后 的第一灰度图像和目标风格图像，并将所述第一灰度图像和目标风格图像与所述滤波后的第一灰度图像和目标风格图像进行差值运算，得到所述第一灰度图像和目标风格图像的边缘特征。

可选的，所述根据所述目标风格图像调整所述第四灰度图像的饱和对比度，包括：

分别获取所述彩色图像与所述目标风格图像在HSV空间中表示S饱和度和V值两个方向轴的第一直方图和第二直方图；

将所述第一直方图和第二直方图进行匹配，调整所述第四灰度图像的饱和对比度。

可选的，所述方法还包括：

根据所述目标风格图像，采用正片叠底的方法对调整饱和对比度后的第四灰度图像添加画板层。

第二方面，本发明还提供了一种基于稀疏表示的多层次图像风格的转换装置，包括：

转换模块，用于将待转换的彩色图像转换成第一灰度图像；

第一构建模块，用于将待转换的彩色图像转换成第一灰度图像，通过提取所述第一灰度图像和目标风格图像的边缘特征重建所述第一灰度图像的结构层和纹理层，并将包括所述结构层的图像作为第二灰度图像，将包括所述纹理层的图像作为第三灰度图像；

获取模块，用于根据所述彩色图像中每一像素的对比度，获取所述彩色图像中的显著区域和非显著区域，其中，所述显著区域为所述对比度大于等于预设阈值的区域，所述非显著区域为所述对比度小于预设阈值的区域；

第二构建模块，用于在所述显著区域和非显著区域采用不同的权值融合所述第二灰度图像和所述第三灰度图像得到第四灰度图像；

第三构建模块，用于根据所述目标风格图像调整所述第四灰度图像的饱和对比度，获得与所述目标风格图像风格相同的彩色图像。

可选的，所述第一构建模块，具体用于：

提取所述第一灰度图像和目标风格图像的边缘特征构建字典，利用稀疏表示的方法对所述字典进行训练，通过稀疏分解得到重建后的结构层；

将所述目标风格图像中每一像素的纹理层合成到所述第一灰度图像中与所述目标风格图像对应像素的纹理层。

可选的，所述第一构建模块，还用于：

对所述第一灰度图像和目标风格图像进行滤波分别得到滤波后的第一灰度图像和目标风格图像，并将所述第一灰度图像和目标风格图像与所述滤波后的第一灰度图像和目标风格图像进行差值运算，得到所述第一灰度图像和目标风格图像的边缘特征。

可选的，所述第三构建模块，具体用于：

分别获取所述彩色图像与所述目标风格图像在HSV空间中表示S饱和度和V值两个方向轴的第一直方图和第二直方图；

将所述第一直方图和第二直方图进行匹配，调整所述第四灰度图像的饱和对比度。

可选的，所述装置还包括：

第四构建模块，用于根据所述目标风格图像，采用正片叠底的方法对调整饱和对比度后的第四灰度图像添加画板层。

由上述技术方案可知，本发明提供的一种基于稀疏表示的多层次图像风格的转换方法及装置，该方法通过根据目标风格图像重建待转换图像的结构层和纹理层，然后分离出待转换图像的显著区域和非显著区域，并在融合结构层和纹理层的同时根据某块像素是否属于显著区域给予不同的权重值，得到最终风格化后的图像，该方法不仅保留了待转换图像的结构特征，也增添了目标风格图像的纹理特征，实现了通过一张目标风格图像就可以完成待转换图像的风格转换，展示了良好的视觉效果。

附图说明

图1为本发明一实施例提供的一种基于稀疏表示的多层次图像风格的转换方法的流程示意图；

图2为本发明一实施例提供的一种基于稀疏表示的多层次图像风格的转换装置的结构示意图。

具体实施方式

下面结合附图，对发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本发明实施例提供的一种基于稀疏表示的多层次图像风格的转换方法的流程示意图，如图1所示，该方法包括以下步骤：

101、将待转换的彩色图像转换成第一灰度图像，通过提取所述第一灰度图像和目标风格图像的边缘特征重建所述第一灰度图像的结构层和纹理层，并将包括所述结构层的图像作为第二灰度图像，将包括所述纹理层的图像作为第三灰度图像；

102、根据所述彩色图像中每一像素的对比度，获取所述彩色图像中的显著区域和非显著区域，并在所述显著区域和非显著区域采用不同的权值融合所述第二灰度图像和所述第三灰度图像得到第四灰度图像，其中，所述显著区域为所述对比度大于等于预设阈值的区域，所述非显著区域为所述对比度小于预设阈值的区域；

103、根据所述目标风格图像调整所述第四灰度图像的饱和对比度，获得与所述目标风格图像风格相同的彩色图像。

上述方法通过根据目标风格图像重建待转换图像的结构层和纹理层，然后分离出待转换图像的显著区域和非显著区域，并在融合结构层和纹理层的同时根据某块像素是否属于显著区域给予不同的权 重值，得到最终风格化后的图像，该方法不仅保留了待转换图像的结构特征，也增添了目标风格图像的纹理特征，实现了通过一张目标风格图像就可以完成待转换图像的风格转换，展示了良好的视觉效果。

下面通过具体的实施例对上述方法进行详细说明，本实施例中对应的是将普通的彩色图像转换成油画风格的图像，本实施例仅用作举例说明，对上述转换图像的风格不进行限定。

上述步骤101具体包括图1中未示出的如下子步骤：

1011、提取所述第一灰度图像和目标风格图像的边缘特征构建字典，利用稀疏表示的方法对所述字典进行训练，通过稀疏分解得到重建后的结构层。

相应的，提取所述第一灰度图像和目标风格图像的边缘特征，包括：

对所述第一灰度图像和目标风格图像进行滤波分别得到滤波后的第一灰度图像和目标风格图像，并将所述第一灰度图像和目标风格图像与所述滤波后的第一灰度图像和目标风格图像进行差值运算，得到所述第一灰度图像和目标风格图像的边缘特征。

由于不存在照片和油画图像对的训练集，因此利用在大多数风格中都不变的边缘特征来对待转换图像和目标风格图像来构建字典。通过引导图像滤波器对图像进行滤波，原始图像减去过滤后的图像就可以得到边缘图像，在边缘图像中可以进行图像块匹配，并如下式利用梯度均方误差来计算边缘图像块的相似度W(p,q)：

$W(p,q)={\left|\right|p-q\left|\right|}_2^2+\eta {\left|\right|▿p-▿q\left|\right|}_2^2$

其中，p代表彩色图像中每一像素的像素块、q代表目标风格图像

中每一像素的像素块，用来计算像素块的梯度。

在获得对应的图像块对集合之后就可以利用常见的稀疏方法对字典进行训练，最后再利用稀疏分解得到重建好的结构层。

1012、将所述目标风格图像中每一像素的纹理层合成到所述第一灰度图像中与所述目标风格图像对应像素的纹理层。

油画与普通照片的一个很大的区别就在于它丰富的纹理。本实施例使用纹理迁移的方法，参考输入风格图像的图像块来进行纹理合成，从而保持更多的纹理细节。纹理合成过程中，可以依照光栅扫描顺序单元块，在每一个位置,输入纹理是在一定错误容忍的条件下寻找满足重叠限制的一组图像块。最适合的图像块应与输入图像匹配,同时在一些削减后无缝融入邻域，最后组成纹理层。

上述步骤102中的确定显著层，考虑到显著层的高度结构性，在融合结构层和纹理层时使用显著掩膜。首先检测和划分出图像的显著区域。为了确定图像的显著区域是相对于邻域在视觉上更显著的区域，使用对比度滤波器，在不同的尺度工作产生显著性分布图，同时将显著度超过一定阈值的像素划分到同一个区域即可定义出图像的显著区域。之后融合的过程中，显著掩膜在显著区域和非显著区域采用不同的权值来完成结构层Z_SL和纹理层Z_TL的融合，若融合时对于结构层的显著部分采用权值α，对于非显著部分采用权值β，则具体计算可以如下公式：

Z_F＝α*Z_SL1+(1-α)*Z_TL1+β*Z_SL2+(1-β)*Z_TL2

其中，Z_F为第四灰度图像，Z_SL1、Z_SL2分别代表结构层的显著部分和非显著部分，同理，Z_TL1、Z_TL2分别代表纹理层的显著部分和非显著部分。

上述步骤103中根据所述目标风格图像调整所述第四灰度图像的饱和对比度，体现在颜色层，具体包括：

分别获取所述彩色图像与所述目标风格图像在HSV空间中表示S饱和度和V值两个方向轴的第一直方图和第二直方图；

将所述第一直方图和第二直方图进行匹配，调整所述第四灰度图像的饱和对比度。

由于考虑到使用的色彩也是艺术家油画风格中的一个重要特点，本实施例在HSV空间中将S饱和度和V值两个轴，将求得的油画图片和输入风格的油画图片的这两个轴完成直方图匹配，从而调整饱和度和对比度，让相似度更大。

具体的上述方法还包括图1中未示出的步骤：

104、根据所述目标风格图像，采用正片叠底的方法对调整饱和对比度后的第四灰度图像添加画板层。

考虑到画家可能选择不同的类似纸、木板或者尼龙布之类的材料来做画板，不同的画板会产生不同的绘画效果。因此对于求得的油画图片Z_C，可以采用正片叠底的方法，添加画板的信息Z_S，从而得到最终的结果Z。

Z(i)＝Z_C(i)*Z_S/255,i＝1,2,3.

Zc(i)代表求得油画图片的单通道图像，同理，Z(i)代表结果对应的单通道图像，i代表RGB图像的三个通道即红色、绿色和蓝色通道。

上述方法的框架由五部分组成：结构层、纹理层、显著层、颜色层和画板层。通过提取边缘特征来对输入的待转换图像和目标风格图像构建字典，再利用稀疏分解重建结构层；基于样例的纹理层通过参考目标风格图像的图像块进行合成；接下来，分离出待转换图像中视觉效果最明显的显著层，在融合纹理层和结构层时根据其是否属于显著区域给予不同的权重；同时，颜色的多样性和画布的特质通常更能反映油画的特征，所以兼顾考虑了颜色层和画板层，使风格化后的照片和原油画图片的风格更加一致。

本实施例在稀疏表示的框架基础上，结合基于样例的方法，将照片-油画合成模型分层，使用显著掩膜引导结构层和纹理层的融合，不仅保留了待转换图像的结构特征，也增添了目标风格图像的纹理特征，充分结合了基于稀疏表示的方法和基于样例的方法的优点，并且考虑了能够体现艺术家特征的油画色彩和画板特性，展示了良好的视 觉效果。

图2示出了本实施例提供的一种基于稀疏表示的多层次图像风格的转换装置的结构示意图，如图2所示，该装置包括：

转换模块21，用于将待转换的彩色图像转换成第一灰度图像；

第一构建模块22，用于将待转换的彩色图像转换成第一灰度图像，通过提取所述第一灰度图像和目标风格图像的边缘特征重建所述第一灰度图像的结构层和纹理层，并将包括所述结构层的图像作为第二灰度图像，将包括所述纹理层的图像作为第三灰度图像；

获取模块23，用于根据所述彩色图像中每一像素的对比度，获取所述彩色图像中的显著区域和非显著区域，其中，所述显著区域为所述对比度大于等于预设阈值的区域，所述非显著区域为所述对比度小于预设阈值的区域；

第二构建模块24，用于在所述显著区域和非显著区域采用不同的权值融合所述第二灰度图像和所述第三灰度图像得到第四灰度图像；

第三构建模块25，用于根据所述目标风格图像调整所述第四灰度图像的饱和对比度，获得与所述目标风格图像风格相同的彩色图像。

在上述实施例中的一个优选的实施例中，所述第一构建模块22，具体用于：

提取所述第一灰度图像和目标风格图像的边缘特征构建字典，利用稀疏表示的方法对所述字典进行训练，通过稀疏分解得到重建后的结构层；

将所述目标风格图像中每一像素的纹理层合成到所述第一灰度图像中与所述目标风格图像对应像素的纹理层。

所述第一构建模块22，还用于：

对所述第一灰度图像和目标风格图像进行滤波分别得到滤波后的第一灰度图像和目标风格图像，并将所述第一灰度图像和目标风格 图像与所述滤波后的第一灰度图像和目标风格图像进行差值运算，得到所述第一灰度图像和目标风格图像的边缘特征。

所述第三构建模块25，具体用于：

分别获取所述彩色图像与所述目标风格图像在HSV空间中表示S饱和度和V值两个方向轴的第一直方图和第二直方图；

将所述第一直方图和第二直方图进行匹配，调整所述第四灰度图像的饱和对比度。

所述装置还包括图2中未示出的第四层次构建模块26：

第四构建模块26，用于根据所述目标风格图像，采用正片叠底的方法对调整饱和对比度后的第四灰度图像添加画板层。

上述基于稀疏表示的多层次图像风格的转换装置可以为第三方软件设置在手机或平板电脑中，也可以理解为APP，本实施例不对其进行限定。

上述装置与上述方法是一一对应的关系，本实施例不再对上述装置的实施细节进行详细说明。

本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。