基于深度伽马变换的自然图像增强方法

摘要

本发明公开了一种基于深度伽马变换的自然图像增强方法。主要解决现有技术对拍摄自然图像的增强效果对比度和细节纹理差的问题。其实现方案是：1)获取现有的数据集，将其划分训练集和测试集；2)分别构造基于深度伽马变换网络中的生成网络G和鉴别网络D，设置各网络的优化目标函数；3)交替优化生成网络G和鉴别网络D这两个网络的目标函数并更新其网络参数，直到达到设定的最大迭代次数，得到训练好的生成网络G；4)将低质量自然图像输入到训练好的生成网络G中，输出增强后的高质量自然图像。本发明不仅增强了低质量自然图像全局颜色和对比度，同时也增强了图像的细节和纹理信息，可广泛用于图像美化或图像的预处理。

说明书

技术领域

本发明属于图像处理技术领域，特别涉及一种自然图像增强方法，可用于图像美化或图像的预处理。

背景技术

随着信息时代的快速发展，图像在信息获取中占据着尤为重要的地位，尤其是高质量的图像信息越来越受到人们的关注。由于成像过程会受到硬件、物体的运动、环境光线的影响，例如环境光线较暗的时候，得到的图像会有比较低的对比度和模糊的细节信息；物体运动时候，得到的图像往往会存在局部模糊，得到的图像不能获取足够的信息，且不能满足人们在社交媒体上的视觉需求。低质量图像和视频除了降低了视觉需求外，更是影响了以其为主的计算机视觉处理任务，例如，目前监控场景已经需求遍布各地，较暗的光线环境下获取的图像对于行人识别，全天自动驾驶和生物识别有很大的影响。虽然软件允许用户交互性调整图像，但是批量交互式处理图像是相当乏味和困难的，因为自然图像增强不仅需要精准控制图像的颜色和对比度以及曝光度，同时要精细调整图像中的各种物体和细节，尤其是近年来，手机摄像机的环境自适应成像受到越来越广泛的关注，要求手机可以根据场景和光线自适应调节图像，使其满足人们的视觉需求。由此可见图像质量的降低严重影响了人们的日常生活和科学研究，因此对于自适应自然图像增强技术的研究具有十分的现实意义和价值。

自然图像增强，就是通过对图像整体的色彩和色调进行调整，同时对图像局部的细节和纹理进行处理，从而使得生成的图像不仅能够清晰的传递出其表达的信息，同时达到可观的视觉效果。这项任务需要摄影师的高级技能并且消耗很多时间，所以研究自适应图像增强是必要的。目前自然图像增强算法可以分为传统算法和深度学习算法，传统的方法例如直方图均衡化图像的对比度、伽马变换通过参数调节图像对比度、滤波方法去除图像高频或者低频信息，然而传统对于图像细节和局部信息处理有很大的不足，同时对于不同图像必须选用合适的参数以及合适的方法组合才能达到增强的目标。基于深度学习的增强方法可以相对较好的处理这一不足，可以自适应学习低质量图像到目标增强图像的映射输入图像的信息，使得增强后的图像应该在细节、纹理、颜色尽可能满足人们的视觉需求。近年来，随着计算机硬件平台的提升以及数据量的增加，机器学习蓬勃发展，机器学习从大量的数据集中学习目标转换函数和特征，并对新的数据进行预测。而作为机器学习一部分的深度学习理论更是因为其优越性的学习能力，广泛的用于各种任务处理。由于互联网和大数据的快速发展，为深度学习提供了大量的数据集基础，深度学习通过特征提取网络和非线性层学习到该数据集更丰富的映射，利用该数据集映射，对未知的数据有更好的预测。基于深度学习的自然图像增强方法也成为了图像增强的热门研究方向，现有的算法可以划分为：基于端到端结构的自然图像增强、基于半监督的自然图像增强、基于Retinex分解理论的暗光自然图像增强。

基于深度学习的自然图像增强方法大部分在于端与端鉴别器的设计。

Ignatov A等人于论文Dslr-quality photos on mobile devices with deepconvolutional networks利用神经网络端到端学习普通低质量图像到单反图像的映射，该方法构建自然图像数据集，首次使用颜色损失对生成的图像颜色进行约束，同时结合生成对抗模型使得生成图像的颜色更加接近于目标增强图像的颜色。该方法的不足是：构建的生成网络模型相对简单，不能充分提取输入图像的特征，增强后的图像在细节和纹理方面还有待改进。

JIANG Y等人在论文Enlightengan:Deep light enhancement without pairedsupervision中提出利用生成对抗网络模型端到端学习低质量图像到高质量图像的映射方法，该方法通过构建全局鉴别器和局部鉴别器对生成的图像进行判别，同时利用亮度信息对生成图像的亮度进行监督，使得图像在细节和亮度方面更加接近于目标增强图像。该方法的不足是：对于图像增强的建模比较简单，仅使用端到端网络结构学习数据集的映射，并且其优化目标设置比较简单，增强后图像的视觉效果差。

发明内容

本发明的目的在于针对上述现有自然图像增强方法的不足，提出一种基于深度伽马变换的自然图像增强方法，以通过网络自适应学习伽马变换参数，对输入低质量自然图像进行全局和局部增强，同时通过改进模型的优化目标函数，实现在增强低质量自然图像对比度的同时对图像细节和纹理的增强，提高视觉效果。

为实现上述目的，本发明的技术方案包括：

获取现有的成对自然图像数据集MIT-Adobe，并且划分训练集和测试集：随机选取该数据集中500对图像作为测试集，另外4500对图像作为训练集；

构建由依次由全局特征提取模块、局部特征提取模块、融合模块组成的生成网络G，并根据像素损失l

构建由卷积模块和全连接模块组成的鉴别网络D，并将其对抗损失L

通过交替优化生成网络G和鉴别网络D这两个网络的目标函数，更新其网络参数，直到达到设定的网络训练次数，获得训练好的生成网络G：

将一幅任意尺寸的低质量自然图像输入到更新好的生成网络G中，通过生成网络的前向传播计算，输出增强后的高质量自然图像。

本发明与现有技术相比具有以下优点：

第一，本发明基于深度伽马变换的自然图像增强方法，以通过网络自适应学习伽马变换参数，对输入低质量自然图像进行全局和局部增强，克服了现有技术需要手工调节模型参数的问题，相比于传统伽马变换算法，不仅对每一个自然图像自适应学习伽马变换参数，同时通过网络模型对图像的局部信息进行了更好的增强。

第二，本发明通过生成网络G和鉴别网络D共同构建了自然图像增强模型，并对生成网络和鉴别网络的参数通过优化函数进行交替更新，可使更新后的生成网络G在对图像进行增强时其细节、纹理均能得到提升。

附图说明

图1为本发明的实现流程图；

图2为本发明中构建的生成网络框图；

图3是生成网络中的全局特征提取模块结构图；

图4是生成网络中的局部特征提取模块结构图；

图5是生成网络中的融合模块结构图；

图6为本发明中构建的对抗网络结构图；

图7为本发明的仿真结果图。

具体实施方式

下面结合附图，对本发明的实施例和效果做进一步的详细描述。

参照图1，本实例的具体实现包括如下：

步骤1，获取训练样本集。

从网上获取现有的成对自然图像数据集MIT-Adobe，该数据集包含5000对自然场景图像，每一对图像包括原始拍摄的低质量图像和经过专家修图后的对应的高质量图像，该数据集包含丰富的自然场景；

随机选取该数据集中500对图像作为测试集，另外4500对图像作为训练集。

步骤2，分别构建生成网络G和鉴别网络D，并设置各自优化目标函数。

2.1)构建生成网络G及其目标优化函数L

参照图2，本实例生成网络G依次由全局特征提取模块、局部特征提取模块、融合模块组成，各模块的结构及参数如下：

该全局特征提取模块的结构如图3所示，其具体结构为：输入层→第一卷积层→第一激活函数层→第二卷积层→第一归一化层→第二激活函数层→第一下采样层→第三卷积层→第二归一化层→第三激活函数层→第二下采样层→第四卷积层→第三归一化层→第四激活函数层→第二下采样层→第五卷积层→第四归一化层→第五激活函数层→第六卷积层→第五归一化层→第六激活函数层→第三下采样层→第七卷积层→第六归一化层→第七激活函数层→第八卷积层→第三下采样层→第七归一化层→第八激活函数层→第四下采样层→第九卷积层→第八归一化层→第九激活函数层→第十卷积层→第九归一化层→第十激活函数层→全局平均池化层→第一全连接层→第十一激活函数层→第二全连接层→第十二激活函数层→输出层组成，其输出十组不同的伽马参数a和γ；

各层参数为：输入层输入低质量的自然图像；第一个卷积层的输入的通道数为3，输出通道数为32；第二个卷积层的输入的通道数为32，输出通道数为32；第三个卷积层的输入的通道数为32，输出通道数为64；第四个卷积层的输入的通道数为64，输出通道数为64；第五个卷积层的输入的通道数为64，输出通道数为128；第六个卷积层的输入的通道数为128，输出通道数为128；第七个卷积层的输入的通道数为128，输出通道数为256；第八个卷积层的输入的通道数为256，输出通道数为256；第九个卷积层的输入的通道数为256，输出通道数为512；第十个卷积层的输入的通道数为512，输出通道数为512；所有卷积层的卷积核尺寸均设置为3×3，卷积步长均设置为1；第一个全连接层输入为512个向量，输出为256个向量；第二个全连接层输入为256个向量，输出为60个向量；归一化层均使用BN归一化函数；第一到第十个激活函数层的激活函数使用LeakyRelu；第十一个和第十二个激活函数使用Sigmoid；第一个采样层到第四个采样层均对其输入的特征层进行2倍下采样操作；全局平均池化层将输入特征的每一个通道平均归一化为一个值。

该局部特征提取模块的结构如图4所示，其具体结构为：输入层→第1卷积层→第1激活函数层→第2卷积层→第1归一化层→第2激活函数层→第3卷积层→第2归一化层→第3激活函数层→第4卷积层→第3归一化层→第4激活函数层→第5卷积层→第4归一化层→第5激活函数层→第1通道连接层→第6卷积层→第5归一化层→第6激活函数层→第7卷积层→第6归一化层→第7激活函数层→第8卷积层→第7归一化层→第8激活函数层→第9卷积层→第8归一化层→第8激活函数层→第10卷积层→第9归一化层→第10激活函数层→第2通道连接层→第11卷积层→第10归一化层→第11激活函数层→第12卷积层→第11归一化层→第12激活函数层→第13卷积层→第12归一化层→第13激活函数层→第14卷积层→第13归一化层→第14激活函数层→第15卷积层→第14归一化层→第15激活函数层→第3通道连接层→第16卷积层→第15归一化层→第16激活函数层→第17卷积层→输出层组成，其输出十组不同的特征残差特征b；

各层参数为：输入层输入低质量的自然图像；第1卷积层的输入通道数为3，输出通道数为64；第6、11、16卷积层的输入通道数为320，输出通道数为64；第17卷积层的输入通道数为64通道，输出通道数为60；其余卷积层的输入通道数为64，输出通道数为64；第7卷积层的输入特征为第6激活函数层的输出与第1激活函数层的输出相加，第12卷积层的输入特征为第11激活函数层的输出特征与第7卷积层的输入特征相加，第17卷积层的输入特征为第16激活函数层的输出与第12卷积层的输入特征相加；所有卷积层的卷积核尺寸均设置为3×3，卷积步长均设置为1；所有激活函数层使用LeakyRelu激活函数；归一化层均使用BN归一化函数；每一个通道连接层，将其前五个激活函数层的输出特征在通道域上级连。

该所述融合模块的结构如图5所示，其具体结构为：输入层→第Ⅰ卷积层→第Ⅰ归一化层→第Ⅰ激活函数层→第Ⅱ卷积层→第Ⅱ归一化层→第Ⅱ激活函数层→第Ⅲ卷积层→第Ⅲ归一化层→第Ⅲ激活函数层→第Ⅳ卷积层→第Ⅳ归一化层→第Ⅳ激活函数层→第Ⅴ卷积层→第Ⅴ归一化层→第Ⅴ激活函数层→通道连接层→第Ⅵ卷积层→第Ⅵ归一化层→第Ⅵ激活函数层→第Ⅶ卷积层→第Ⅶ归一化层→第Ⅶ激活函数层→第Ⅷ卷积层→第Ⅷ归一化层→第Ⅷ激活函数层→输出层组成，其输出为生成网络G增强后的图像；

各层参数为：输入层为局部特征提取模块与全局特征提取模块增强后的图像特征；第Ⅰ卷积层的输入通道数为60，输出的通道数为64；第Ⅱ卷积层到第Ⅴ卷积层的输入通道数为64，输出的通道数为64；第Ⅵ卷积层输入通道数为320，输出通道数为64；第Ⅶ卷积层输入通道数为64，输出通道书为64；第Ⅷ卷积层输入通道数为64，输出通道书为3；第Ⅰ卷积层到第Ⅵ卷积层的卷积核尺寸均设置为3×3，卷积步长均设置为1；第Ⅶ卷积层到第Ⅷ卷积层的卷积核尺寸均设置为5×5，卷积步长均设置为1；第Ⅶ卷积层输入特征为第Ⅰ激活函数层输出特征与第Ⅵ激活函数层输出特征相加；归一化层均使用BN归一化函数；第Ⅰ激活函数层到第Ⅵ激活函数层的激活函数使用LeakyRelu；第Ⅶ激活函数层到第Ⅷ激活函数层的激活函数使用Sigmoid；通道连接层将其前五个激活函数层的输出特征在通道域上级连。

该生成网络G的目标优化函数L

L

A＝-E

其中，I

D

D

D(·)表示鉴别网络函数，σ表示Sigmoid激活函数。

2.2)构建鉴别网络D及其优化函数L

参照图6，所述鉴别网络D由卷积模块和全连接模块组成，各模块结构和参数如下：，

该卷积模块的结构为：输入层→第a卷积层→第a激活函数层→第a归一化层→第b卷积层→第b激活函数层→第b归一化层→第c卷积层→第c激活函数层→第c归一化层→第d卷积层→第d激活函数层→第d归一化层→第e卷积层→第e激活函数层→第e归一化层→第f卷积层→第f激活函数层→第f归一化层→第g卷积层→第g激活函数层→第g归一化层→第h卷积层→第h激活函数层→第h归一化层→Reshape转换层→输出层，其输出一个行为1的二维特征向量；

各层参数为：输入层为鉴别网络输入的图像；第a卷积层的输入通道数为3，输出通道数为32；第b卷积层的输入通道数为32，输出通道数为32；第c卷积层的输入通道数为32，输出通道数为64；第d卷积层的输入通道数为64，输出通道数为64；第e卷积层的输入通道数为64，输出通道数为128；第f卷积层的输入通道数为128，输出通道数为128；第g卷积层的输入通道数为128，输出通道数为256；第h卷积层的输入通道数为256，输出通道数为256；第a卷积层到h卷积层的卷积核尺寸均设置为3×3，卷积步长均设置为1；归一化层均使用BN归一化函数；第a激活函数层到h激活函数层的激活函数使用LeakyRelu；Reshape转换层将第h归一化层输出特征层转换为行为1的二维特征向量。

该全连接模块的结构为：输入层→第a全连接层→第i激活函数层→第b全连接层→第j激活函数层→输出层，其输出为一个概率值，用来判断输入图像的真实性概率；

各层参数为：输入层为鉴别网络D中的卷积模块输出的二维特征向量；第i激活函数层的激活函数使用LeakyRelu；第j激活函数层使用Sigmoid；第a全连接层的输入为Reshape转换层输出的特征向量，输出为512个向量；第b全连接层的输入为512个向量，输出为1个向量。

该设置鉴别网络D的优化函数L

其中，I

D

D

步骤3，交替优化生成网络G和鉴别网络D这两个网络的目标函数，更新其网络参数，得到训练好的生成网络G。

3.1)固定生成网络G参数，更新鉴别网络D的参数：

(3.1.1)从训练样本集中随机选取一个输入训练样本I

(3.1.2)从训练样本集中选取与输入训练样本I

3.2)固定鉴别网络D参数，更新生成网络G的参数：

(3.2.1)从输入训练样本集中随机选取一个输入训练样本I

(3.2.2)从训练样本集中选取一个与输入训练样本I

(3.2.3)判断生成网络G和鉴别网络D的参数更新次数是否都达到设定的最大迭代次数100000次，若是，则得到训练好的生成网络G，否则，返回步骤(3.1)；

步骤4,将一幅任意尺寸的低质量自然图像输入到训练好的生成网络G中，通过生成网络G的前向传播计算，输出增强后的高质量自然图像。

(4.1)将低质量自然图像x作为全局特征提取模块的输入，通过计算得到十组不同的两个伽马参数a

其中，y

(4.2)将低质量自然图像x作为局部特征提取模块的输入，计算得到十组不同的残差特征b

y

其中，y

(4.3)将十组局部增强图像y

下面结合仿真实验对本发明的效果做进一步说明。

1.仿真条件：

仿真实验的硬件环境是：NVIDIA GTX 1080Ti型号的GPU，128GB的运行内存；

仿真实验的软件环境是：深度学习框架Tensorflow1.4.1；

仿真实验中，客观量化评价指标采用峰值信噪比PSNR和结构相似性SSIM，PSNR表达式为：

其I

峰值信噪比PSNR指标用来衡量两张图像中对应像素点之间的误差，单位是dB，其中该指标的值越大，表示评价的两幅图像差距越小；

结构相似性SSIM表示为：

其中μ

结构相似性SSIM的取值范围为[0,1]，SSIM值越大，则表示图像的细节和失真越小。

2.仿真实验内容与结果分析：

仿真实验1，分别使用本发明和现有的基于卷积网络图像增强方法DPED对一幅真实自然图像进行增强，结果如图7，其中，图7(a)是仿真实验所使用的真实低质量自然图像；图7(b)为采用现有的自然图像增强方法DPED增强后的图像；图7(c)为采用本发明方法使用训练好的生成网络G增强后的图像；

所述现有的自然图像增强方法DPED来源于文章“Dslr-quality photos onmobile devices with deep convolutional networks”(Proceedings of the IEEEInternational Conference on Computer Vision.)；

对比图7(b)和图7(c)可以得出：采用现有的自然图像增强方法DPED对真实自然图像的增强结果缺少细节信息，亮度和清晰度都偏低，而采用本发明的方法对真实自然图像增强后的结果具有更合适的亮度、清晰度和对比度，表明本发明不仅克服了传统伽马变换参数不容易调节的缺点，同时增强后的图像具有更多的细节信息，颜色和亮度也更加自然，图像的整体视觉效果有所提高。

仿真实验2，分别用现有训练好的DPED网络、训练好的CRN网络、训练好的FCN网络与本发明训练好的生成网络G对自然图像数据集MIT-Adobe中的500对测试集进行测试；

分别计算峰值信噪比PSNR和结构相似性SSIM的平均值，结果如表1所示：

表1 DPED方法与本发明的对比结果

其中，所述现有的自然图像增强方法FCN来源于文章“Fast image processingwith fully-convolutional networks”(Proceedings of the IEEE InternationalConference on Computer Vision.)；

所述现有的自然图像增强方法CRN来源于文章“Photographic image synthesiswith cascaded refinement networks”(Proceedings of the IEEE internationalconference on computer vision.)。

从表1可以看出，本发明的PSNR和SSIM值更高，说明本发明对于低质量自然图像的增强比现有DPED方法有更好的增强结果。