一种基于多尺度融合残差网络的单幅图像去雨方法

摘要

本发明公开了一种基于多尺度融合残差网络的单幅图像去雨方法，本方法以卷积神经网络为基础，巧妙结合多尺度、残差、多分支思想、层级连接思想，设计出层级相连多尺度多分支残差去雨网络；该网络使用不同尺度的卷积核实现多维度特征提取，通过层级相连的方式实现递进多层次学习，可学习更加复杂的特征，从而可以解决背景和雨水相似的情况，在去雨效果上，从定性和定量上都远远超过GMM算法，这大大的提高了图像的质量，同时网络不是过深，训练成本不是太高，本方法具有一定的优越性。采用了融合残差、多尺度、多分支思想，实现了一个新的基于深度学习的去雨网络框架，通过端到端无监督的技术，节省了数据处理的时间，提高了实验效率。

说明书

技术领域

本发明涉及图像处理领域，具体为一种基于多尺度融合残差网络的单幅图像去雨方法。

背景技术

在图像处理中图像去雨十分重要，常见的几种去雨方法如下：

先验知识图像去雨方法：先验知识实现图像的去雨是在像素块中分别对背景层和雨层采用高斯混合模型先验，高斯混合模型又称GMM模型，其本质是利用组合多个高斯分布来描述数据信息分布，图像分解与先验信息的组合使用，可以实现较高质量的图像去雨效果。

基于稀疏编码字典学习和分类器的去雨方法：我们用稀疏编码对原数据进行预处理，将处理后的数据放入一个卷积神经网络去进行学习。学习的过程中，它假设雨水和背景的特征是可分的，并且通过不断对字典和编码进行优化，最终把一个图片分成了一个字典的两个编码之和，这两个编码分别代表雨水的编码和背景的编码。输入一幅雨图，通过一个平滑滤波器分离成高频成分和低频成分，然后对高频成分也就是原始图像中的雨纹信息以及背景纹理信息进行处理，进行patch提取以及字典学习，再进行字典的划分，基于稀疏编码图像分解得到雨成分和无雨成分，将处理得到的无雨成分与之前的低频成分进行加和，得到去雨之后的结果图像。

先验知识图像去雨不足的地方：去雨效果显著，但是在去雨过后图像的背景信息被过度磨平，遗漏了部分图像细节，图像变的模糊不清，因此基于先验的图像去雨质量有待提升，且计算过程复杂，执行效率较低，并且对于饱和降雨像素的处理还未解决。

基于稀疏编码字典学习和分类器的不足：当背景与雨水极其相似时，它仍是没办法区分两者，去雨效果在某些特定场景下会失效，为此提供了一种基于多尺度融合残差网络的单幅图像去雨方法。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种基于多尺度融合残差网络的单幅图像去雨方法，以解决上述背景技术提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于多尺度融合残差网络的单幅图像去雨方法，具体步骤如下：

S1、确立训练网络的数据集；

S2、对于图像的特征提取进行大量提取块的组合实验；

S3、确立初步的网络结构；

S4、初始化权重，准备训练；

S5、对于损失函数的选择，根据经验并结合试验确定损失函数的组合MSE和SSIM；

S6、使用国际化的优化器，SGD随机梯度下降算法；

S7、利用数据集进行网络训练，反复迭代，确定网络的整体结构，寻找最优的准确率；

S8、使用公认的权威数据集Rain100H,Rain100L,Rain12进行效果测试；

S9、将合成后的雨图送进卷积神经网络进行前向传播，前向传播过程中会经过卷积层进行特征提取，之后经过归化层进行数据映射，最后通过激活函数来进行非线性映射，提高网络的拟合能力；

S10、获取去雨图像后与无雨图像(标签Label)计算损失；

S11、得到损失函数后进行反向梯度计算；

S12、结合学习率进行反向权重更新，学习率一开始按照国际化区域标准设置，随着训次数的迭代，学习率不断下降，每当权重更新后，代表一次训练结束；

S13、重复S9-S12步操作，继续输入合成数据训练网络，直到loss值趋于平稳，网络收敛；

S14、训练好的参数被保存下来，测试阶段直接加载保存的模型，然后对输入真实雨图进行前向传播，此时不再进行反向传播，因为无需去更新、保存权重，直接经过计算得到最终的去雨图像。

作为本发明的一种优选技术方案，所述S7中的网络训练则采用了Xavier权重初始化方式，即网络中每一层输出的方差应该和其他输出的方差尽量相等，总的网络训练时间为8个小时。

作为本发明的一种优选技术方案，所述S7中的网络训练受限于算力条件的影响，网络训练过程中batchsize的取值为4，经过了70轮的训练网络收敛，并且训练时初始学习率设置为0.01，学习率随迭代轮数递减，每20轮超参数lr衰减为原先的1/10。

作为本发明的一种优选技术方案，所述S2中的组合实验在硬件设备为NVIDIAGeForce GTX 1080Ti的计算机集群上进行。

本发明的有益效果是：本方法以卷积神经网络为基础，巧妙结合多尺度、残差、多分支思想、层级连接思想，设计出层级相连多尺度多分支残差去雨网络；该网络使用不同尺度的卷积核实现多维度特征提取，通过层级相连的方式实现递进多层次学习，可学习更加复杂的特征，从而可以解决背景和雨水相似的情况，在去雨效果上，从定性和定量上都远远超过GMM算法，这大大的提高了图像的质量，同时网络不是过深，训练成本不是太高，本方法具有一定的优越性。

采用了融合残差、多尺度、多分支思想，实现了一个新的基于深度学习的去雨网络框架，通过端到端无监督的技术，节省了数据处理的时间，提高了实验效率，并且运用本方法的去雨网络，可以获得不错的去雨效果，这个去雨网络，在图像去雨领域具有独创性。

附图说明

图1为本发明的流程图；

图2为本发明确定网络的整体结构的模块图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易被本领域人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

实施例：请参阅图1-2，本发明提供一种技术方案：一种基于多尺度融合残差网络的单幅图像去雨方法，具体步骤如下：

S1、确立训练网络的数据集；

S2、对于图像的特征提取进行大量提取块的组合实验；

S3、确立初步的网络结构；

S4、初始化权重，准备训练；

S5、对于损失函数的选择，根据经验并结合试验确定损失函数的组合MSE和SSIM；

S6、使用国际化的优化器，SGD随机梯度下降算法；

S7、利用数据集进行网络训练，反复迭代，确定网络的整体结构，寻找最优的准确率；

S8、使用公认的权威数据集Rain100H,Rain100L,Rain12进行效果测试；

S9、将合成后的雨图送进卷积神经网络进行前向传播，前向传播过程中会经过卷积层进行特征提取，之后经过归化层进行数据映射，最后通过激活函数来进行非线性映射，提高网络的拟合能力；

S10、获取去雨图像后与无雨图像(标签Label)计算损失；

S11、得到损失函数后进行反向梯度计算；

S12、结合学习率进行反向权重更新，学习率一开始按照国际化区域标准设置，随着训次数的迭代，学习率不断下降，每当权重更新后，代表一次训练结束；

S13、重复S9-S12步操作，继续输入合成数据训练网络，直到loss值趋于平稳，网络收敛；

S14、训练好的参数被保存下来，测试阶段直接加载保存的模型，然后对输入真实雨图进行前向传播，此时不再进行反向传播，因为无需去更新、保存权重，直接经过计算得到最终的去雨图像。

S7中的网络训练则采用了Xavier权重初始化方式，即网络中每一层输出的方差应该和其他输出的方差尽量相等，总的网络训练时间为8个小时；网络训练受限于算力条件的影响，网络训练过程中batchsize的取值为4，经过了70轮的训练网络收敛，并且训练时初始学习率设置为0.01，学习率随迭代轮数递减，每20轮超参数lr衰减为原先的1/10。

S2中的组合实验在硬件设备为NVIDIA GeForce GTX 1080Ti的计算机集群上进行。

对于现有的去雨框架进行创新，设计出基于层级相连的多尺度多分支卷积神经网络图像去雨网络，通过对多尺度残差子模块进行卷积核大小的选择与成熟的堆叠测试，选取了最优结果下的组合，并且应用在整体了融合残差思想的去雨网络上。

对于去雨效果如下表1、2所示：

表1四种图像去雨算法在两种合成测试集上的PSNR(dB)对比

表2四种图像去雨算法在两种合成测试集上的SSIM对比

从评价指标上来看，本方法比其他两种算法具有更高的PSNR和SSIM值。不管在大雨还是小雨场景中，本方法得到的去雨图像去雨效果更明显，保真度更高，视觉效果更加清晰自然。其它几种算法都存在去雨不彻底或去雨后背景被过度平滑等问题。

本方法以卷积神经网络为基础，巧妙结合多尺度、残差、多分支思想、层级连接思想，设计出层级相连多尺度多分支残差去雨网络；该网络使用不同尺度的卷积核实现多维度特征提取，通过层级相连的方式实现递进多层次学习，可学习更加复杂的特征，从而可以解决背景和雨水相似的情况，在去雨效果上，从定性和定量上都远远超过GMM算法，这大大的提高了图像的质量，同时网络不是过深，训练成本不是太高，本方法具有一定的优越性。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。