一种利用端到端神经网络的单幅图像去雾方法

摘要

本发明提供了一种利用端到端神经网络的单幅图像去雾方法，包括如下步骤：构建网格注意力网络模型：输入为待去雾图像，待去雾图像被送入一个浅层特征提取卷积层，然后被送入GridNet模块和Attention模块，最后将特征传递给重构部分和全局残差学习结构，输出清晰的图像。本发明结合网格网络和注意力机制，在传统的多尺度网络或编解码网络中，由于层次结构的原因，信息流往往会受到瓶颈效应的影响，而网格网络通过使用上采样和下采样块，可以通过跨不同尺度的密集连接来规避这一问题。此外，赋予网络一个通道和像素的注意机制，它可以提供额外的灵活性，以处理不同类型的信息，注意机制也使网络扩展了CNNs的表征能力。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种利用端到端神经网络的单幅图像去雾方法。

背景技术

雾霾是由空气中的灰尘和烟雾等小的漂浮颗粒产生的常见大气现象，这些漂浮的颗粒极大地吸收了散射光，导致图像质量下降。在雾霾影响下，视频监控、远程感应、自动驾驶等许多实际应用很容易收到威胁，检测和识别等高级计算机视觉任务很难完成，因此，图像去雾(除雾)成为一种越来越重要的技术。

发明内容

本发明要解决的技术问题是提供一种利用端到端神经网络的单幅图像去雾方法，结合了网格网络和注意力机制，赋予网络一个通道和像素的注意机制，可以提供额外的灵活性，以处理不同类型的信息。

为解决上述技术问题，本发明的实施例提供一种利用端到端神经网络的单幅图像去雾方法，包括如下步骤：

S1、构建网格注意力网络模型：输入为待去雾图像，待去雾图像被送入一个浅层特征提取卷积层，然后被送入GridNet模块和Attention模块，最后将特征传递给重构部分和全局残差学习结构，输出清晰的图像；

S2、模型训练：采用平滑L

其中，N指图像像素总数，

其中，步骤S1中，GridNet模块有四行六列，每一行对应一个不同的特征尺度，由五个基本的注意力卷积模块ABD组成，它们结合了跳跃连接和注意模块，每一列都是通过上采样和下采样块连接相邻刻度的桥；在每个上采样模块中，特征图的大小减少了2倍，而特征图的数量增加了2倍，降采样使特征的大小增加了一倍。

进一步，GridNet模块中的注意力卷积模块ABD由局部残差学习和注意模块组成，局部残差学习通过跳转连接从输入特征的低频区域学习不太重要的信息。

其中，步骤S1的Attention模块中，首先采用全局平均池化：

其中，H

然后通过卷积层、ReLU、卷积层和sigmoid激活函数处理之后得到SA

SA

其中，σ表示sigmoid函数，δ表示ReLU函数；

将输入F

最终输出：

本发明的上述技术方案的有益效果如下：本发明提供了一种利用端到端神经网络的单幅图像去雾方法，结合网格网络和注意力机制，在传统的多尺度网络或编解码网络中，由于层次结构的原因，信息流往往会受到瓶颈效应的影响，而网格网络通过使用上采样和下采样块，可以通过跨不同尺度的密集连接来规避这一问题。此外，赋予网络一个通道和像素的注意机制，它可以提供额外的灵活性，以处理不同类型的信息，注意机制也使网络扩展了CNNs的表征能力。

附图说明

图1为本发明中注意力网络模型的结构图；

图2为本发明中GridNet模块的结构图；

图3为本发明中注意力卷积模块ABD的结构图；

图4为本发明中Attention模块的构成图；

图5为本发明实施例一中图像去雾前后的对比图；

图6为本发明实施例二中图像去雾前后的对比图；

图7为本发明实施例三中图像去雾前后的对比图；

图8为本发明实施例四中图像去雾前后的对比图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明提供了一种利用端到端神经网络的单幅图像去雾方法，其特征在于，包括如下步骤：

S1、构建如图1所示的网格注意力网络模型：输入为待去雾图像，待去雾图像被送入一个浅层特征提取卷积层，然后被送入GridNet模块和Attention模块，最后将特征传递给重构部分和全局残差学习结构，输出清晰的图像。

其中，GridNet模块的结构如图2所示，有四行六列，每一行对应一个不同的特征尺度，由五个基本的注意力卷积模块ABD组成，它们结合了跳跃连接和注意模块，每一列都是通过上采样和下采样块连接相邻刻度的桥；在每个上采样模块中，特征图的大小减少了2倍，而特征图的数量增加了2倍，降采样使特征的大小增加了一倍。

GridNet模块中的注意力卷积模块ABD(结构如图3)由局部残差学习和注意模块组成，局部残差学习通过跳转连接从输入特征的低频区域学习不太重要的信息。

注意力卷积模块ABD中的Attention模块构成如图4所示。Attention模块中，首先采用全局平均池化：

其中，H

然后通过卷积层、ReLU、卷积层和sigmoid激活函数处理之后得到SA

SA

其中，σ表示sigmoid函数，δ表示ReLU函数；

将输入F

最终输出：

S2、模型训练：采用平滑L

其中，N指图像像素总数，

模型训练的目的是：通过有雾的图像及其对应的干净图像构成的样本集，利用该样本集训练神经网络，得到端到端的网络模型。恢复图像时，利用训练好的模型，输入有雾图像，输出干净图像，所以没有中间的结果。或者说方法主要就是体现在网络结构的构造上。网络构造好了，就可以用样本集进行训练，训练的结果就可以直接拿来进行图像去雾。

S3、测试结果：采用峰值信噪比(PSNR)和结构相似性(SSIM)进行度量，在RESIDE的室内测试集上PSNR＝36.69，SSIM＝0.9900，室外测试上PSNR＝33.89，SSIM＝0.9865，结果好于现有方法。部分可视化结果如图5-图8所示。

其中，图5a、图6a、图7a和图8a为去雾前图像，图5b、图6b、图7b和图8b为去雾后图像。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。