基于Retinex和注意力机制的暗光图像增强方法

摘要

一种基于Retinex和注意力机制的暗光图像增强方法，首先设计一个主体结构为U‑Net的分解网络，它由两个支路组成，将暗光图像和正常光照图像分别输入两个支路中。其中暗光图像分解支路输出暗光图像的反射分量和光照分量。再将反射分量进行BM3D去噪操作，得到去噪后的反射图。将光照分量和光照调节参数输入到加有注意力机制的光照调节网络中，输出为增强后的光照分量。最后将经过BM3D去噪操作后的反射分量与光照调节网络输出的光照分量进行重构操作，得到暗光图像增强网络增强后的图像。本发明对暗光图像的增强具有较好的效果。

说明书

技术领域

本发明涉及图像增强技术，特别涉及一种基于Retinex理论和注意力机制的暗光图像增强方法。

背景技术

随着近年来深度学习的不断发展，计算机视觉也得到了进一步的发展。目前，数字图像广泛应用于航空航天，智慧医疗，军事侦察等各个方面。在医疗诊断方面，良好的图像质量对诊断的效果也至关重要。暗光图像增强逐步成为计算机视觉任务中的研究热点之一。

目前由于技术原因，昏暗环境下拍摄的图片中存在暗区，部分掩藏在暗区的信息难以被发现，且图片存在大量噪声，细节损失比较严重，给图片的进一步处理如目标检测，图像识别等带来困难。因此，暗光图像增强具有重要的理论意义和实际应用价值。

发明内容

为了克服现有的技术在暗光图像增强中会引入噪声，细节丢失，色彩失真等不足，消除图片中的暗区，使暗区中存在的图像细节能较为清晰地显示出来。本发明提出一种基于注意力机制和Retinex的光照可调节的低光照图像增强的方法，可以实现暗光图像的增强，并能够消除噪声干扰，使色彩更为自然，并且能够根据用户实际需求灵活地调整光照亮度。

为了解决上述技术问题提出的技术方案如下：

一种基于注意力机制和Retinex的暗光图像增强方法，包括以下步骤：

步骤1：设计一个网络主体结构为U-Net的多尺度融合的分解网络，它由两个支路组成，将低光照图像s

步骤2：对步骤1得到的低光照图像的反射分量R

步骤3：改进了一个基于注意力机制的光照调节网络；因为网络使用的卷积是依靠堆叠多个特征图而形成感受野的粗糙特征的提取，对空间特征捕捉差，易产生边界扭曲，基于此，引入一种能提取空间信息的机制，改善网络结构，增强图像视觉感知质量；将暗光图像的光照分量L

步骤4：将处理后的低照度图像的光照分量L′

进一步，所述步骤1中，所述分解网络的一个分支主体结构为U-Net，后面串接一个卷积层，其次是一个Sigmoid层，将输入的若干通道的特征图进行Sigmoid函数计算，作用是将输入的值转换到0-1之间，从而符合反射图和光照图的取值范围。

再进一步，所述步骤3的过程如下：

3.1光照调节网络主体结构为encoder-decoder,引入了多尺度连接，使网络能够捕获大范围内关于光照分布的上下文信息；

3.2在光照调节网络的上采样部分加入注意力模块，将暗光图像的光照分量L

3.3光照调节网络输入的一个分量为光照调节参数α，它被扩展为一个特征图，参与到光照调节网络的训练中，用户通过调节参数α来灵活调整光线等级

本发明的有益效果表现在：

a:本发明改进了传统RetinexNet的分解网络的结构，将原有的全卷积网络替换为U-Net，实现了多尺度特征融合，能更有效地提取特征。从而能有效解决处理后的图像颜色偏漫画风格的问题。

b:针对RetinexNet模型中使用的ReLU激活函数会将所有的负值输入变为0，容易导致神经元失活，从而下降过程中权重不会被调整的问题，本文将激活函数变换为LReLU。

c:在光照调节网络加入了注意力模块，能捕获空间位置关系，有效解决物体边界扭曲，色彩伪影等问题，使增强后的光照图更加自然。

d:加入光照调节功能，可以使用户根据自己的需求调节光照参数α从而灵活地调整光照。

e:改进分解网络的光照平滑损失函数：将梯度加权的操作对象由反射分量R变为输入图像S，使得反射分量R趋于平滑，从而减弱边缘部分引入噪声的现象。使经过分解网络处理后的反射图边缘轮廓的黑边效应得到明显弱化。

附图说明

图1为Retinex理论结构图；

图2为本发明的基于注意力机制和Retinex的低照度图像增强的流程框图；

图3为本发明的整体流程图；

图4为本发明的整体网络结构示意图；

图5为本发明的注意力机制模块图，其中，(a)为注意力模块总体结构，(b)为通道注意力模块，(c)为空间注意力模块；

图6为本发明和其他方法处理后的效果对比图，其中，(a)为原图，(b)为RetinexNet，(c)为ours；

图7为本发明在不同亮度下增强的效果图，其中，(a)为原图，(b)为α＝2，(c)为α＝5。

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1-图7，一种基于注意力机制和Retinex的光线可调节的暗光增强方法，所述方法包括以下步骤：

步骤1：设计了一个主体结构为U-Net的多尺度特征融合的分解网络，将卷积层得到的特征与对应的上采样得到的特征级联，使最终的特征图不仅包含深层特征，也包含浅层特征，实现多尺度融合。

如图3所示，分解模块包括两个分支，分别输入正常光照图像和低光照图像。两个支路共享权值。本发明对传统的Retinex模型的分解模块进行改进，将原来的FCN替换为U-Net，与传统的卷积神经网络不同，分解结构变成了U型对称结构。能有效解决处理后的图像色彩偏漫画风格。如图4所示，该分解网络的一个分支主体结构为U-Net，后面串接一个卷积层，其次是一个Sigmoid层，将输入的若干通道的特征图进行Sigmoid函数计算，作用是将输入的值转换到0-1之间，从而符合反射图和光照图的取值范围。

表1为分解网络的网络结构细节

表1

针对RetinexNet模型中使用的ReLU激活函数会将所有的负值输入变为0，容易导致神经元失活，并且当输入为负值时的梯度为0，下降过程中权重不会被调整的问题，本发明将激活函数变换为LReLU，能有效解决该问题。

对于分解网络，该模型的损失函数由重建损失、反射分量一致性损失，光照分量平滑损失三部分组成，改进了传统的Retinex的损失函数，表示如下：

1.1重构损失：

旨在使模型分解出的反射分量R与光照分量I能够尽可能重建出对应的原图；

1.2反射分量一致性损失：

根据Retinex图像分解理论，反射分量R与光照L无关，因此成对的低/正常光照图像的反射分量应尽可能一致。该损失函数约束反射分量的一致性；

1.3光照分量平滑损失：

理想的光照分量不仅要在纹理细节上保持平滑更应保留整体结构，该损失函数通过对反射分量求梯度从而给光照分量的梯度图分配权重，使反射分量较为平滑地方的光照分量也尽可能平滑。本发明针对反射分量R的黑色边缘比较明显，对平滑损失函数进行了改进，将梯度加权的操作对象由反射分量R变为输入图像S，使得反射分量R趋于平滑，从而减弱边缘部分引入噪声的现象。

步骤2：设计了一个反射图去噪模块，输入为步骤1得到的低照度图像的反射分量R

步骤3：改进了一个基于注意力机制的光照调节网络。其网络结构如图4所示，因为网络使用的卷积是依靠堆叠多个特征图而形成感受野的粗糙特征的提取，对空间特征捕捉差，易产生边界扭曲。基于此，引入一种能提取空间信息的机制，改善网络结构，增强图像视觉感知质量。注意力机制结构图如图5所示。

所述步骤3的过程如下：

3.1网络主体结构

光照调节网络主体结构为encoder-decoder,引入了多尺度连接，使网络能够捕获大范围内关于光照分布的上下文信息。

3.2光照调节功能

对步骤1得到的暗光图像的光照分量L

3.3注意力模块

在光照调节网络的上采样部分加入注意力模块，将暗光图像的光照图L

将通道注意力模块输出的特征图F′作为本模块的输入，首先对输入做一个基于通道的最大池化和平均池化，然后将这两个结果基于通道进行concat操作。其次经过一个卷积操作，降维为1个channel。再经过sigmoid生成空间特征注意图M

3.4加入注意力机制的意义

添加注意力机制模块可以提取更多有用的信息用于微光图像增强，其中包含通道注意和空间注意的两个注意模块，有利于消除放大倍率而引起的彩色伪影。所利用的两个注意块具有良好的动机，它不仅消除了输入的有害特征，而且突出了有利的颜色信息。通过关注主要的神经元，舍弃无用的神经元，从而增强有意义的部分。为了获得更好的特征表示，本文将两个注意模块合并成一个混合注意块。通过注意力机制模块，网络可以充分利用特征图中不同信道、不同位置的信息，使网络结构更加灵活。最终得到光线分布更为自然的光照图。

表2为光照调节网络的结构细节

表2光照调节网络的损失函数：

该损失函数使增强后的光照分量与正常光照的分量保持一致并且使二者在梯度方向上也保持一致。

步骤4：设计了一个重构模块，将步骤2处理后的低照度图像的反射图R′

本实施例的实验过程

(1)实验环境配置：

本次实验所用的操作系统为Windows10，深度学习框架为Tensorflow1.13GPU版本，并且安装NumPy计算库和PIL图像处理库，实验的软件开发环境为Pycharm2019和python3.7。

(2)模型参数设置

模型的输入为暗光图像与正常光照图像，输出为预测的重建图像。训练的批次(batchsize)设置为16，迭代次数为1000次，使用随机梯度下降(SGD)技术进行优化。

(3)训练数据处理

在模型的训练数据集方面，本发明沿用了RetinexNet模型的训练数据集，为了使网络能够学习完成暗光图像增强的任务，构建了训练所用的成对数据集，该数据集由真实图像对和合成图像两大类组成。其中真实图像对(LOL数据集)为低照度图像增强算法常用的数据集，适用场景为自然图像，包含500对低光照/正常光照图像对。合成图像数据集利用Adobe Lightroom软件对1000张正常光照图像进行处理得到对应的低光照图像，从而构建合成图像数据集。

(4)实验结果

如图6，7所示，为暗光图像增强后的效果图。图6为本发明增强的图像与传统的RetinexNet增强图像的对比图，图7为不同光照参数α下得到的不同亮度的增强效果图。可以发现，本发明对暗光图像增强的效果较好。