基于残差自注意力和生成对抗网络的图像增强方法

摘要

本发明公开了一种基于残差自注意力和生成对抗网络的图像增强方法，通过残差自注意力模块对低质量红外图像进行红外图像特征提取，获得低级红外特征图；通过增强模块对提取到的低级红外特征图进行多尺度深层次细节特征提取，获得高级红外特征图；低级特征图与高级特征图进行卷积合并生成增强红外图像，将增强红外图像和与低质量红外图像配对的高质量红外图像输入判别器，在生成对抗网络的生成器和判别器的训练过程中，确定两幅图像的纹理损失、内容损失、全变分损失，对比度损失，引导生成器与判别器的参数更新方向，不断提高增强红外图像的细节特征，获得质量相对最优的增强红外图像。

说明书

技术领域

本发明属于红外图像增强领域，具体涉及一种基于残差自注意力和生成对抗网络的图像增强方法。

背景技术

红外成像在医学成像，安全监控，环境污染检测和军事目标检测中发挥了重要作用；通常，红外图像具有一些缺点，例如低对比度和细节模糊，这限制了对红外目标的观察以及红外成像应用的进一步发展，为了获得高质量的结果，有必要增强红外图像。

以前的大多数方法是通过使用空间和频域来推广的，包括直方图均衡，对比度调整，变换，经验模态分解等，引入了基于直方图均衡的方法，通过分布热图像的直方图大致相等；最近，与以前基于手工特征的方法相比，基于卷积神经网络(CNN)的方法在各种视觉任务例如目标检测，图像识别和超分辨率图像，已经达到了创纪录的性能；Choi等人提出了第一种基于CNN的增强热图像的方法，他设计了一个相对较浅的CNN，CNN不仅在增强热图像质量方面取得了成功，而且在增强的热图像的基础上，在验证行人检测，视觉测距和图像配准等各种应用中的性能改进方面也取得了成功。

发明内容

鉴于此，本发明的主要目的在于提供一种于残差自注意力机制和生成对抗网络的红外图像增强方法。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供一种基于残差自注意力和生成对抗网络的图像增强方法，该方法为：首先，通过残差自注意力模块对低质量红外图像进行红外图像特征提取，获得低级红外特征图；其次，通过增强模块对提取到的低级红外特征图进行多尺度深层次细节特征提取，获得高级红外特征图；之后，低级特征图与高级特征图进行卷积合并生成增强红外图像，最后，将增强红外图像和与低质量红外图像配对的高质量红外图像输入判别器，在生成对抗网络的生成器和判别器的训练过程中，确定两幅图像的纹理损失、内容损失、全变分损失，对比度损失，引导生成器与判别器的参数更新方向，不断提高增强红外图像的细节特征，获得质量相对最优的增强红外图像。

上述方案中，所述通过残差自注意力模块对低质量红外图像进行红外图像特征提取，获得低级红外特征图，具体为：所述残差自注意力模块由四个独立的残差自注意力子模块组成；第一卷积层位于第一残差自注意力子模块之前，大小为9×9×64用来提取图像最低级红外特征图，作为残差自注意模块的输入；四个残差自注意力子模块的输入与输出跳跃连接，同时，第一残差自注意力子模块的输入与第四残差自注意力子模块的输出跳跃连接，以充分利用不同深度的红外特征图，获得低级红外特征图。

上述方案中，所述残差注意力子模块由两层卷积层、通道注意力模块和空间注意力模块组成，两层卷积层在通道注意力模块之前，大小为3×3×64，激活函数为ReLU，之后各设置批归一化(BN)层；通道注意力模块在卷积层之后，并且处于空间注意力模块之前；所述残差注意力子模块的输入与输出跳跃连接。

上述方案中，所述通道注意力模块首先对输入红外特征图分别进行最大池化和平均池化操作，然后经过共享全连接层操作的输出特征图进行concat操作，再经过sigmoid激活操作，生成最终的通道注意力权值矩阵，该权值矩阵与该模块输入特征图做乘法生成新的特征图。

上述方案中，所述空间注意力模块将通道注意力模块输出的特征图作为本模块的输入特征图，首先做一个基于通道的最大池化和平均池化，然后将池化结果基于通道做concat操作，然后经过一个卷积操作，降维为1个通道，再经过sigmoid生成空间注意力权重矩阵，最后将该权重矩阵和该模块的输入特征图做乘法，得到最终生成的红外图像特征图。

上述方案中，所述通过增强模块对提取到的低级红外特征图进行多尺度深层次细节特征提取，获得高级红外特征图，具体为：增强模块由两个增强块即第一增强块与第二增强块组成，残差自注意力模块输出的低级红外特征图作为第一增强块的输入，第一增强块中有两个3×3前端卷积层，前端卷积层的输出以4倍、8倍、16倍、32倍的系数下采样以构建四级金字塔，使用1×1卷积以减小尺寸，将红外特征映射上采样到原始大小，并将其与前端卷积层的输出连接在一起，最后，在红外特征图的级联上实现3×3卷积，生成新的红外特征图；将输入的低级红外特征图与生成的新的红外特征图跳跃连接并馈送给第二增强块，第二增强块的结构与第一增强块相同，第二增强块输出高级红外特征图。

上述方案中，所述低级特征图与高级特征图进行卷积合并生成增强红外图像，具体为：残差自注意力模块输出的低级特征图与增强模块输出的高级特征图通过concat操作进行合并，并通过三层卷积层形成增强红外图像。所述三层卷积层分别为第二卷积层、第三卷积层、第四卷积层，第二卷积层与第三卷积层结构相同，大小为3×3×64，激活函数为ReLU；第四卷积层位于第二卷积层、第三卷积层之后，大小为9×9×64，激活函数为tanh。

上述方案中，所述将增强图像和与低质量红外图像配对的高质量红外图像输入判别器，在生成对抗网络的生成器和判别器的训练过程中，计算两幅图像的纹理损失、内容损失、全变分损失，对比度损失，引导生成器与判别器的参数更新方向，不断提高增强红外图像的细节特征，得到质量相对最优的增强红外图像，具体为：判别器网络主要由5个卷积层构成，除了第一层卷积层，其余所有层都有批量归一化层，第1、2、5层卷积层的步长分别为4、2、2，其余全部以步长为1移动，选用LeakyReLU激活函数，如式(1)所示，最后一层为含有1024个神经元的全连接层，

式中，x为输入红外特征图，α为固定参数0.2，连接将输出限制在(0，1)的softmax函数，输出结果为判定输出图像为真实图像的可能性大小。

上述方案中，损失函数由纹理损失函数、内容损失函数、全变分损失函数，对比度损失函数组成，具体为：

在成对的数据上训练判别器网络，并在判别器预训练结束后和生成器网络共同训练使交叉熵损失函数最小化，纹理损失函数如式(2)所示：

式中，F

采用预训练的VGG-19网络的ReLU层后激活后的特征响应图的欧式距离作为内容损失函数，损失函数为增强图像和目标图像卷积层4的特征响应图之间的欧式距离，如式(3)所示：

式中，C

还引入了全变分损失函数，如式(4)所示：

式中，C、H、W分别表示增强图像的通道数、高度和宽度；

还引入了对比度损失函数，求取两幅图像之间的欧几里得距离，对比度损失函数如式(5)所示：

在基于数据集的初步训练之后，每部分损失函数的系数调整如式(:6)所示：

L＝L

最终，生成器需要学习的不断优化的目标函数如式(7)所示，训练数据集共包含有N个图像对：

式中，W*为网络要学习的参数，L为总损失函数。

与现有技术相比，本发明的有益效果：

(1)本发明加入了残差自注意力模块，充分利用图像通道及空间位置的相关性，增加了图像增强的依据，使得增强图像更加符合实际。

(2)添加了增强模块，使得增强图像的细节信息更加丰富。

附图说明

图1为生成对抗网络训练过程。

图2为生成器结构。

图3为残差注意力模块结构。

图4为通道注意力模块结构。

图5为空间注意力模块结构。

图6为增强模块结构。

图7为判别器结构。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明实施例提供一种基于残差自注意力和生成对抗网络的图像增强方法，如图1-7所示，该方法具体通过以下步骤实现：

步骤101：通过残差自注意力模块对低质量红外图像进行红外图像特征提取，获得低级红外特征图；

具体地，所述残差自注意力模块由四个独立的残差自注意力子模块组成；第一卷积层位于第一残差自注意力子模块之前，大小为9×9×64用来提取图像最低级红外特征图，作为残差自注意模块的输入；四个残差自注意力子模块的输入与输出跳跃连接，同时，第一残差自注意力子模块的输入与第四残差自注意力子模块的输出跳跃连接，以充分利用不同深度的红外特征图，获得低级红外特征图。

所述残差注意力子模块由两层卷积层、通道注意力模块和空间注意力模块组成，两层卷积层在通道注意力模块之前，大小为3×3×64，激活函数为ReLU，之后各设置批归一化(BN)层；通道注意力模块在卷积层之后，并且处于空间注意力模块之前；所述残差注意力子模块的输入与输出跳跃连接。

所述通道注意力模块首先对输入红外特征图分别进行最大池化和平均池化操作，然后经过共享全连接层操作的输出特征图进行concat操作，再经过sigmoid激活操作，生成最终的通道注意力权值矩阵，该权值矩阵与该模块输入特征图做乘法生成新的特征图。

所述空间注意力模块将通道注意力模块输出的特征图作为本模块的输入特征图，首先做一个基于通道的最大池化和平均池化，然后将池化结果基于通道做concat操作，然后经过一个卷积操作，降维为1个通道，再经过sigmoid生成空间注意力权重矩阵，最后将该权重矩阵和该模块的输入特征图做乘法，得到最终生成的红外图像特征图。

步骤102：通过增强模块对提取到的低级红外特征图进行多尺度深层次细节特征提取，获得高级红外特征图；

具体地，增强模块由两个增强块组成，残差自注意力模块输出的低级红外特征图作为第一增强块的输入，第一增强块中有两个3×3前端卷积层，前端卷积层的输出以4倍、8倍、16倍、32倍的系数下采样以构建四级金字塔，使用1×1卷积以减小尺寸，将红外特征映射上采样到原始大小，并将其与前端卷积层的输出连接在一起，最后，在红外特征图的级联上实现3×3卷积，生成新的红外特征图；将输入的低级红外特征图与生成的新的红外特征图跳跃连接并馈送给第二增强块，第二增强块的结构与第一增强块相同，第二增强块输出高级红外特征图。

步骤103：低级特征图与高级特征图进行卷积合并生成增强红外图像；

具体地，低级特征图与高级特征图进行卷积合并生成增强红外图像，具体为：残差自注意力模块输出的低级特征图与增强模块输出的高级特征图通过concat操作进行合并，并通过三层卷积层形成增强红外图像。所述三层卷积层分别为第二卷积层、第三卷积层、第四卷积层，第二卷积层与第三卷积层结构相同，大小为3×3×64，激活函数为ReLU；第四卷积层位于第二卷积层、第三卷积层之后，大小为9×9×64，激活函数为tanh，从一定程度上削弱了梯度消失的出现可能性。

步骤104：将增强红外图像和与低质量红外图像配对的高质量红外图像输入判别器，在生成对抗网络的生成器和判别器的训练过程中，确定两幅图像的纹理损失、内容损失、全变分损失，对比度损失，引导生成器与判别器的参数更新方向，不断提高增强红外图像的细节特征，获得质量相对最优的增强红外图像。

具体地，将增强图像和与低质量红外图像配对的高质量红外图像输入判别器，在生成对抗网络的生成器和判别器的训练过程中，计算两幅图像的纹理损失、内容损失、全变分损失，对比度损失，引导生成器与判别器的参数更新方向，不断提高增强红外图像的细节特征，得到质量相对最优的增强红外图像，具体为：判别器判别器网络主要由5个卷积层构成，除了第一层卷积层，其余所有层都有批量归一化层，第1、2、5层卷积层的步长分别为4、2、2，其余全部以步长为1移动，选用LeakyReLU激活函数，如式(1)所示，最后一层为含有1024个神经元的全连接层，

式中，x为输入红外特征图，α为固定参数0.2，连接将输出限制在(0，1)的softmax函数，输出结果为判定输出图像为真实图像的可能性大小。

损失函数由纹理损失函数、内容损失函数、全变分损失函数，对比度损失函数组成，具体为：

在成对的数据上训练判别器网络，并在判别器预训练结束后和生成器网络共同训练使交叉熵损失函数最小化，纹理损失函数如式(2)所示，由定义可知，损失函数具有平移不变性：

式中，F

为了更好地保留图像的语义信息，使增强图像和真实图像在内容和感知质量的各个方面有相似的特征表示，采用预训练的VGG-19网络的ReLU层后激活后的特征响应图的欧式距离作为内容损失函数，损失函数为增强图像和目标图像卷积层4的特征响应图之间的欧式距离，如式(3)所示：

式中，C

为了提高增强图像的空间平滑性，还引入了全变分损失函数，可有效抑制高频噪声，定义如式(4)所示：

式中，C、H、W分别表示增强图像的通道数、高度和宽度。

为了获取更好的训练效果，评估生成图像与真实图像之间亮度和对比度的差异，同时降低纹理和内容的影响。本章还引入了对比度损失函数，求取两幅图像之间的欧几里得距离，对比度损失函数如式(5)所示：

在基于数据集的初步训练之后，每部分损失函数的系数调整如式(6)所示：

L＝L

最终，为了减小模型预测值和真实值之间的误差，生成器需要学习的不断优化的目标函数如式(7)所示，训练数据集共包含有N个图像对：

式中，W*为网络要学习的参数，L为总损失函数。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。