基于空间信息融合多注意力网络的夜间灯光图像优化方法

摘要

一种基于空间信息融合多注意力网络的夜间灯光图像优化方法，步骤是先构建的图像伪白天生成模型；再训练图像伪白天生成模型；最后使用训练后的图像伪白天生成模型处理夜间灯光视频/图像，输出伪白天图像。设计图像伪白天生成模型过程中，利用空间注意力机制和自注意力机制识别和聚焦亮度高的特征区域。根据日间影像信息利用自注意力非局部神经网络来引导图像全局细节信息的生成。通过空间注意力递归网络和自注意力残差网络构成生成对抗模型，在生成器网络部分利用空间上下文信息提取特征，并生成注意力图，从而对夜间灯光干扰去除并增强相应的灰暗的区域。并采用梯度惩罚增强模型的鲁棒性，判别器网络利用自注意力机制指导生成器网络的输出。

说明书

技术领域

本发明涉及图像处理领域，尤其涉及对夜间灯光干扰图像的增强优化方法和伪白天的生成方法技术领域，具体是一种基于空间信息融合多注意力网络的夜间灯光图像优化方法。

背景技术

从需求看：随着社会经济发展，人类夜间活动变得不断丰富。人们的许多活动和研究因为视线、夜晚摄影效果等原因而难以进行，摄像机也由于光线原因难以捕捉藏匿在黑暗中的关键信息，而且往往随机拍摄的视频和图像同时也会有强光干扰，也导致了特征信息会因此丢失。通过对夜间图像恢复成类似白天的图像，可以实现黑夜白天无差别的侦察监测，同时也有助于对昏暗的死角恢复成清晰可见的图像，恢复出明朗的景象，快速找到人员衣物颜色、车辆等重要信息。

从技术现状看：现代的摄像头设备是通过图像传感器来采集物体表面反射的光线信息，得到数字图像信息，因此摄像头设备的成像质量会受到目标周围的光源分布的影响。传统图像处理从观测统计中获得的先验知识缺乏对夜间图像的普遍性。

随着深度学习技术的发展，生成模型是一种更有效的基于学习分布的缺失信息恢复方法。但是由于传统生成对抗模型对实际数据的泛化能力较弱，导致这类模型不能完全恢复图像信息。

发明内容

为解决上述技术问题，在无法提高周围环境的亮度，无法改变传感器的成像原理的情况下，为了抵消夜间的光干扰和噪声信息，本发明提出一种基于空间信息融合多注意力网络的夜间灯光影像优化方法，对拍摄的夜间灯光视频和图像进行增强优化，最终得到伪白天图像。

本方法先在数据集进行训练与测试可得到精确的图像伪白天生成模型，再用模型对夜间灯光视频和图像进行处理，并输出伪白天图像。

本方法利用空间注意力(SPA)机制和自注意力机制识别和聚焦亮度高的特征区域，增强图像信息。

根据日间影像信息利用自注意力非局部神经网络来引导图像全局细节信息的生成。

通过空间注意力递归网络和自注意力残差网络构成生成对抗模型，在生成器部分利用空间上下文信息提取特征，并生成注意力图，从而进行对夜间灯光干扰去除并增强相应的灰暗的区域。并采用梯度惩罚增强模型的鲁棒性，判别器利用自注意力机制指导生成器的输出。

本发明解决了现有技术中缺乏对夜间灯光图像进行自动增强的方法的问题，由于在夜间拍摄的灯光影像，往往受到光线的影响，导致光线暗的区域图像模糊，光线强的区域，图像细节被强光进行干扰。

本方法可广泛应用于夜间安防侦察、自然夜间生物活动观测和夜间无人机观测等各种夜间活动领域。

本发明的具体技术方案是：先构建基于空间信息融合多注意力网络的图像伪白天生成模型；再训练图像伪白天生成模型；最后使用训练后的图像伪白天生成模型对拍摄的夜间灯光视频和图像进行处理，并输出伪白天图像。

构建网络模型：采用生成对抗网络的整体框架。该生成对抗网络主要分为生成器网络和判别器网络。

将被光线干扰的模糊的夜间灯光图像输入到生成器网络中，利用空间注意力递归网络模型对图像进行去强光干扰处理，并重建模糊的光线暗的全部特征。

判别器网络利用将空间注意力递归网络模型重建的优化影像进行判断预测，然后使用自我注意机制捕获强光的概率分布，并将注意力集中在有意义的区域。

损失函数构建：通过构建混合损失函数，将强光信息的特征图作为监督信号，并利用梯度惩罚的方式优化训练过程；

根据判别器网络的自注意力图引导生成器空间模型生成的注意图思想，构建多注意力损失代价函数，使得生成器关注更详细的局部模糊信息，并尽可能使得生成网络重建与真实图像数据分布相似的样本。

网络模型训练：

首先，采集同一位置夜间灯光图像数据和白天清晰图像数据，将白天清晰图像作为训练标签，对生成器网络和判别器网络进行训练；将含有夜间模糊数据和干净白天数据先经过二值化处理，得到只有强光信息和伪模糊层的标签图；

将数据输入初始化的空间信息融合多注意力网络(生成器网络)，输出初始优化伪清晰的影像；

通过判别器网络的自注意力层机制进行全局图像结构的复杂几何约束，输出注意力特征分布；

随后，通过损失函数指导下一次迭代中空间信息融合多注意力网络对强光干扰的检测和去除。

最终训练得到可以完全增强优化夜间灯光图像信息的空间信息融合多注意力网络(生成器网络)。

空间注意使用SPA Net模型；利用空间中的水平/垂直邻域信息来建模缺失信息，它是一个两轮四方向(上、下、左、右)递归神经网络，由ReLU和递归神经网络组成。

判别器网络是由残差网络和自注意力网络组成：

首先，经过归一化层和LeakyReLU层的三层卷积网络提取特征；

最后，通过叠加两层自注意力网络和一层卷积层输出结果。不同于其他方法，本发明利用最后一层的自注意力网络中，经过softmax转换的相关系数作为强光干扰和阴暗蒙板信息相关性判断，并且提取自注意力层中输出的特征层，最终判别器输出为全局特征图，自注意力特征图和干扰特征相关矩阵D

对抗和注意力混合损失函数用来优化训练过程，使得生成器网络更好地重建真实的拍摄物体信息。生成器网络混合损失函数(即对抗和注意力混合损失函数)是在对抗损失函数 L

本发明的有益效果是：本发明基于生成对抗网络，提出一种基于空间信息融合多注意力网络夜间灯光影像优化方法，通过去除光线干扰和阴暗蒙板遮挡还原原始的场景信息，生成更加精细化的伪白天影像。本发明解决了现有技术对实际数据的泛化能力较弱的问题，提高了模型的对夜间灯光去干扰和生成伪白天的能力，进一步提高细节重构的有效性和场景识别的准确性，获得稳定的模型。

附图说明

图1是本发明的设计图像伪白天生成模型过程示意图；

图2是本发明的生成器网络的示意图；

图3是本发明的判别器网络的示意图。

具体实施方式

下面将结合本发明实施例及附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明是基于生成对抗网络(GAN)，其中生成器利用空间注意力网络(SPA Net)和残差网络的思想，判别器利用自注意力机制的思想，构建了一种空间注意力和自注意力融合的生成对抗网络作为，以此来实现对强光干扰和黑夜背景的去除。并以训练生成对抗网络得到图像伪白天生成模型作为夜间灯光图像优化模型，用来对夜间灯光视频和图像。

在公开数据集和采集的数据集对生成对抗网络进行训练和测试，并用实际真实环境数据直接测试，得到更优异的强光去除效果和伪白天生成效果，极大地恢复了原始白天场景信息。

具体地，本发明的空间注意力和自注意力融合的生成对抗网络是由生成器网络和判别器构网络成，如图1所示，生成器网络通过对输入的影像进行干扰去除、场景信息恢复和伪白天影像生成，判别器网络对影像进行鉴别和指导。

训练集输入1000张512*512*3的含有强光干扰和自然夜间图。首先，计算出干扰和阴暗蒙板的二值图像，将夜间影像和白天影像进行组合，同时输入到网络进行训练。

总的epoch设置为300次，先经过生成器网络进行训练，初步生成伪白天的影像。如图2 所示，该步骤先将输入影像通过三块由卷积神经网络构成的残差模块进行特征值的提取；随后，经过四块空间注意力模块进行强光干扰的去除(该空间注意力模块由三块空间注意力残差块和一个空间注意力网络组成)；最后，经过两块残差网络和一块卷积块输出清晰的伪白天影像和注意力图。

判别器网络包括个四个卷积块和两个自注意力块，如图3所示，前半部分由三个卷积块构成残差结构，通过三层卷积块提取特征；最后，经过两个自注意力层和一个卷积层输出自注意力图和判断结果。利用自注意力层使得判别器网络对生成器网络的判断更为严谨，同时有助于对干扰数据和周围昏暗场景信息的区分判断。

为了能让生成的图片和训练的图片尽量相似，根据生成器网络和判别器网络的网络特征，在生成对抗网络损失函数基础上构建对抗和注意力混合损失函数，使得生成器网络更好的重建真实场景信息，

混合损失函数生成器损失函数是

在对抗性损失函数L

对抗损失函数表示为：

这里的x是输入含有强光干扰和阴暗蒙板的图像，E是数学期望，D(x,G(x)表示鉴别器将重建的清晰图像判断为参考图像的概率。G(x)是发生器去除干扰和噪声的预测结果。经过几轮迭代训练，生成器生成的真实数据x和虚假数据G(x)的分布是相似的，记为p

所述的L1损失函数用于衡量每个重建像素的准确度。该函数表示为；

R是真实的白天实景图像，λ

注意力损失函数表示为：

矩阵G

为了更好地指导生成器的训练，将梯度惩罚应用于模型判别器网络中。利用判别器网络中提取的光线因素相关性矩阵构建成损失函数，并结合自注意力层输出的注意力特征图，最终的判别器网络损失函数可以表示为：

其中，λ是梯度惩罚系数，