一种提高单帧红外图像分辨率的方法与系统

摘要

一种提高单帧红外图像分辨率的方法与系统，其中所述方法包括：步骤1：获取单帧低分辨率红外图像数据；步骤2：将所述单帧低分辨率红外图像数据分为两路，分别送入图像超分分支和梯度超分分支分别进行数据处理，分别得到图像超分重建结果和梯度超分重建结果；步骤3：将所述图像超分重建结果和所述梯度超分重建结果融合，获得高质量的高分辨率红外图像数据。该方法与系统可以提升整体的超分重建的质量，更好地保留了图像中的结构信息。

说明书

技术领域

本发明涉及图像处理领域，尤其涉及一种红外图像的超分辨率处理方法。

背景技术

红外成像系统由于具备较好的穿透成像效果，能够在黑夜、雨、雾等光照不足和复杂气象环境下捕捉环境信息，广泛应用于军事、医疗、公共安全等领域。然而，相比于可见光传感器动辄百万像素的分辨率，红外成像系统的分辨率远远难以满足实际应用的需求。而通过物理方法，即通过缩小像元尺寸和扩大探测器矩阵等硬件方法来提高红外图像分辨率，会成倍增加产品成本。更重要的是，在军事领域等应用场景中对成像系统体积、重量有严格限制的情况下，通过物理方法提升分辨率是一条不可行的途径。因此，通过软件算法提升红外图像的分辨率是当前最有前景的技术途径。

受益于深度学习技术的飞速发展，可见光图像的超分辨率取得了相当不错的效果。FSRCNN采用小卷积核和共享的深层网络结构，得到一种快速的超分网络；SRResNet和EDSR利用亚像素卷积层和残差学习在低分辨率空间提取特征，并使用子像素卷积层对LR特征进行放大。SRGAN基于生成对抗的思想，将超分辨率的质量提升到一个新的高度；ESRGAN通过多个环节的改进进一步加快了模型训练的速度，提高了超分图像的质量。

然而，直接采用上述超分技术对红外图像进行超分辨率时，依然存在着较多的问题。这些问题主要与红外图像的特征相关，具体表现为：(1)由于红外成像系统和成像技术的限制，红外图像通常呈现出分辨率低、对比度弱、高频细节少等特点；(2)由于室外红外图像存在较大的视差，即前景与背景有较大的景深差异，传统的超分辨率方法容易破坏图像中原有的结构信息，从而形成伪影或几何畸变；(3)由于地表与目标温度高于背景温度，以及红外波段辐射各向同性扩散等原因，造成室外红外图像对比度低，外加水汽吸收、大气散射等因素使得红外图像进一步模糊，在视觉上呈现出可见光图像中的薄雾特征。

采用传统的图像超分辨率方法，由于薄雾模糊、对比度低等原因，往往难以充分挖掘高频信息，从而难以较好地恢复出细节信息；同时由于大的视差，在图像进行大比例的超分辨率时(例如4×4倍以上)，细节结构信息保留不好，会出现伪影或者几何畸变。

发明内容

针对现有技术存在的上述缺陷和不足，本发明提供一种单帧红外图像超分辨率方法与系统，至少部分解决现有技术中存在的问题，本方法能够对红外图像进行低对比度增强，并充分挖掘高频信息，同时较好地保留结构特征，因此可以提升红外图像的超分辨率质量。

本发明的一种提高单帧红外图像分辨率的方法，其特征在于，包括：

步骤1：获取单帧低分辨率红外图像数据；步骤2：将所述单帧低分辨率红外图像数据分为两路，分别送入图像超分分支和梯度超分分支分别进行数据处理，分别得到图像超分重建结果和梯度超分重建结果；步骤3：将所述图像超分重建结果和所述梯度超分重建结果融合，获得高质量的高分辨率红外图像数据。

进一步地，其中所述步骤2中的图像超分分支具体包括图像超分网络，所述图像超分网络包括由多级残差网络和密集连接构成的RRDB模块，用于执行图像超分辨率，得到初始超分辨率图像。

进一步地，所述步骤2中的梯度超分分支还包括去雾处理，具体包括：

步骤2.1：采用暗通道先验模型搭建去雾模型，其数学模型表示为：

其中，c∈(r,g,b)是指rgb三个颜色通道，Ω(x)是以x为中心的窗口，代表局部区域，J

步骤2.2：根据有雾图模型，得到窗口内的透射值估计：

其中，I

步骤2.3：根据所述A和所述t(x)，根据有雾图模型，计算得到去雾后的图像，公式如下：

其中，I(x)是原图，A是估计的全球大气光值，t(x)是式(2)估计的窗口内透射光率，to是最低透射光率。

进一步地，所述步骤2中的梯度超分分支还包括对经过去雾处理的梯度图进行梯度提取步骤，进而通过一个梯度超分网络实现对梯度图的超分辨率重建，得到梯度超分辨率图像。

进一步地，梯度超分网络在超分重建过程中融合了图像超分过程中的多级特征，而不是加入多层特征提取层来重新从梯度图提取特征。

进一步地，步骤3中的融合步骤采用一个多层卷积神经网络，通过训练获得对应的权重矩阵，进而确定初始超分辨率图像和梯度超分辨率图像各自占的比重。

进一步地，所述图像超分网络和梯度超分网络的损失函数由5个部分构成，具体包括：用于表征超分辨率图像与真实高分图像之间的绝对误差的L1损失函数、用于表征超分图像第i层特征φ

L1损失为：L

感知损失为：L

GAN损失为：L

L

梯度损失为：L

结合以上各类损失，得到整体的损失函数为：

L＝aL

其中a、b、c、d、e为加权参数，且a+b+c+d+e＝1，

上述公示中I

本申请还提供了一种采用上述方法提高单帧红外图像分辨率的系统，该系统包括：输入模块，用于获取单帧低分辨率红外图像数据；数据处理模块，用于将所述单帧低分辨率红外图像数据分为两路，分别送入图像超分分支和梯度超分分支分别进行数据处理，分别得到图像超分重建结果和梯度超分重建结果；融合模块，用于将所述图像超分重建结果和所述梯度超分重建结果融合，获得高质量的高分辨率红外图像数据。

进一步地，数据处理模块包括所述图像超分分支和所述梯度超分分支。

进一步地，图像超分分支包括一个类似ESRGAN的图像超分网络，用于执行图像超分辨率得到初始超分辨率图像。

进一步地，梯度超分分支包括去雾模块，用于执行所述去雾处理。

进一步地，梯度超分分支还包括梯度超分网络，用于执行梯度图的超分辨率重建，得到梯度超分辨率图像。

进一步地，梯度超分分支在执行梯度图的超分重建过程中，引入了图像超分分支提取的多级特征，以提高梯度超分重建的效果。

进一步地，所述融合模块采用多层卷积神经网络确定初始超分辨率图像和梯度超分辨率图像等各个数据各自占的比重，获得对应的权重矩阵。

本申请在深入分析红外图像典型特征的基础上，针对传统算法在红外图像上超分重建效果差的问题，提出了一种新的深度神经网络结构，实现单帧红外图像的高质量超分重建。主要采用：(1)通过去雾处理，将原图中的细节信息充分暴露；(2)通过梯度重建网络超分高频信息；(3)在设计损失函数时充分考虑结构信息，以更好地保留细微结构的几何特征。

本申请能够对红外图像进行低对比度增强，并充分挖掘高频信息，同时较好地保留结构特征，因此可以提升红外图像的超分辨率质量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请的总体流程示意图。

图2为本申请的系统架构图。

图3为本申请的红外图像去雾处理效果图。

图4为本申请的整体网络结构示意图。

图5为RRDB模块示意图。

图6(a)和图6(b)为Grad模块的网络结构示意图。

图7为融合模块的具体结构图。

具体实施方式

下面结合附图对本发明的具体实施方式进行详细描述。

本发明提供一种提高单帧红外图像分辨率的方法，其总体流程如图1所示。输入的单帧低分辨率红外图像分为两路。一路送入图像超分分支，通过图像超分网络进行超分重建。其中，图像超分网络借鉴ESRGAN的基本结构。另一路送入梯度超分分支，首先对红外图像进行去雾处理以增强图像的细节信息，然后提取梯度图像，进而通过梯度超分网络对梯度图像进行超分重建。在梯度超分过程中，梯度超分网络在多个层级引入图像超分网络中提取的多层特征。最后，梯度超分重建结果与图像超分重建结果融合，形成高质量的高分图像。为了保持细节结构在超分后的结构特征，在设计损失函数时，本发明也充分考虑了结构信息，通过增加梯度损失，对图像的超分辨率施加了二次约束，以更好地保留图像中的结构信息。

本发明提供一种提高单帧红外图像分辨率的系统，其结构如图2所示，该系统包括：输入模块，用于获取单帧低分辨率红外图像数据；数据处理模块，用于将所述单帧低分辨率红外图像数据分为两路，分别送入图像超分分支和梯度超分分支分别进行数据处理，分别得到初始超分图像和梯度超分图像；融合模块，用于将所述图像超分重建结果和所述梯度超分重建结果融合，获得高质量的高分辨率红外图像数据。

鉴于红外图像通常比较模糊，呈现出薄雾效果，从而使得细节特征不明显。为了梯度提取能够更好地恢复出图像细节，本发明在进行梯度提取之前，先进行去雾处理。

去雾模型采用暗通道先验模型，所谓暗通道先验是指在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。换言之，该区域光强度的最小值是个很小的数。用数学模型表示为：

其中，c∈(r,g,b)是指rgb三个颜色通道，Ω(x)是以x为中心的窗口，代表局部区域，J

进而根据有雾图模型，得到窗口内的透射值估计：

其中，I

在实际中，我们可以借助于暗通道图来从有雾图像中获取该值。具体步骤如下：

1)从暗通道图中按照亮度的大小取前0.1％的像素；

2)在这些位置中，在原始有雾图像I中寻找对应的具有最高亮度的点的值，作为A值。

在A和t(x)得到后，即可根据有雾图模型，计算得到去雾后的图像，公式如下：

其中，I(x)是原图，A是估计的全球大气光值，t(x)是式(2)估计的窗口内透射光率，to是最低透射光率。

采用窗口半径15，去雾率ω后，处理前后的结果如图3所示。

本发明提供的整体网络结构如图4所示。输入信号分为两路，一路送入图像超分网络，一路经过去雾处理和梯度提取送入梯度超分网络，经过图像超分网络和梯度超分网络处理之后，分别得到初始超分图像和超分梯度图，并通过Fusion模块融合得到高质量的超分图像。其中，图像超分网络为ESRGAN的网络结构，具体包括Conv模块和与所述Conv模块级联的若干个RRDB模块，RRDB模块的输出结果作为Concat模块的输入，Concat模块级联Conv模块，其结果作为Upsample模块的输入，最后和Conv模块连接；其中，所述Conv模块为3×3的卷积模块，所述Concat模块为特征合并模块，所述Upsample模块为2倍率上采样模块，梯度提取为sobel算子提取梯度。通过图像超分网络可以得到初始超分辨率图像。

梯度超分网络具体包括依次连接的Conv模块、若干个Grad模块+Conv模块组合、Conv模块、Upsample模块和Conv模块；其中，所述Conv模块为3×3的卷积模块，所述Concat模块为特征合并模块，所述Upsample模块为2倍率上采样模块，梯度提取为sobel算子提取梯度。通过梯度超分网络可以得到梯度超分辨率图像。

所述RRDB模块、Grad模块和Fusion模块将在后续详细介绍。值得注意的是，梯度超分网络集成了来自图像超分网络的多个中间层表征。

RRDB(Residual-in-Residual Dense Block)模块是ESRGAN网络的基本模块，由多级残差网络和密集连接构成，具体如图5所示，RRDB模块包括若干个Conv模块+LReLU模块组，这些模块组经过密集连接之后得到的结果输入Conv模块，作为RRDB模块的最终输出结果。其中，Conv模块为3×3的卷积模块，LReLU模块是现有技术中的激活函数模块。

如图4所示，在每两个RRDB之间有个Grad模块用于梯度图的高级特征提取，该Grad的模块可以是Residual模块，也可以是Bottleneck模块，可以选用。效果并没有明显优劣，都可以作为实用例。Residual模块和Bottleneck模块的网络结构分别为图6(a)和图6(b)所示。

Fusion模块融合利用初始超分图像和超分梯度图。融合模块实际上是确定初始超分图像和超分梯度图各自占的比重，即获得两个权重矩阵W

本发明所述图像超分网络和梯度超分网络的损失函数包括L1损失、感知损失、GAN损失和梯度损失如下几个部分：

(1)L1损失

用于表征超分图像与真实高分图像之间的绝对误差，其具体形式为：

L

(2)感知损失

用于表征超分图像第i层特征φ

L

(3)GAN损失

L

L

(4)梯度损失

用于衡量梯度超分网络中生成的SR梯度特征图与真实梯度特征图之间的绝对误差。其具体形式为：

L

(5)结合以上各类损失，得到整体的损失函数为：

L＝aL

其中a、b、c、d、e为加权参数，且a+b+c+d+e＝1，

上述公示中I

可见，本发明在充分分析红外图像特征的基础上，提出了一种基于深度神经网络的提高单帧红外图像超分辨率方法与系统，通过以下方式显著提高了红外图像处理的精度：

(1)提出一种双分支的深度神经网络，其中一路对采用类似于ESRGAN的网络直接对图像进行超分辨，另一路对梯度图像进行超分辨率，最后将两路超分的结果进行融合，使红外图像的细节信息得到更好地强调。

(2)鉴于红外图像通常比较模糊，呈现出薄雾效果，从而使得细节特征不明显。为了梯度提取能够更好地恢复出图像细节，本发明在进行梯度提取之前，先进行去雾处理。本发明采用基于暗通道的方法进行去雾处理，得到了较好的效果，使红外图像细节得以凸显。

(3)梯度图像的超分辨率融合利用了图像超分过程中的多级特征，即将图像超分网络的中间层特征送入梯度超分网络，而不是加入多层特征提取层，从而降低了模型复杂度和计算消耗，并提升梯度超分网络的效果。

(4)图像超分网络采用了由多级残差网络和密集连接构成的RRDB模块，特征表达能力更强。

(5)梯度超分模块采用Grad模块进行梯度图的高级特征提取。

(6)Fusion模块采用多层卷积融合利用初始超分图像和超分梯度图。

(7)定义的损失函数综合考虑了L1损失、感知损失、GAN损失和梯度损失，特别是充分考虑了结构信息，通过增加梯度损失，对图像的超分辨率施加了二次约束，以更好地保留图像中的结构信息。

关于有雾图模型，即暗通道去雾模型，请参见文献“Single Image Haze RemovalUsing Dark Channel Prior”的介绍，在此不再赘述。

以上仅为本发明的具体实施方式，但是本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明所披露的发明构思和技术方案的范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求书所限定的为准。