基于内容感知深度学习网络的遥感图像超分辨率重建方法

摘要

本发明公开了一种基于内容感知深度学习网络的遥感图像超分辨率重建方法，本发明提出了图像内容复杂性的综合度量指标及计算方法，以此为基础，将样本图像按内容复杂性分类，构建和训练高、中、低三种复杂性不等的深层GAN网络模型，然后根据待超分的输入图像的内容复杂性，选取对应的网络进行重建。为了提高GAN网络的学习性能，本发明同时给出了一种优化的损失函数定义。本发明方法克服了基于机器学习的超分辨率重建中普遍存在的过拟合和欠拟合的矛盾，有效提升了遥感影像的超分辨率重建精度。

说明书

技术领域

本发明属于图像处理技术领域，涉及一种图像超分辨率重建方法，具体涉及一种基于内容感知深度学习网络的遥感图像超分辨率重建方法。

技术背景

高空间分辨率的遥感影像可以对地物进行更加精细的描述，提供丰富的细节信息，因此，人们往往希望能够获取高空间分辨率的影像。随着空间探测理论和技术的迅速发展，米级甚至亚米级空间分辨率的遥感影像(如IKNOS和QuickBird)已逐步走向应用，然而其时间分辨率普遍比较低。与此相反，一些具有较低空间分辨率的传感器(如MODIS)却具有很高的时间分辨率，它们可以在短时内获取大范围的遥感影像。如果能从这些较低空间分辨率的影像中重建出高空间分辨率的影像，那么就能够获取到同时具有高空间分辨率和高时间分辨率的遥感影像。因此，对较低分辨率的遥感影像进行重建得到较高分辨率的影像是非常必要的。

近年来，深度学习被广泛用于解决计算机视觉和图像处理中的各种问题。2014年，香港中文大学的C.Dong等人率先将深度CNN学习引入图像的超分辨率重建，取得了较过去的主流的稀疏表达的方法更好的效果；2015年，韩国首尔国立大学的J.Kim等人进一步提出了基于RNN的改进方法，性能有进一步的提升；2016年，Google公司的Y.Romano等人发展了一种快速而精确的学习方法；随后不久，Twitter公司的C.Ledig等人将GAN网络(产生式对抗网络)用于图像超分辨率，取得了迄今为止最好的重建效果。而且，GAN的底层是深度信念网络，不再严格依赖于有监督的学习，即使在没有一对一的高低分辨率图像样本对的情况下也能训练。

在深度学习模型和网络架构确定后，基于深度学习的超分辨率方法的性能很大程度上由网络模型训练的好坏决定。深度学习网络模型的训练并非越彻底越有效，而是应该进行充分而适宜的样本学习(正如深层网络模型的层数并非越多越好一样)。对于复杂的图像，需要更多的样本训练，这样才能学到更多的图像特征，但这样的网络对内容简单的图像容易出现过拟合，致使超分辨率结果模糊；反之，减少训练强度，能避免内容简单图像的过拟合现象，但会造成内容复杂图像的欠拟合问题，降低了重构图像的自然度和保真度。如何做到训练的网络能同时兼顾内容复杂和简单的图像高质量重建的需求，是实际超分辨率应用中基于深度学习的方法不能回避的问题。

发明内容

为了解决上述技术问题，本发明提出了一种基于内容感知深度学习网络的遥感图像超分辨率重建方法。

本发明所采用的技术方案是：一种基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于，包括以下步骤：

步骤1：收集高低分辨率遥感图像样本，并进行分块处理；

步骤2：计算每个图像块的复杂度，按复杂度分成高、中、低三类，分别构成高、中、低复杂度的训练样本集；

步骤3：利用获得的样本集分别训练高、中、低复杂度的三种GAN网络；

步骤4：计算输入图像的复杂度，根据复杂度选取对应的GAN网络重建。

与现有的图像超分辨率方法相比，本发明具有以下优点和积极效果：

(1)本发明通过运用图像分类这一简单思想，成功克服了基于机器学习的超分辨率重建中普遍存在的过拟合和欠拟合的矛盾，有效提升了遥感影像的超分辨率重建精度；

(2)本发明方法基于的深度学习网络模型是GAN网络，该网络在训练时不依赖严格一一对齐的高低分辨率样本块，因而提高了应用普适性，尤其适合于遥感领域高低分辨率图像的多源非同步成像环境。

附图说明

图1为本发明实施例的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于内容感知深度学习网络的遥感图像超分辨率重建方法，包括以下步骤：

步骤1：收集高低分辨率遥感图像样本，将高分辨率图像均匀地切分成128x128的图像块、低分辨率图像均匀地切分成64x64的图像块；

步骤2：计算每个图像块的复杂度，按复杂度分成高、中、低三类，分别构成高、中、低复杂度的训练样本集；

图像复杂度的计算原理和方法如下：

图像内容的复杂性包含纹理复杂性和结构复杂性，信息熵和灰度一致性能较好地刻画纹理复杂性，而结构复杂性适合用图像中目标的边缘比率描述。图像的内容复杂性度量指标C由信息熵H，灰度一致性U和边缘比率R，按下式加权构成：

C＝w_h×H+w_u×U+w_e×E；

这里w_h，w_u，w_e分别是各自的权重，权重由实验确定。

下面给出信息熵、纹理一致性和边缘比率各自的计算方法。

(1)信息熵

信息熵反映图像灰度级的个数以及每个灰度级像素的出现情况，熵值越高表明图像纹理越复杂。图像信息熵H的计算公式为：

N为灰度级的个数,n_i为每个灰度级出现的个数，K为灰度级数目。

(2)灰度一致性

灰度一致性可以反映图像的均一程度,如果其值较小,则对应简单的图像,反之对应复杂的图像。灰度一致性公式为：

其中,M,N分别为图像的行数和列数,f(i,j)是像素(i,j)处的灰度值,是以(i,j)为中心的3×3邻域像素的灰度均值。

(3)边缘比率

图幅中目标个数多少直接反映了图像的复杂程度,如果目标个数较多,则该图像一般比较复杂,反之亦然。由于目标的计数涉及到复杂的图分割，不便于计算，目标边缘的多少间接反映了图像中目标物的多少及其复杂程度,因此可以用来描述图像的复杂度。图像中目标边缘所占的比例可以用边缘比率描述，计算公式为：

其中,M和N分别为图像的行数和列数,E为图像中边缘像素的个数。图像中目标的边缘表现为灰度显著变化的地方,可以由差分算法来求取,一般通过边缘检测算子(如Canny算子、Sobel算子等)检测图像的边缘像素。

其中高分辨率样本集图像块数量不少于500000，中分辨率图像块数量不少于300000，低分辨率图像块数量不少于200000。

步骤3：利用获得的样本集分别训练高、中、低复杂度的三种GAN网络；

GAN网络训练的损失函数定义如下：

GAN网络训练的损失函数包含内容损失，生成-对抗损失和全变差损失。内容损失刻画了图像内容的失真，生成-对抗损失描述的是生成结果的统计特性与自然图像这类数据的区分度，全变差损失则刻画了图像内容的连贯性。总体损失函数由三种损失函数加权组成：

这里w_v，w_g，w_t分别是各自的权重，权重由实验确定。

下面给出每种损失函数的计算方法。

(1)内容损失

传统的内容损失函数用MSE(像素均方误差)表示，逐像素考察图像内容的损失，基于MSE的网络训练淡化了图像结构上的高频成分，导致图像过模糊。为克服这一缺陷，这里引入图像的特征损失函数。由于人工定义和提取有价值的图像特征本身就是一项复杂的工作，同时考虑到深度学习具有自动提取特征的能力，本方法借用VGG网络训练得到的隐含层特征进行度量。用φ_i,j表示VGG网络中第i个池化层前面的第j个卷积层得到的特征图，将特征损失定义为重构图像与参考图像的VGG特征的欧式距离，即：

这里W_i,j，H_i,j表示VGG特征图的维度。

(2)生成-对抗损失

生成-对抗损失将GAN网络的产生式功能予以考虑，鼓励网络产生与自然图像流形空间一致的解，使得判别器无法将生成结果与自然图像区别开来。生成-对抗损失基于判别器对所有训练样本的判别概率来衡量，公式如下：

这里，表示判别器D将重构结果判别为自然图像的概率；N表示训练样本总数。

(3)全变差损失

增加全变差损失是为了加强学习结果在图像内容上的局部连贯性，其计算公式为：

这里W,H表示重构图像的宽度和高度。

步骤4：计算输入图像的复杂度，根据复杂度选取对应的GAN网络重建。

具体由下面子步骤组成：

步骤4.1：将输入图像均匀划分成16等份子图，计算每个子图的复杂度，并判断属于高、中、低复杂度的类型；

步骤4.2：根据复杂度类型选取相应的GAN网络进行超分辨率重建。

本发明将样本图像按图像内容复杂性分类，构建和训练复杂性不等的深层网络模型，然后根据待超分的输入图像的内容复杂性，选取对应的网络进行重建。遥感影像记录的是大尺度范围场景，因不受地面目标的精细信息的影响，内容复杂性一致的空间同质区较多且面积大，如城区、旱田、水田、湖泊、山地等大型地物，因而比较适合做预分类训练和重建。

这里采用GAN深度学习网络模型，不仅是因为GAN网络给出了目前最好的超分辨率性能，而且，作为训练样本的高低空间分辨率遥感影像来源不同，属于非同步拍摄的多时相图像，不可能存在像素意义上的一一对齐，这极大地限制了CNN网络的训练，而GAN网络是非监督学习网络，故不存在这个问题。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。