基于AE提取多尺度空谱特征的高光谱和全色图像融合方法

摘要

本发明属于图像处理技术领域，公开了一种基于AE提取多尺度空谱特征的高光谱和全色图像融合方法。实现步骤：获取图像数据集并进行预处理；构建并训练多个分辨率下的自编码器；提取多尺度空间光谱特征；获取自适应增强后的空间光谱特征；构建并训练通道注意力机制和特征重建融合残差网络组成的网络模型；得到高空间分辨率的高光谱图像。将低分辨率高光谱图像插值，高分辨率全色图像进行下采样与之匹配，并通过浅层多分辨率自编码器网络提取多尺度空间光谱特征；构建通道注意力机制和特征重建融合残差网络，减小光谱损失的基础上增强融合高光谱图像的空间信息，获得高光谱图像。本发明提取更丰富更细微的空间光谱特征，且网络很浅，计算复杂度较低。

说明书

技术领域

本发明属于图像处理技术领域，更进一步涉及高光谱和全色图像的融合，具体是基于自编码器(AutoEncoder，AE)提取多尺度空间光谱特征的高光谱和全色图像融合方法。

背景技术

目前：随着遥感技术的发展，拥有几十甚至上百个光谱波段的高光谱图像可由高光谱图像传感器获得，但由于传感器技术和成本的限制，得到的高光谱图像的空间分辨率较低，不利于遥感图像后续的分类、目标检测等。同时，遥感系统还会搭载全色图像传感器来获得同一感兴趣区域具有高空间分辨率的全色图像，于是可以融合高空间分辨率的全色图像来提升高光谱图像空间信息，从而得到空间信息增强、光谱信息丰富的高质量高光谱图像。

经典常用的高光谱和全色图像融合算法有成分替代法，多分辨率分析法和贝叶斯法。成分替代法的主要思想是采用某种变换从高光谱图像中分离出空间信息和光谱信息，用全色图像的空间信息替换高光谱图像的空间信息，最后对重组的高光谱图像进行逆变化得到融合的高光谱图像。典型方法有亮度-色调-饱和度变换法(Intensity-Hue-Saturation，IHS)，主成分分析法(Principal Component Analysis，PCA)，施密特正交变换(Gram Schmidt，GS)等。成分替换法简单易于实现，融合的图像也有充足的空间信息，但存在较大的光谱失真。多分辨率分析法相比于成分替换法能较好的保留光谱信息，但却会有一些空间失真。其主要思想是从全色图像中提取高频细节，再按某种规则注入到高光谱图像中。典型方法有强度调节的平滑滤波(Smoothing Filter based IntensityModulation，SFIM)，调制传递函数广义拉普拉斯金字塔(Modulation transfer functiongeneralized Laplacianpyramid，MTF-GLP)等。贝叶斯法需要用到期望的高分辨率高光谱图像的先验分布，主要思想是将高光谱和全色图像融合转化为贝叶斯模型，通过优化模型来得到融合图像。典型方法有贝叶斯稀疏表示(Bayesian Sparse Representation,BSR)，高斯先验提升的贝叶斯稀疏表示(Bayesian sparsity promoted Gaussianprior，BSF)等。贝叶斯法的不足之处在于需要较强的先验信息才能达到较好的融合效果，且计算复杂度高。

近年来，基于深度学习的方法广泛应用于各个领域，如目标检测、异常检测、图像分类等。同样的，运用深度学习来解决高光谱和全色图像融合已经成为一种新趋势。Dong等人在文献“Image super-resolution using deep convolutional networks,IEEETrans.Pattern Anal.Mach.Intell.,vol.38,no.2,pp.295–307,Feb.2015.”中通过卷积神经网络(ConvolutionalNeural Networks，CNN)成功学习到了从低分辨率图像到高分辨率图像的映射，提出了一种超分辨率卷积神经网络(Superresolution ConvolutionalNeuralNetworks，SRCNN)，并取得了不错的超分辨率性能。受到Dong等人的启发，Masi等人在文献“Pansharpening by convolutional neural networks,Remote Sens.,vol.8,no.7,p.594,2016.”中提出了一种基于SRCNN的高光谱和全色图像融合方法(Pansharpening Convolutional Neural Networks，PNN)，该方法是将全色图像和插值后的高光谱图像作为输入，学习输入与输出的融合高光谱图像之间的映射，并获得了当时较好的效果。随后，Wei等人在文献“Boosting the accuracy ofmultispectral imagepansharpening by learning a deep residual network,IEEE Geosci.RemoteSens.Lett.,vol.14,no.10,pp.1795–1799,Oct.2017.”中对PNN做了改进，将深度残差结构加入其中，提出了一种新的融合方法(Deep residual based PansharpeningConvolutional Neural Networks，DRPNN)，通过更深层次的网络体系，提高了PNN的性能。然而，现在大多数基于CNN的融合方法都是单尺度的，即使加深网络也无法学习到更多的特征，还会占用更多的计算资源，最后得到的融合图像在空间信息和光谱信息上不能同时保持的很好。

通过上述分析，现有技术存在的问题及缺陷为：经典方法对于空间信息保持得不够好。现在大多数基于CNN的融合方法都是单尺度的，即使不断加深网络也无法学习到更多的特征，还会占用更多的计算资源，最后得到的融合图像在空间信息和光谱信息上不能同时保持的很好。

解决以上问题及缺陷的难度为：低分辨率高光谱图像所含空间信息较少，光谱信息丰富。使用高分辨率全色图像与其进行融合过程中有两大难点：一是如何从中提取到足够多的空间光谱特征，二是在尽量减少光谱信息损失的前提下，如何极大的提升空间信息。

解决以上问题及缺陷的意义为：由于传感器技术和成本的限制，所获得的高光谱图像分辨率太低无法直接应用于后续处理，如目标检测，异常检测，图像分类等。构建的多个分辨率下的自编码器网络能够获得更丰富更细微的空间光谱特征，从而保证最后得到的融合高光谱图像同时拥有良好的空间光谱信息，便可用于高光谱图像后续处理。

发明内容

针对现有技术存在的问题，本发明提供了一种基于AE提取多尺度空谱特征的高光谱和全色图像融合方法。

本发明是这样实现的，所述基于AE提取多尺度空谱特征的高光谱和全色图像融合方法包括：获取图像数据集并进行预处理，生成训练图像样本；构建并训练多个分辨率下的自编码器，获取高光谱图像的空间光谱特征和全色图像的空间特征；提取多尺度空间光谱特征，由高光谱图像的空间光谱特征和全色图像的空间特征按一定规则组合得到；获取自适应增强后的空间光谱特征，利用注意力机制突出拥有更多细节信息的谱段，对提取到的空间光谱特征进行增强；构建并训练通道注意力机制和特征重建融合残差网络组成的网络模型，对增强后的多尺度空间光谱特征进行细节重建；得到高空间分辨率的高光谱图像。

进一步，所述基于AE提取多尺度空谱特征的高光谱和全色图像融合方法具体包括如下步骤：

(1)获取图像数据集，对数据进行预处理：

(1.1)获取图像数据集：从公开数据集中获取到低分辨率高光谱图像H

(1.2)数据预处理：P

(2)构建多个不同分辨率下的自编码器：自编码器由编码器和解码器构成，针对(1)中预处理得到的三种分辨率下的高光谱和全色图像分别设计了3D自编码器和2D自编码器，所有编码器网络结构是两层卷积层，所有解码器网络结构是反卷积层和反卷积函数；卷积层/反卷积层由卷积函数/反卷积函数，BatchNormalization函数和ReLU函数组成；

3D编码器网络参数设置如下，均采用3D卷积函数，卷积核尺寸为3*3*3，步长为1，两个卷积函数的输出节点数分别为4和2；

3D解码器网络参数设置如下，均采用3D反卷积函数，卷积核尺寸为3*3*3，步长为1，两个反卷积函数输出节点数分别为4和1；

2D编码器网络参数设置如下，均采用2D卷积函数，卷积核尺寸为3*3，步长为1，两个卷积函数输出节点数分别为32和16；

2D解码器网络参数设置如下，均采用2D反卷积函数，卷积核尺寸为3*3，步长为1，两个反卷积函数输出节点数分别为32和1；

(3)训练多个自编码器，提取多尺度空间光谱特征：

(3.1)将低分辨率高光谱图像H

(3.2)输入之前用于训练的数据到已经训练完成的编码器网络中，将3D编码器五维输出中的“帧维”合并至通道维上，变成四维，然后与2D编码器的输出进行通道维上级联后得到该尺度下的空间光谱特征F

(3.3)对其余两组同分辨率下的高光谱和全色图像重复(3.1)、(3.2)步骤，得各自尺度下的空间光谱特征F

(4)构建特征重建融合残差网络：特征重建融合残差网络包括三个残差子网络；前两个残差子网络由一个卷积层、两个残差块和一个实现上采样的反卷积层组成，最后一个残差子网络与其它两个的区别是反卷积层由实现输出的卷积函数替代；卷积层和反卷积层的构成同(2)中2D自编码器的卷积层和反卷积层；残差块包括两个卷积层和一个将输入与输出相加的短接线；

三个残差子网络的网络参数设置如下：卷积层均采用2D卷积函数，卷积核尺寸为3*3，步长为1，输出节点数都是256，反卷积层均采用2D反卷积函数，卷积核尺寸为3*3，步长为2，输出节点数都是128，最后实现输出的卷积函数也是2D卷积函数，卷积核尺寸为3*3，步长为1，输出节点数为高光谱图像的波段总数；

(5)获取自适应增强后的多尺度空间光谱特征：利用通道注意力机制对提取到的多尺度空间光谱特征进行强化感兴趣特征的处理，获得增强后的多尺度空间光谱特征F′

(6)训练通道注意力机制和特征重建融合残差网络，得融合高光谱图像：对通道注意力机制和构建好的特征重建融合残差网络组成的网络模型进行训练，具体流程如下：

(6.1)F

(6.2)F′

(6.3)F′

(6.4)F′

(6.5)以H

进一步，所述(3.1)中3D自编码器图像重建的损失函数由L1范数损失和光谱角映射损失组成，损失计算公式如下：

其中其中I

进一步，所述(3.1)中2D自编码器图像重建的损失函数由L1范数损失和互相关系数损失组成，损失计算公式如下：

其中I

进一步，所述(3.2)中将3D编码器五维输出中的“帧维”合并至通道维上，具体合并方法为：假设[b,f,c,h,w]表示五维输出，b是训练批次大小，f,c,h,w分别是图像帧数，通道数，高度，宽度，对f个[b,c,h,w]大小的四维数据进行通道维上级联得最后的四维数据[b,c*f,h,w]。

进一步，所述(5)中的利用通道注意力机制对提取到的多尺度空间光谱特征进行强化感兴趣特征的处理，按如下步骤进行：

(5.1)对F

(5.2)将特征矩阵F

(5.3)F'

(5.4)利用公式F′

进一步，所述(6.5)中求H

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明充分利用提取的多尺度特征信息来确保最终得到的融合图像同时拥有良好的空间信息和光谱信息。

本发明将低分辨率高光谱图像进行插值，而高分辨率全色图像则进行下采样与之匹配，并相应设计了多个浅层多分辨率自编码器网络，以提取多尺度空间光谱特征。与现有技术相比，构建的多尺度空间光谱特征提取网络能够获得更丰富更细微的空间光谱特征，且网络很浅，计算复杂度较低。

本发明使用三维卷积函数来同时学习高光谱图像的空间和光谱特征，与使用普通二维卷积函数来学习高光谱图像特征的现有技术相比，获取到的光谱信息更加丰富。

本发明利用通道注意力机制对提取到的多尺度空间光谱特征进行自适应增强，能够突出拥有更多细节信息的谱段，而现有技术则忽略了这一点。

本发明为3D/2D自编码器设计了不同的损失函数。光谱角映射损失用于在3D自编码器中更好的提取到高光谱图像丰富的光谱信息，互相关系数损失用于在2D自编码器中更好的提取到全色图像细微的空间信息。与现有技术相比，本发明针对不同数据源分别考虑损失函数能够获得更好的空间光谱信息。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于AE提取多尺度空谱特征的高光谱和全色图像融合方法流程图。

图2是本发明实施例提供的基于AE提取多尺度空谱特征的高光谱和全色图像融合方法的实现流程图。

图3是本发明实施例提供的注意力机制的实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于AE提取多尺度空谱特征的高光谱和全色图像融合方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的基于AE提取多尺度空谱特征的高光谱和全色图像融合方法包括以下步骤：

S101：获取图像数据集并进行预处理；

S102：构建并训练多个分辨率下的自编码器；提取多尺度空间光谱特征；

S103：获取自适应增强后的空间光谱特征；构建并训练通道注意力机制和特征重建融合残差网络组成的网络模型；得到高空间分辨率的高光谱图像。

本发明提供的高光谱和全色图像融合方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的高光谱和全色图像融合方法仅仅是一个具体实施例而已。

下面结合附图对本发明的技术方案作进一步的描述。

如图2所示，本发明的高光谱和全色图像融合方法具体步骤如下：

步骤一：获取图像数据集，对数据进行预处理。

(1.1)获取图像数据集：从公开数据集中获取到低分辨率高光谱图像H

(1.2)数据预处理：本发明以P

步骤二：构建多个不同分辨率下的自编码器。

自编码器由编码器和解码器构成，针对步骤1预处理得到的三种分辨率下的高光谱和全色图像分别设计了3D自编码器和2D自编码器，所有编码器网络结构是两层卷积层，所有解码器网络结构是反卷积层和反卷积函数；卷积层/反卷积层由卷积函数/反卷积函数，BatchNormalization函数和ReLU函数组成。

3D编码器网络参数设置如下，均采用3D卷积函数，卷积核尺寸为3*3*3，步长为1，两个卷积函数的输出节点数分别为4和2。

3D解码器网络参数设置如下，均采用3D反卷积函数，卷积核尺寸为3*3*3，步长为1，两个反卷积函数输出节点数分别为4和1。

2D编码器网络参数设置如下，均采用2D卷积函数，卷积核尺寸为3*3，步长为1，两个卷积函数输出节点数分别为32和16。

2D解码器网络参数设置如下，均采用2D反卷积函数，卷积核尺寸为3*3，步长为1，两个反卷积函数输出节点数分别为32和1。

步骤三：训练多个自编码器，提取多尺度空间光谱特征。

下面仅以一组自编码器(同分辨率下的3D和2D自编码器)的训练为例进行说明：

(3.1)将低分辨率高光谱图像H

其中其中I

2D自编码器图像重建的损失函数由L1范数损失和互相关系数损失组成，其计算公式如下：

其中I

(3.2)输入之前用于训练的数据到已经训练完成的编码器网络中，3D编码器输出五维数据[b,f,c,h,w]，其中b代表训练批次大小，f,c,h,w分别代表图像帧数，通道数，高度，宽度，将该五维数据拆分为f个[b,c,h,w]大小的四维数据并在通道维上级联得新的四维数据[b,c*f,h,w]，接着又与2D编码器的输出在通道维上级联后得到该尺度下的空间光谱特征F

(3.3)对其余两组同分辨率下的高光谱和全色图像重复(3.1)、(3.2)步骤，得各自尺度下的空间光谱特征F

步骤四：构建特征重建融合残差网络。

特征重建融合残差网络包括三个残差子网络；前两个残差子网络由一个卷积层、两个残差块和一个实现上采样的反卷积层组成，最后一个残差子网络与其它两个的区别是反卷积层由实现输出的卷积函数替代；卷积层和反卷积层的构成同步骤2中2D自编码器的卷积层和反卷积层；残差块包括两个卷积层和一个将输入与输出相加的短接线。

三个残差子网络的网络参数设置如下：卷积层均采用2D卷积函数，卷积核尺寸为3*3，步长为1，输出节点数都是256，反卷积层均采用2D反卷积函数，卷积核尺寸为3*3，步长为2，输出节点数都是128，最后实现输出的卷积函数也是2D卷积函数，卷积核尺寸为3*3，步长为1，输出节点数为高光谱图像的波段总数。

步骤五：获取自适应增强后的多尺度空间光谱特征。

利用通道注意力机制对提取到的多尺度空间光谱特征进行强化感兴趣特征的处理，获得增强后的多尺度空间光谱特征F′

(5.1)对F

(5.2)将特征矩阵F

(5.3)F'

(5.4)利用公式F′

步骤六：训练通道注意力机制和特征重建融合残差网络，得融合高光谱图像。

对通道注意力机制和构建好的特征重建融合残差网络组成的网络模型进行训练，具体流程如下：

(6.1)F

(6.2)F′

(6.3)F′

(6.4)F′

(6.5)以H

下面结合仿真实验对本发明的效果作详细的说明。

1.仿真数据集：

实验选取了两个广泛使用的数据集，分别是Pavia数据集和Houston数据集。Pavia数据集由ROSIS传感器获得，波长范围从430nm到860nm，拍摄景物是意大利的帕维亚中心，选取尺寸为960×640×102的子图像作为参考图像。Houston数据集由ITRESCASI-1500传感器获得，拍摄地区是休斯顿大学及其附近城市，覆盖了从380nm到1050nm的144波段，选取320×1280×144的子图像作为参考图像。进一步，根据Wald’s协议从参考图像中模拟得出用于训练的低分辨率高光谱图像和高分辨率全色图像，将模拟的高光谱图像和全色图像划分为k

2.仿真实验内容及结果分析：

为了验证本发明具有较好的融合性能，采用互相关系数(Cross Correlation，CC)，光谱角映射(SpectralAngle Mapper，SAM)，均方根误差(Root Mean Squared Error，RMSE)，相对整体合成误差(Erreur Relative GlobaleAdimensionnelle de Synthèse，ERGAS)四种评价指标。

互相关系数CC是一个空间评价指标，通过计算融合的高光谱图像与参考高光谱图像对应波段的互相关系数，度量融合的高光谱图像与参考高光谱图像之间的空间失真程度。CC的值介于0和1之间，越大的CC值表示越佳的融合性能。

光谱角映射SAM是一个光谱评价指标，通过计算融合的高光谱图像和参考高光谱图像对应像素光谱矢量之间的夹角，来衡量融合后的高光谱图像的光谱保真能力。SAM的值越小表示融合的高光谱图像光谱信息保留地越好。

均方根误差RMSE表征融合的高光谱图像和参考图像之间的误差，既可以说明融合的高光谱图像光谱失真程度，又可以度量空间扭曲程度。RMSE值越小表示融合的高光谱图像和参考图像之间的误差越小。

相对整体合成误差ERGAS通过度量融合的高光谱图像和参考高光谱图像之间的全局误差来同时表征融合的高光谱图像的光谱信息和空间信息的失真程度。越低的ERGAS值意味着融合处理效果越好。

实验：用本发明和现有的十种融合方法对低分辨率高光谱图像与同场景全色图像进行融合，所得结果的性能指标如表1与表2所示，其中：

表1本发明和现有的十种方法对Pavia高光谱图像融合结果性能指标

表2本发明和现有的十种方法对Houston高光谱图像融合结果性能指标

从表1和表2可以看出，本发明的互相关系数CC最大，光谱角映射SAM、均方根误差RMSE、相对整体合成误差ERGAS均最小，说明使用本发明得到的融合高光谱图像同时拥有较好的空间信息和光谱信息。同时，本发明对两个不同传感器获得的高光谱图像融合效果均为最好，说明本发明具有良好的泛化性。

综上所述，本发明同时考虑高光谱图像的空间光谱信息和全色图像的空间信息，通过多路自编码网络提取到足够多的空间光谱特征，在有效减小光谱损失的基础上增强了融合高光谱图像的空间信息，最后得到高空间分辨率、高谱间分辨率的高光谱图像，可更好应用于后续高光谱图像处理。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。