一种基于深度学习的多源遥感图像融合方法

摘要

本发明提供了一种基于深度学习的多源遥感图像融合方法，其利用深度学习方法自动实现多源待融合遥感图像特征的自动选择，无需手工特征选择，省时省力，便于多源遥感图像融合的工程应用，能够更加全面、深层地表达不同源图像的自身特点，实现多个抽象层次上的图像的语义表征，提高了多源图像融合和地物分类的精度。

说明书

技术领域

本发明涉及遥感图像处理技术领域，更具体地涉及一种基于深度学习的多源遥感图像融合方法。

背景技术

在遥感图像处理技术领域，由于不同传感器均存在一定的局限性(如光学传感器受天气影响大、SAR传感器分辨率低而且存在斑点噪声等)，利用单个传感器对目标进行判读解译往往只能获得目标的某一方面特征，因此，在遥感图像处理过程中，综合利用多源遥感图像信息，是提升多源遥感图像应用价值的一个重要途径。

一方面，现有的多源融合方法往往采用均等融合处理策略，即对参与融合的每类数据均进行融合，然而，实际应用中发现：并非所有的融合均能对遥感图像分类精度有提高，甚至在一定类别图像融合时会导致分类精度降低。另一方面，现有的多源融合方法主要基于浅层学习思想开展的，在融合过程中需要手工地进行特征的选择，不仅费时耗力，还致使多源图像融合精度很大程度上依赖于经验和运气，不利于多源遥感图像融合的工程应用，因此本领域迫切需要一种能克服上述缺陷的多源遥感图像融合方法。

发明内容

(一)要解决的技术问题

为了解决现有技术存在的均等融合无法有效发挥多源特征互补优势和浅层学习中手工特征选择的缺陷，本发明提供了一种基于深度学习的多源遥感图像融合方法。

(二)技术方案

本发明提供了一种基于深度学习的多源遥感图像融合方法，包括：步骤A：对训练样本图像和测试样本图像进行预处理和图像光谱特征提取，得到训练数据集和测试数据集；步骤B：构建深度卷积神经网络模型；步骤C：利用所述训练数据集训练所述深度卷积神经网络模型，得到训练后的深度卷积神经网络模型；步骤D：基于所述测试数据集和训练后的深度卷积神经网络模型，得到测试数据集的深度特征集，并对所述深度特征集中的深度特征进行归一化处理；步骤E：基于所述测试数据集的深度特征集，对测试样本图像的光学遥感图像和SAR遥感图像进行选择性融合，得到融合后的图像；以及步骤F：利用分类器对所述融合后的图像所对应的特征进行分类，得到地物类别输出结果。

(三)有益效果

从上述技术方案可以看出，本发明的基于深度学习的多源遥感图像融合方法具有以下有益效果：

(1)利用深度学习方法自动实现多源待融合遥感图像特征的自动选择，无需手工特征选择，省时省力，便于多源遥感图像融合的工程应用；

(2)利用深度学习方法自动实现多源待融合遥感图像特征的自动选择，能够更加全面、深层地表达图像，实现多个抽象层次上的图像的语义表征，提高了多源图像融合和地物分类的精度。

附图说明

图1是本发明实施例的测试数据集，其中(a)为Ikonos卫星光学遥感图像，(b)为E-SAR卫星PolSAR遥感图像；

图2是本发明实施例的测试结果图，其中(a)为标准参考结果，(b)为本发明方法结果，(c)为对比方法一结果，(d)为对比方法二结果；

图3是本发明实施例的基于深度学习的多源遥感图像融合方法的流程图。

具体实施方式

为解决多源数据特征选择自动化程度低，难以最优地实现多源数据的选择性融合，无法满足实际应用需求等问题，本发明提供了一种基于深度学习的多源遥感图像融合方法，利用深度学习相关技术，如深度卷积神经网络(Deep Convolutional NeuralNetwork)，通过分类误差最小化优化求解，自动进行多源融合特征提取及特征的多层次抽象，以克服传统多源图像融合中人工特征提取的弊端，以期增强多源高分辨率遥感图像融合的实用性，并最终提升多源高分辨率遥感分类精度。

本发明提供的基于深度学习的多源遥感图像融合方法，该方法利用深度卷积神经网络通过最小化分类误差分别对每一种数据源图像进行自动特征选择，并基于选取的特征及每种特征的权重实现对多源遥感数据的融合。

深度学习(Deep Learning)是机器学习研究领域中的一个新领域，其目的在于建立、模拟人脑分析学习的神经网络，实现对数据的解译机制。与现有的浅层学习(ShallowLearning)相比，深度学习通过构建具有多个隐含层的机器学习模型和海量训练数据，不仅摒弃了传统浅层学习方法中认为设计图像特征的烦琐工作，而且能够更加全面、深层地表达图像，实现多个抽象层次上的图像的语义表征，从而最终提高多源数据目标检测或地物分类精度。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

图3为本发明实施例的一种基于深度学习的多源遥感图像融合方法的流程图，参照图3，该方法包括：

步骤A：对训练样本图像和测试样本图像进行预处理和图像光谱特征提取，得到训练数据集和测试数据集。

步骤A包括：

子步骤A1：构建待融合图像的预处理和图像光谱特征提取模型，具体包括：

子分步骤A1a：对待融合图像进行预处理，采用归一化公式，对输入的待融合图像中每个像素进行归一化处理，其中，s表示待融合图像的谱段，i，j分别表示待融合图像的位置坐标，和分别表示归一化处理前第s谱段的位置坐标(i，j)上像素的值，和分别表示整个待融合图像s谱段中像素最小值和最大值。

子分步骤A1b：对预处理后的待融合图像进行图像光谱特征提取，以待融合图像中每个像素的坐标(i，j)为中心，提取(2*w+1)*(2*w+1)大小区域中所有像素构成一个向量x_ij＝[x_i-wj-ws，x_i-wj-w+1s，...，x_ijs，...，x_i+wj+ws]，作为坐标(i，j)上对应像素的光谱特征向量；其中，w表示特征窗口大小，其大小可以根据应用目的进行经验选取，w优选值为5～9，最优选值为5。

子步骤A2：利用待融合图像的预处理和图像光谱特征提取模型，对训练样本图像进行预处理和图像光谱特征提取，得到光学遥感图像训练数据集和SAR遥感图像训练数据集。

在子步骤A2中，训练样本图像包括光学遥感图像和SAR遥感图像，分别将光学遥感图像和SAR遥感图像作为待融合图像，按照子分步骤A1a和子分步骤Alb分别对光学遥感图像和SAR遥感图像进行预处理和图像光谱特征提取，得到训练数据集tr＝[x_ij，y_ij]；其中，x_ij由子分步骤A1b提取，其表示光学遥感图像和SAR遥感图像中位置坐标(i，j)的像素的光谱特征向量；y_ij∈{1，2，...，K}表示位置坐标(i，j)的像素的类别，K为常数，表示总的类别数。

其中，光学遥感图像优选包含R、G、B三个谱段，即s＝3，其位置坐标(i，j)的像素的光谱特征向量为1×3*w*w维；SAR遥感图像优选包含一个谱段，即s＝1，其位置坐标(i，j)的像素的光谱特征向量为1×W*W维。

子步骤A3：利用待融合图像的预处理和图像光谱特征提取模型，对测试样本图像进行预处理和图像光谱特征提取，得到光学遥感图像测试数据集和SAR遥感图像测试数据集。本发明实施例中，子步骤A3也可以与子步骤A2同时或在子步骤A2之前执行。

在子步骤A3中，测试样本图像同样包括光学遥感图像和SAR遥感图像，分别将光学遥感图像和SAR遥感图像作为待融合图像，按照子分步骤A1a和子分步骤A1b分别对光学遥感图像和SAR遥感图像进行预处理和图像光谱特征提取，得到测试数据集ts＝[x_ij]；其中，x_ij由子分步骤A1b提取，其表示光学遥感图像和SAR遥感图像中位置坐标(i，j)的像素的光谱特征向量；y_ij∈{1，2，...，K}表示位置坐标(i，j)的像素的类别，K为常数，表示总的类别数。

其中，光学遥感图像优选包含R、G、B三个谱段，即s＝3，其位置坐标(i，j)的像素的光谱特征向量为1×3*w*w维；SAR遥感图像优选包含一个谱段，即s＝1，其位置坐标(i，j)的像素的光谱特征向量为1×w*w维。

步骤B：构建深度卷积神经网络模型。

步骤B包括：

子步骤B1：以子分步骤A1b中提取的光谱特征向量为输入，构建一个深度卷积神经网络模型，该深度卷积神经网络模型包括：1个输入层、5个卷积层、3个池化层、2个全连接层、1个softmax层和1个输出层，深度卷积神经网络模型的具体结构为：5个卷积层在输入层之后，3个池化层分别在第一、第二、第五卷积层之后，全连接层在第三池化层和输出层之间，全连接层后接softmax层，输出层在最后，即输入层-＞卷积层-＞池化层-＞卷积层-＞池化层-＞卷积层-＞卷积层-＞卷积层-＞池化层-＞全连接层-＞全连接层-＞softmax层-＞输出层。

其中，5个卷积层的卷积滤波器的卷积核大小优选为13×13、5×5、3×3、3×3和6×6，卷积滤波器的数目优选128、256、512、512和256；池化层池化尺度大小优选3×3；输出层的大小优选256×256，输出层的节点数与样本数量(即光学遥感图像或SAR遥感图像的像素数量)一致；输入的选择优选全连接结构，即当前层的一个映射与前一层所有映射均相连。

以上仅给出深度卷积神经网络模型的一个示例，实际上深度卷积神经网络模型的构建方式可以根据应用目的进行经验设置，包括网络层数、卷积层层数、池化层层数、卷积滤波器数目、卷积核大小、池化尺度等参数可以根据应用目的进行设置。

子步骤B2：设置卷积层参数，具体包括：卷积层正向运算公式为：

$>x_n^l=f(\underset{m\in M_n}{\Sigma }{x}_m^{l-1}*k_{mn}^l+b_n^l)---\left(1\right)$>

其中，f表示激励函数，l表示层数，m，n分别表示上一层和当前层上特征图的映射编号，表示当前第l层的第n个特征图，表示第l-1层的第m个特征图，表示l层的第n个特征图与第l-1层的第m个特征图之间相关的卷积核，表示第l层的第n个特征图对应的偏置，M_n表示输入特征图的一个子集，*表示卷积操作；

卷积层逆向误差传播公式为：

其中，l表示层数，m，n分别表示上一层和当前层上特征图的映射编号，表示第l层的第n个神经节点的灵敏度，表示下采样层的权值，为可训练的常数，o表示点乘，up()表示上采样操作，′表示转置，其中，和分别表示第l层第n个特征图对应的的权值和偏置，表示第l-1层的第n个特征图。

子步骤B3：计算卷积核和偏置的偏导，更新卷积层参数，具体包括：利用子步骤B2获取的第l层的第n个神经节点的灵敏度基础上，按照下述公式分别计算偏置和卷积核的偏导：

$>\begin{array}{c}\frac{\partial E}{\partial b_n}=\underset{uv}{\Sigma }{\left({\delta }_n^l\right)}_{uv}\\ \frac{\partial E}{\partial k_{mn}^l}=\underset{uv}{\Sigma }{\left({\delta }_n^l\right)}_{uv}{\left(p_m^{l-1}\right)}_{uv}\end{array}---\left(3\right)$>

其中，E表示误差代价函数，为计算卷积时的每一个小区域(patch)，u、v分别表示灵敏度矩阵中的元素位置。利用上述卷积核和偏置的偏导，更新卷积核和偏置。

子步骤B4：设置池化层参数，池化层的正向运算为下采样操作，池化层的正向运算优选取Max-Pooling池化模式，池化核大小为2×2，步长为2；

当池化层的后连接层是卷积层时，池化层的逆向误差传播运算公式为：

$>{\delta }_m^l={\Sigma }_{m=1}^M{\delta }_n^{l+1}*k_{mn}^{l+1}---\left(4\right)$>

其中，M表示输入特征图的集合，表示l+1层的第n个特征图与第l层的第m个特征图之间相关的卷积核，表示第l+1层的第n个神经节点的灵敏度，表示第l层的第m个神经节点的灵敏度；

当池化层的后连接层不是卷积层时，池化层的逆向误差传播采用与BP网络误差传播相同的方式。

子步骤B5：设置激励函数参数。激励函数f(·)可以有很多种，优选sigmoid函数或者双曲线正切函数，最优选sigmoid函数。sigmoid将输出压缩到[0，1]，所以最后的输出平均值一般趋于0。

子步骤B6：设置softmax层参数，softmax层正向计算公式如下：

$>y_{ij}=-\underset{ij}{\Sigma }(x_{ijc}-log\underset{d=1}{\overset{K}{\Sigma }}{e}^{x_{ijd}})---\left(5\right)$>

softmax层偏导计算公式如下：

$>\frac{dz}{{\mathrm{dx}}_{ijd}}=-\frac{dz}{{\mathrm{dy}}_{ij}}({\delta }_{d=c}-y_{ijc})---\left(6\right)$>

其中，y_ij∈{1，2，...，K}表示图像位置坐标(i，j)上对应像素的类别；c、d表示当前样本数据(即光学遥感图像或SAR遥感图像的像素)的真实类别标记；z表示softmax层的输入。

在本发明中，深度卷积神经网络还可以使用其它深度学习方法代替，如DBN，SAE。

步骤C：利用训练数据集训练深度卷积神经网络，得到训练后的深度卷积神经网络模型。

步骤C包括：利用步骤A获取的训练数据集，采用Hinge损失函数和随机梯度下降方法对深度卷积神经网络进行训练，当整个深度卷积神经网络的损失函数趋于局部最优解附近时，完成训练；其中，局部最优解事先由人工设定；利用步骤A获取的光学遥感图像训练数据集和SAR遥感图像训练数据集分别训练一个深度卷积神经网络。

步骤D：基于测试数据集和训练后的深度卷积神经网络模型，得到测试数据集的深度特征集，并对深度特征集中的深度特征进行归一化处理。

步骤D包括：

子步骤D1：将步骤A获取的测试数据集作为步骤C获取的训练后的深度卷积神经网络模型的输入，分别对光学遥感图像测试数据集和SAR遥感图像测试数据集进行处理，移除深度卷积神经网络模型末尾的softmax层，保留全连接层的输出分别作为光学遥感图像测试数据集和SAR遥感图像测试数据集上学习得到的深度特征集f_dO＝[f_dO1，f_dO2，...，f_dOn]和f_dS＝[f_dS1，f_dS2，...，f_dSn]；深度特征集中每个特征向量f_dok、f_dsk分别对应一个权重系数w_dOk和w_dSk，k＝1，2，...，n，n为输入样本数(即光学遥感图像或SAR遥感图像的像素数量)。

子步骤D2：采用归一化公式分别对光学遥感图像测试数据集和SAR遥感图像测试数据集的深度特征集的深度特征进行归一化处理；其中，f_d和分别表示归一化处理前后的深度特征，f_d可以为f_dO和f_dS中的特征向量。

步骤E：基于测试数据集的深度特征集，对测试样本图像的光学遥感图像和SAR遥感图像进行选择性融合，得到融合后的图像。

步骤E包括：对步骤D获取的光学遥感图像和SAR遥感图像的深度特征集f_dO＝[f_dO1，f_dO2，...，f_dOn]和f_dS＝[f_dS1，f_dS2，...，f_dSn]，及其每个特征向量f_dOk和f_dSk对应的权重系数w_dOk和w_dSk，按照如下策略进行融合：

当max(w_dOk，w_dSk)＞th时，选取w_dOk和w_dSk中较大者对应的特征向量作为最终的融合图像特征；

当max(w_dOk，w_dSk)＜th时，采用权重加权法对特征向量f_dOk和f_dSk进行融合，权重加权法为：0.5*f_dOk+0.5*f_dSk，并将融合后的特征向量作为最终的融合图像特征，得到融合后的图像。其中，th表示阈值，为常数。

由此可见，利用深度学习方法自动实现多源待融合遥感图像特征的自动选择，无需手工特征选择，省时省力，便于多源遥感图像融合的工程应用；能够更加全面、深层地表达图像，实现多个抽象层次上的图像的语义表征，提高了多源图像融合的精度。

步骤F：利用分类器对融合后的图像所对应的特征进行分类，得到地物类别输出结果。

其中，分类器为已训练的分类器，其优选支持向量机分类器，支持向量机分类器的核函数优选高斯径向基核函数(Gaussian Radial Basis Function，RBF)或多层感知器核函数(Multi-Layer Perception，MLP)，分类器参数的训练优选监督学习方法。支持向量机分类器还可以使用其它方法替代，例如Boosting分类器、高斯过程分类器、KNN分类器。

以下进一步说明本发明的应用实例：为了验证本发明提出的多源融合方法的有效性，在多个真实测试数据集上对本发明方案进行了测试。这里给出一组典型测试数据集上的测试结果：测试数据集由Ikonos卫星光学遥感图像和E-SAR卫星PolSAR遥感图像组成(如图1所示)。另外，将本发明方法获取的融合结果与现有两种方法[R.Poutean and B.Stoll，SVM Selective Fusion(SELF)for Multi-Source Classification of StructurallyComplex Tropical Rainforest，IEEE Journal of Selected Topics in Applied EarthObservations and Remote Sensing，5(4)：1203-1212，2012](对比方法一)和[B.Waske，J.Benediktsson，Fusion of Support Vector Machines for Classification 0fMultisensor Data，IEEE Trans.Geoscience and Remote Sensing，45(12)：3858-3866，2007](对比方法二)获取的融合结果进行比较，相应的测试结果如图2所示。图2从左至右，依次为标准参考结果、本发明方法结果、对比方法一结果、对比方法二结果。量化比较结果说明本发明获取的多源融合结果较比对的两种方法获取的多源融合结果精度有较大提高。

至此，已经结合附图对本发明实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明的基于深度学习的多源遥感图像融合方法有了清楚的认识。

本发明的基于深度学习的多源遥感图像融合方法，利用深度学习方法自动实现多源待融合遥感图像特征的自动选择，无需手工特征选择，便于多源遥感图像融合的工程应用，在多源遥感图像融合领域取得优异结果。

需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件的定义并不仅限于实施例中提到的各种方式，本领域普通技术人员可对其进行简单地更改或替换，例如：

(1)实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本发明的保护范围；

(2)上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例；

(3)虽然本发明的深度学习方法采用了深度卷积神经网络模型，但本发明并不限于此，深度学习方法有多种选择，本发明同样可以采用其他的深度学习方法。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。