一种面向大场景遥感图像分类的类指定多模联合表示方法

摘要

一种面向大场景遥感图像分类的类指定多模联合表示方法，本发明涉及多模遥感图像联合表示方法。本发明的目的是为了提高现有大场景遥感图像的分类精度。过程为：一、输入覆盖区域相同的多模遥感图像，以及相应的地物标签图，构造多模遥感图像的类指定多模联合表示模型；所述多模遥感图像包括多光谱遥感图像和高光谱遥感图像；二、采用乘数交替方向法求解多模遥感图像的类指定多模联合表示模型，得到类指定跨模字典；三、输入大场景多光谱遥感图像，利用多光谱字典对输入的大场景多光谱遥感图像进行稀疏表示，学习得到一致稀疏表示系数矩阵；四、重构得到大场景的高判别性高光谱图像。本发明用于遥感图像分类领域。

说明书

技术领域

本发明涉及多模遥感图像联合表示方法。

背景技术

大场景遥感图像的精细分类在光学遥感应用中越来越重要。作为两种典型的光学遥感数据，多光谱图像和高光谱图像具有互补的特征：多光谱图像幅宽大，重访周期短，但波段数少，导致光谱可分性较弱。高光谱图像幅宽窄，重访周期长，但其具有数百个波段，因此具备精细分类的能力。为了有效利用多模遥感图像(高光谱图像和多光谱图像)的优势，近年来有学者对多模态遥感图像的联合表示进行了研究，多模态遥感图像的联合表示就是通过学习覆盖范围相同的高光谱图像和多光谱图像之间的关系，来重建大场景多光谱图像所对应的模拟高光谱图像，从而将高光谱图像的精细分类能力迁移到大场景多光谱图像上，实现分类性能的提升。

当前，多模态联合表示方法主要有两类，一种是基于深度学习的方法，一种是基于稀疏表示的方法。基于深度学习的方法通常难以重构多光谱图像光谱覆盖范围之外的波段，基于稀疏表示的方法虽然没有上述缺点，但是当前方法仅以高光谱图像的重构为目标，并没有考虑后续的分类应用，而且这些方法大多数是无监督的，没有考虑对标签信息的利用。

发明内容

本发明的目的是为了提高现有大场景遥感图像的分类精度，提出了一种面向大场景遥感图像分类的类指定多模联合表示方法。

一种面向大场景遥感图像分类的类指定多模联合表示方法具体过程为：

步骤一、输入覆盖区域相同的多模遥感图像，以及相应的地物标签图，构造多模遥感图像的类指定多模联合表示模型；

所述多模遥感图像包括多光谱遥感图像和高光谱遥感图像；

步骤二、采用乘数交替方向法求解步骤一构造的多模遥感图像的类指定多模联合表示模型，得到类指定跨模字典；

所述类指定的跨模字典包括多光谱字典和高光谱字典；

步骤三、输入大场景多光谱遥感图像，利用步骤二得到的多光谱字典对输入的大场景多光谱遥感图像进行稀疏表示，学习得到一致稀疏表示系数矩阵；

所述输入的大场景多光谱遥感图像的覆盖区域包含步骤一中多光谱遥感图像的覆盖区域；

步骤四、利用步骤二得到的高光谱字典和步骤三得到的一致稀疏表示系数矩阵，重构得到大场景的高判别性高光谱图像。

本发明的有益效果为：

本发明可以从构造有监督约束入手解决上述问题(基于深度学习的方法通常难以重构多光谱图像光谱覆盖范围之外的波段，基于稀疏表示的方法虽然没有上述缺点，但是当前方法仅以高光谱图像的重构为目标，并没有考虑后续的分类应用，而且这些方法大多数是无监督的，没有考虑对标签信息的利用。)；在多模联合表示的过程中引入了标签信息，利用训练样本的标签构造分类约束，同时，利用训练样本标签和字典标签的类别一致关系构造判别性稀疏表示系数约束，从而使学习的跨模态字典既具有表示性又具有判别性；即构造类指定的多模遥感图像联合表示模型能够从理论上显著提升重构高光谱图像的分类性能；因此，重构得到的大场景高光谱图像具备更好的判别性，从而显著提升大场景分类精度。

本发明方法通过增加判别性约束和分类约束的方式，学习得到类指定的跨模字典(高光谱字典和多光谱字典)，从而重构出大场景的高判别性高光谱图像，最终实现大场景遥感图像高精度分类。

为了验证本发明的性能，在一组真实高光谱-多光谱图像对上进行了验证，实验结果表明，相比当前的代表性方法，本方法重构得到的高光谱图像分类精度更高。实验结果验证了本发明提出的面向大场景遥感图像精细分类的类指定多模联合表示方法的有效性。

附图说明

图1是本发明的实现流程示意图；

图2a是高光谱图像的假彩色合成图；

图2b是多光谱图像的假彩色合成图，其中方框表示其与高光谱数据的重叠区域；

图3a重叠区域的地物标签图，用于构建类指定多模遥感图像联合表示模型；

图3b是非重叠区域的地物标签图，用于评价分类效果；

图4是不同方法的分类效果对比图。

具体实施方式

具体实施方式一：结合图1说明本实施方式，本实施方式一种面向大场景遥感图像分类的类指定多模联合表示方法具体过程为：

步骤一、输入覆盖区域相同的多模遥感图像，以及相应的地物标签图(公式中的H和G都是基于这个地物标签图得到的)，构造多模遥感图像的类指定多模联合表示模型，主要包括重构误差约束，判别性约束和分类约束；

所述多模遥感图像包括多光谱遥感图像和高光谱遥感图像；

步骤二、步骤一的模型优化基于约束模型一阶导数零点为极值点的思想，采用乘数交替方向法求解步骤一构造的多模遥感图像的类指定多模联合表示模型，得到类指定跨模字典；

所述类指定的跨模字典包括多光谱字典和高光谱字典；

步骤三、输入大场景多光谱遥感图像，利用步骤二得到的多光谱字典对输入的大场景多光谱遥感图像进行稀疏表示，学习得到一致稀疏表示系数矩阵；

所述输入的大场景多光谱遥感图像的覆盖区域包含步骤一中多光谱遥感图像的覆盖区域；

步骤四、利用步骤二得到的高光谱字典和步骤三得到的一致稀疏表示系数矩阵，重构得到大场景的高判别性高光谱图像。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中构造多模遥感图像的类指定多模联合表示模型；具体过程为：

令

令

令X表示跨模稀疏表示系数矩阵；

其中，

多模遥感图像的类指定多模联合表示模型的目标函数可表示为：

前两项

其中，

其它步骤与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述多模遥感图像的类指定多模联合表示模型的目标函数中前两项

其它步骤与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述输入样本的稀疏表示系数对于分类的判别性

其它步骤与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤二中步骤一的模型优化基于约束模型一阶导数零点为极值点的思想，采用乘数交替方向法求解步骤一构造的多模遥感图像的类指定多模联合表示模型，得到类指定跨模字典；具体过程为：

为采用乘数交替方向法，需要引入参数B＝X,J＝D

s.t.B＝X,J＝D

其中，

多模遥感图像的类指定多模联合表示模型的拉格朗日增广函数为：

其中

基于约束模型

优化X：

X←Γ

Γ

Γ

其中，Γ

优化D

D

D

优化A和W：

A＝GX

W＝HX

优化B：

其中，⊙为矩阵的Hadamard积；

优化J和K：

其中，

优化

Φ

Φ

Φ

当||B-X||

所述类指定跨模字典包括多光谱字典和高光谱字典。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述软阈值算子

对于任何ξ≥0，

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：所述步骤三中输入大场景多光谱遥感图像，利用步骤二得到的多光谱字典对输入的大场景多光谱遥感图像进行稀疏表示，学习得到一致稀疏表示系数矩阵；具体过程为：

令

利用步骤二得到的多光谱字典对大场景多光谱遥感图像Z

其中，δ为平衡各约束项重要性的惩罚系数，

为了采用乘数交替方向法，需要引入参数R＝S，类似于步骤二，得到拉格朗日增广函数：

其中，Ω是拉格朗日乘子，κ是惩罚系数，R为参数；

基于约束模型一阶导数零点为极值点的思想，优化过程如下：

优化S：

优化R：

优化Ω：

Ω←Ω+κ(R-S)

当||R-S||

其它步骤及参数与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：所述步骤四中利用步骤二得到的高光谱字典和步骤三得到的一致稀疏表示系数矩阵，重构得到大场景的高判别性高光谱图像；具体过程为:

重构的高判别性高光谱图像

其它步骤及参数与具体实施方式一至七之一相同。

采用以下实施例验证本发明的有益效果：

实施例一：

一种面向大场景遥感图像分类的类指定多模联合表示方法，具体是按照以下步骤制备的：

实验中所用到的多模数据集包含一幅高光谱图像和一幅多光谱图像，数据已经经过了大气、几何校正等预处理。采集地点为黄河三角洲国家级自然保护区。多光谱图像由高分一号宽幅相机于2018年10月31号采集，其包含4个波段，分别是蓝、绿、红和近红外。空间分辨率为16米，共有1066×1108个像素。高光谱图像由高分五号卫星于2018年11月1日采集，它包含330个波段，光谱覆盖范围是400～2500nm。去除了水汽吸收和噪声波段后剩余295波段。它的空间分辨率是30米，实验前首先通过最近邻插值法将其上采样至与多光谱图像相同的分辨率。高光谱图像与多光谱图像的重叠区域大小为404×448。高光谱图像和多光谱图像的假彩色合成图如图2a和图2b所示，重叠区域的地物标签和非重叠区域的地物标签如图3a和3b所示。实验将原始大场景多光谱图像的分类效果作为基线，对比了三种代表性的方法，图4给出了每类分类精度、平均分类精度(AA)、总体分类精度(OA)和kappa系数四种指标的对比结果。可以看出，本方法(CSSR)在5种类别上取得了最高的分类精度，且AA，OA和Kappa系数均高于其他对比方法。此外，本方法是唯一一个分类精度高于原始大场景多光谱图像分类效果的方法实验结果验证了本发明提出的面向大场景遥感图像精细分类的类指定多模联合表示方法的有效性。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。