一种基于自适应空谱特征提取的高光谱图像分类方法

摘要

本发明公开了一种基于自适应空谱特征提取的高光谱图像分类方法，首先对原始高光谱图像使用主成分分析法并选取高光谱图像的一个中心像素及周围像素的光谱向量构成三维矩阵块，作为样本中心像素光谱向量；然后得到样本中心像素的光谱特征；再对样本中心像素的光谱特征提取样本中心像素光谱向量的概率分数；将概率分数大于等于阈值的样本中心像素的光谱特征输入空间特征提取模块，输出得到样本的光谱空间联合特征；再分别样本中心像素的光谱特征和样本的光谱空间联合特征计信系分类，得到最终分类结果；本发明减少了分类的计算量和计算时间，提高了分类的精度，简化了模型实现的工程复杂度。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种高光谱分类方法。

背景技术

高光谱遥感图像往往包含上百个光谱波段，光谱分辨率高，信息量大，能够反映更丰富的地物光谱特征，在土地监测、农业监测和矿物勘察等领域得到了广泛应用。高光谱图像分类技术在这些应用中发挥了重要作用，该任务的目的是：对于输入的高光谱遥感图像，为图像中的每一个像素分配正确的物质类别。在通常的分类框架中，首先进行特征挖掘得到不同地物类别间具有最大差异性的特征，然后根据提取到的特征进行像素级的地物分类。其中特征提取是高光谱图像分类的关键步骤，对分类精度结果影响巨大。

传统机器学习方法大多依赖于手工制作的浅层表示的特征，需要专家知识并用于特定任务，因此特征提取和分类过程比较麻烦，限制了方法在不同的复杂场景下的适用性。并且由于手工制作特征的局限性，可能不足以区分类间的细微差异和类内的较大差异，难以获得辨别性特征，以实现对具有复杂和高维特性的高光谱数据的精确分类。近年来发展的深度学习方法逐渐受到越来越多的关注。通过层次化结构提取深层具有辨别性的复杂特征，具有更强大的拟合和表示能力，在高光谱图像分类任务上效果显著。根据特征提取的方式不同可以将基于深度学习的高光谱图像分类方法分为以下三类：

第一种为基于光谱特征的分类方法。光谱信息是高光谱数据最重要的特征，在分类任务中起着至关重要的作用。早期的研究直接将高光谱像素对应的光谱矢量输入到网络模型中。Liu等人在文献“P.Liu,H.Zhang,and K.B.Eom,Active deep learning forclassification of hyperspectral images,IEEE J.Sel.Topics Appl.EarthObserv.Remote Sens.,vol.10,no.2,pp.712–724,2017”中提出了一种基于深度学习和主动学习的分类框架，使用深度置信网络提取深层光谱特征。Haut等人在文献“J.Haut,M.E.Paoletti,J.Plaza,J.Li,and A.Plaza,Active learning with convolutionalneural networks for hyperspectral image classification using a new Bayesianapproach,IEEE Trans.Geosci.Remote Sens.,vol.56,no.11,pp.6440–6461,2018”中针对高光谱数据的高维特性，结合主动学习和深度卷积神经网络，使用少量标记样本训练模型，以避免出现基于有限样本的分类器过拟合问题。然而这些模型直接使用具有高维特性和高冗余性的原始光谱数据进行分类，没有考虑数据中具有辨别性信息的空间特征，会降低图像分类性能，而且存在较大的计算负担。

第二种是基于空间特征的分类方法。通常先使用PCA(主成分分析，PrincipalComponent Analysis)降低原始数据维数，然后使用二维CNN(卷积神经网络，Convolutional Neural Networks)对输入高光谱像素邻域中包含的空间信息进行挖掘，从而提取具有辨别性的空间特征。Cheng等人在文献“G.Cheng,Z.Li,J.Han,X.Yao,andL.Guo,Exploring hierarchical convolutional features for hyperspectral imageclassification,IEEE Trans.Geosci.Remote Sens.,vol.56,no.11,pp.6712–6722,2018”中通过PCA提取高光谱数据的若干主成分，使用现有的CNN模型(例如AlexNet、VGG、GoogLeNet等)提取高光谱数据的深度空间特征，通过构建基于度量学习的分类框架，学习到具有更好表示能力的光谱空间特征。然而这些方法在空间维度上还要采用双线性插值法等上采样到网络所需的输入尺寸，然后得到的深度空间特征仍然要融合光谱信息进行分类，计算量较大。

第三种是基于光谱空间特征联合提取的分类方法。深度光谱空间联合特征通常从原始或包含若干主成分的高光谱数据中直接提取深度联合特征，或者是通过融合分别提取的深度光谱和空间特征而获得。Chen等人在文献“Y.Chen,H.Jiang,C.Li,X.Jia,andP.Ghamisi,Deep feature extraction and classification of hyperspectral imagesbased on convolutional neural networks,IEEE Trans.Geosci.Remote Sens.,vol.54,no.10,pp.6232–6251,2016”中使用3D CNN以有效提取深度光谱空间联合特征，而不依赖任何数据预处理或后期特征融合等技术。而Yang等人在文献“J.Yang,Y.-Q.Zhao,and C.-W.Chan,Learning and transferring deep joint spectral–spatial features forhyperspectral classification,IEEE Trans.Geosci.Remote Sens.,vol.55,no.8,pp.4729–4742,2017”中提出一种具有双分支结构的深度CNN，并将学习到的光谱和空间特征连接起来输入全连接层以提取光谱空间联合特征。但是这些方法仅仅是通过简单地引入空间特征对光谱空间特征直接进行分类，而没有考虑到在某些样本上空间特征的必要性，从而造成额外的计算量，甚至降低算法性能。

发明内容

为了克服现有技术的不足，本发明提供了一种基于自适应空谱特征提取的高光谱图像分类方法，首先对原始高光谱图像使用主成分分析法并选取高光谱图像的一个中心像素及周围像素的光谱向量构成三维矩阵块，作为样本中心像素光谱向量；然后得到样本中心像素的光谱特征；再对样本中心像素的光谱特征提取样本中心像素光谱向量的概率分数；将概率分数大于等于阈值的样本中心像素的光谱特征输入空间特征提取模块，输出得到样本的光谱空间联合特征；再分别样本中心像素的光谱特征和样本的光谱空间联合特征计信系分类，得到最终分类结果；本发明减少了分类的计算量和计算时间，提高了分类的精度，简化了模型实现的工程复杂度。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：数据预处理：对原始高光谱图像使用主成分分析法获得包含l个主成分的新高光谱图像；

步骤2：选取新高光谱图像的一个中心像素及周围像素的光谱向量构成n×n×l三维矩阵块，作为代表所选取中心像素的样本，称为样本中心像素光谱向量；

步骤3：使用光谱特征提取模块对样本中心像素光谱向量进行特征提取，得到样本中心像素的光谱特征；所述光谱特征提取模块由一维卷积层和ReLU激活层组成；

步骤4：使用选通模块对样本中心像素的光谱特征提取样本中心像素光谱向量的概率分数；所述选通模块由全连接层、ReLU激活层和Sigmoid激活层组成；

步骤5：设定阈值，将概率分数大于等于阈值的样本中心像素的光谱特征输入空间特征提取模块，输出得到样本的光谱空间联合特征；所述空间特征提取模块由二维卷积层和ReLU激活层组成；

步骤6：将概率分数小于等于阈值的样本中心像素的光谱特征输入第一分类器模块，得到分类结果；

将概率分数大于等于阈值的样本的光谱空间联合特征输入第二分类器模块，得到分类结果；

所述第一分类器模块和第二分类器模块均由全连接层、Dropout层、ReLU层和Softmax层组成，但两个分类器模块的参数不同；

步骤7：对从步骤3到步骤6的光谱特征提取模块、选通模块、空间特征提取模块、第一分类器模块和第二分类器模块构成的高光谱分类网络进行训练，更新网络参数，得到训练好的高光谱分类网络模型；

步骤8：将待分类高光谱图像先经过步骤1和步骤2生成中心像素光谱向量，再将中心像素光谱向量输入训练好的高光谱分类网络模型，输出得到分类结果。

优选地，所述15≤l≤30。

优选地，所述阈值为0.5。

优选地，所述对高光谱分类网络进行训练的方法为：

使用随机梯度下降法，优化器使用Adam，学习率设为0.001，在C个类别，N个训练样本上的损失函数为：

其中L

本发明的有益效果如下：

1、本发明减少了分类的计算量和计算时间，能够根据光谱特征的判别能力自适应地确定样本引入空间信息的必要性，若样本的光谱特征具有良好的判别能力，无需提取空间特征。

2、本发明提高了分类的精度，本发明对于光谱特征具有足够判别能力的样本，则不进行空间特征的提取，而是直接通过光谱特征进行分类，避免了引入空间信息对分类结果的潜在干扰。

3、本发明模型使用端到端的训练和测试方法，通过选通模块自适应地学习光谱特征质量，而不需要用网格搜索或手动设置阈值等方式，从而对不同的高光谱图像具有更强的适应性，简化了模型实现的工程复杂度。

附图说明

图1为本发明方法流程图。

图2为本发明实施例的分类结果示意图。

图3为本发明实施例的有效性分析实验结果示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明公开了一种新的基于光谱和空间特征自适应提取的高光谱图像分类方法。对于高光谱图像分类任务，空间信息可以解决部分样本所存在的光谱信息分辨别性不足的问题，从而有效提升分类精度。但是对于高光谱图像中的多数样本而言，其光谱信息已经具有足够的辨别性，可以实现正确的分类，引入空间信息是不必要的，会带来额外的计算负担。某些情况下甚至会造成干扰，降低最终的分类准确度。因此根据样本光谱特性，自适应地引入空间特征，构建适应性更强的空谱联合特征分类模型，是非常重要的。为解决上述问题，本发明的目的在于实现以下几个方面：

1、通过设计有效的特征提取机制，根据光谱特征的判别能力自适应地确定是否引入空间信息，从而避免不必要的计算负担。

2、对于某些光谱特征的辨别力足够且引入空间信息反而可能会产生负面影响的情况，避免邻域空间信息的潜在干扰，提高分类精度。

3、针对不同的高光谱图像，采用选通模块结合早期预测策略，设计端到端的训练方法，从而具有更强的数据自适应性。

如图1所示，一种基于自适应空谱特征提取的高光谱图像分类方法，包括如下步骤：

步骤1：数据预处理：对原始高光谱图像使用主成分分析法获得包含15到30个个主成分的新高光谱图像；

步骤2：选取新高光谱图像的一个中心像素及周围像素的光谱向量构成n×n×l三维矩阵块，作为代表所选取中心像素的样本，称为样本中心像素光谱向量；将大量高光谱图像得到的样本中心像素光谱向量进行划分，划分为训练集和测试集；

步骤3：使用光谱特征提取模块对样本中心像素光谱向量进行特征提取，得到样本中心像素的光谱特征；所述光谱特征提取模块由一维卷积层和ReLU激活层组成；

步骤4：使用选通模块对样本中心像素的光谱特征提取样本中心像素光谱向量的概率分数，由概率分数判断是否可以获得高分类置信度，以决定是否需要进行空间特征提取；所述选通模块由全连接层、ReLU激活层和Sigmoid激活层组成；

步骤5：将概率分数大于等于0.5的样本中心像素的光谱特征输入空间特征提取模块，输出得到样本的光谱空间联合特征；所述空间特征提取模块由二维卷积层和ReLU激活层组成；

步骤6：将概率分数小于0.5的样本中心像素的光谱特征输入第一分类器模块，得到分类结果；

将概率分数大于等于0.5的样本的光谱空间联合特征输入第二分类器模块，得到分类结果；

所述第一分类器模块和第二分类器模块均由全连接层、Dropout层、ReLU层和Softmax层组成，但两个分类器模块的参数不同；

步骤7：使用训练集对从步骤3到步骤6的光谱特征提取模块、选通模块、空间特征提取模块、第一分类器模块和第二分类器模块构成的高光谱分类网络进行训练，在训练过程中，所有训练样本都要通过光谱特征提取模块或空间特征提取模块进行特征提取，得到分类结果更新网络参数，最终得到训练好的高光谱分类网络模型；

在训练时使用随机梯度下降法，优化器使用Adam，学习率设为0.001，在C个类别，N个训练样本上的损失函数为：

其中L

使用测试集对训练好的高光谱分类网络模型进行测试；在测试过程中，对中心像素光谱向量进行光谱特征提取及选通模块质量评估，当概率分数小于0.5时根据光谱特征使用第一分类器模块直接输出分类结果，否则进行空间特征提取，使用光谱空间联合特征进行分类；

步骤8：将待分类高光谱图像先经过步骤1和步骤2生成中心像素光谱向量，再将中心像素光谱向量输入训练好的高光谱分类网络模型，输出得到分类结果。

具体实施例：

实验条件

本实施例使用python和pytorch库编写，在Intel i7-10700F CPU、NvidiaGTX1660SUPER GPU、Windows操作系统上进行。

实验中使用的数据为公开数据集，包括Indian Pines、Pavia University及Salinas Valley。其中Indian Pines及Salinas Valley由机载可见红外成像光谱仪(AVIRIS)传感器拍摄，Pavia University由反射光学系统成像光谱仪(ROSIS)传感器拍摄。Indian Pines包含145×145个像素，200个光谱带，16个地物类别；Pavia University包含610×340个像素，103个光谱带，9个类别；Salinas Valley包含512×217个像素，204个光谱带，16个类别。

对比算法为Chen等人在文献“Y.Chen,H.Jiang,C.Li,X.Jia,and P.Ghamisi,Deepfeature extraction and classification of hyperspectral images based onconvolutional neural networks,IEEE Trans.Geosci.Remote Sens.,vol.54,no.10,pp.6232–6251,2016”中提出的3D CNN；Zhong等人在“Z.Zhong,J.Li,Z.Luo,andM.Chapman,Spectral–spatial residual network for hyperspectral imageclassification:A 3-d deep learning framework,IEEE Tran.Geosci.Remote Sens.,vol.56,no.2,pp.847–858,2017.”中提出的SSRN；Roy等人在“S.K.Roy,G.Krishna,S.R.Dubey,and B.B.Chaudhuri,Hybridsn:Exploring 3-d–2-dcnn feature hierarchyfor hyperspectral image classification,IEEE Geosci.Remote Sens.Lett.,vol.17,no.2,pp.277–281,2019.”中提出的HybridSN。

2、实验内容

按照具体实施方式中给出的步骤，在训练集上训练高光谱图像分类模型，分类结果示意图如图2所示，分类效果较好。其中每对对比图左图为ground truth，右图为分类结果图。

以下通过对比实验证明算法有效性。首先观察早期预测率，即直接通过光谱特征得到分类结果的样本比例，然后在本发明所提模型基础上去除光谱特征分类器，得到了一个常见的光谱空间特征提取与分类网络，进行对比试验。实验结果如图3所示。从实验结果可见本发明所提模型在每个数据集都取得了较高早期预测率，不仅实现了更高的精度，而且具有更少的计算量和测试时间。

本发明所提方法在三个数据集上的指标与对比方法结果如下表1-3所示，可以看出本发明所提方法在四个度量指标上相比于对比方法达到了先进水平。

表1 Indian Pines分类结果

表2 Pavia University分类结果

表3 Salinas Valley分类结果