基于归纳表示学习网络的光谱和空间图高光谱图像分类方法

摘要

本发明公开了基于归纳表示学习网络的光谱和空间图高光谱图像分类方法，属于高光谱图像分类领域。首先，根据高光谱图像的光谱‑空间信息，得到节点之间的距离，根据最近邻算法，进而得到节点的邻接关系。之后将处理好的数据输入到设计好的GraphSAGE网络当中，进行训练，测试。本发明主要是利用高光谱图像的光谱‑空间信息以及归纳式的学习方法GraphSAGE来进行高光谱图像分类。从而解决GCN进行高光谱图像分类时面临的计算开销问题，并且分类结果有了极大的提升。

说明书

技术领域

本发明属于高光谱图像分类领域，具体涉及一种高光谱图像分类算法，尤其涉及一种基于归纳表示学习网络的光谱和空间图高光谱图像分类方法。

背景技术

近年来，高光谱图像在地球观测中的各种应用引起了人们极大的兴趣。高光谱图像不仅包含地物的连续、紧密的光谱信息，且包含地物的空间分布信息。此外，高光谱图像具有较高的光谱分辨率，比传统的全色和多光谱遥感图像能够更准确地识别不同的材料，在对进行精细分类方面具有独特的优势，可以揭示传统影像无法探测到的细微光谱特征。

在早期的高光谱图像分类技术中,高光谱图像分类方法仅仅利用了高光谱图像中丰富的光谱信息,没有更深入地挖掘数据内在的信息。此时，主要是使用机器学习算法来进行高光谱图像分类。例如距离分类器、决策树、K近邻分类器等等。但是这些方法大多都会受到Hughes现象的影响。针对这一问题，研究者们提出了一些特征提取的方法和判别学习的方法。例如主成分分析、支持向量机(SVM)等等，通过学习得到高维空间中的数据到类别的映射关系，利用核函数法确定高维空间的边界，其分类效果已成为一种基准。

然而，由于同一材料可能存在光谱差异，不同材料可能具有相似的光谱特征，仅通过光谱信息很难准确区分不同类别。空间信息的引入，显著提高了高光谱图像分类精度。例如，以马尔可夫随机场的模型将空间信息和光谱信息结合起来；Li等人提出了用于光谱-空间高光谱图像分类的广义复合核机。上述方法采用了一系列手工提取的特征，涉及大量的人工经验和参数设置。高光谱图像的类别复杂多样，很难选择一种特征提取的方法能适用于所有类型的高光谱数据。

深度学习为特征提取提供了一个理想的方案。针对多种多样的数据，深度学习模型可以自主地从数据中学习特征，舍弃了研究人员预先设计特征，然后根据预先设计的特征提取规则从数据中提取特征的模式。Hu等人利用卷积神经网络(CNN)提取光谱特征进行高光谱图像分类，其性能优于SVM；Lee和Kwon提出了一种情景深度CNN(CD-CNN)，它通过联合利用方形窗口内相邻像素向量的局部空间光谱关系来优化上情景交互，分类效果大幅度提升。

然而，由于传统的卷积或池化操作是在规则网格的固定结构上定义的，因此CNN处理图结构数据将面临很大的挑战。Kipf和Welling提出了一种半监督分类的图卷积网络(GCN)，它可以适用于基于预定义图的非欧几里德不规则数据。此外，节点特征和局部图结构都可以通过学习到的隐藏层进行编码，因此GCN能够详尽地利用图像特征并灵活地保留类边界。但是，图卷积网络在进行训练分类之前需要设计好预定义图，并且每一个节点都是唯一的嵌入表示。高光谱图像数据有几万个像素点，如果直接进行节点嵌入表示，造成的计算开销会很大。

GraphSAGE的出现很好的解决了这一问题。GraphSAGE是一种归纳式的学习方法，不需要提前设计预定义图，它是在训练过程中进行节点嵌入表示，并且根据节点的邻接关系的变化而变化。即使是旧的节点，如果建立了一些新的邻接关系，那么其对应的节点嵌入表示也会变化，而且也很方便地学到邻接关系信息。此外，GraphSAGE支持多阶邻居信息的聚合，即当前节点不仅可以聚合一阶邻居的信息，同时可以聚合二阶邻居甚至三阶邻居的信息，高光谱图像数据的分类效果明显要优于GCN。

发明内容

本发明旨在解决上述问题。根据高光谱图像的特征，并结合Hamilton等人提出的GraphSAGE方法，提出了一种光谱-空间GraphSAGE高光谱图像分类算法。首先，根据高光谱图像的光谱-空间信息，得到节点之间的距离，根据最近邻算法，进而得到节点的邻接关系。之后将处理好的数据输入到设计好的GraphSAGE网络当中，进行训练，测试。

本发明主要是利用高光谱图像的光谱-空间信息以及归纳式的学习方法GraphSAGE来进行高光谱图像分类。从而解决GCN进行高光谱图像分类时面临的计算开销问题，并且分类结果有了极大的提升。

为了达到上述目的，本发明实现步骤如下：

(1)数据预处理

首先对高光谱图像数据进行处理，将其分为三个部分：训练集、验证集、测试集。训练集每类30个，数目较少的类别，每类10个；验证集每类15个，数目较少的类别，每类5个；其余的作为测试集。并且将每个样本点的索引提取出来。

(2)光谱-空间图构建

对高光谱图像数据中的每个像素点进行距离计算，根据各个像素点之间的光谱与空间距离之和确定像素点的邻接关系，搭建出光谱-空间图。根据前一步处理好的样本点的索引，来确定图中的训练、验证以及测试的点各是哪些。

(3)模型构建

处理完数据以及光谱-空间图搭建完毕之后，进行模型构建。本发明的采用的GraphSAGE模型采用两层聚合，第一层聚合一阶邻居的信息，第二层聚合二阶邻居的信息，并且采用不同的聚合方式进行对比；

(4)网络训练与测试

将光谱-空间图以及训练集索引送入到搭建好的网络中进行训练，训练完毕之后进行测试。运用预测值与真实值进行比对，从而得到分类结果，计算出准确率。

(5)输出分类图像

本发明的优点：

克服了图卷积网络的计算开销问题，并且本发明通过多层信息的聚合，极大的提高了分类的准确率。

附图说明

图1是本发明的流程图

图2是本发明的总体训练模型结构

图3是本发明中GraphSAGE的传播思想

图4是本发明中邻居的定义

图5是本发明用到的印第安松树Indian Pines高光谱图像

图6是本发明用到的意大利的帕维亚城Pavia University高光谱图像

图7是本发明用到的肯尼迪航天中心Kennedy Space Center高光谱图像

图8是各类方法以及本发明对印第安松树Indian Pines高光谱图像分类的结果图

图9是各类方法以及本发明对意大利的帕维亚城Pavia University高光谱图像分类的结果图

图10是各类方法以及本发明对肯尼迪航天中心Kennedy Space Center高光谱图像分类的结果图

具体实施方式

下面结合附图对本发明做进一步的描述。

参照附图1，本发明的实现步骤如下：

步骤1，数据预处理

将数据集的标签分为3个部分：训练集，验证集，测试集。训练集每类30个，数目较少的类别，每类10个；验证集每类15个，数目较少的类别，每类5个；其余的作为测试集。并且将每个样本点的索引提取出来。

步骤2，光谱-空间图构建

需要说明的是，首先要确定的是像素点之间的邻接关系，得到的是一个邻接关系列表，并不是确定邻接矩阵。这是与传统的图卷积神经网络不同的地方。一般情况下，考虑到高光谱图像具有空间同质性，这意味着相邻的两个像素有很大的概率属于同一类。显然，在分类过程中引入空间信息对分类效果的提升大有裨益。不仅可以使得分类效果有提升，还能解决Huge现象。假设给定一个无序矩阵X＝[x

dist

其中，x和p分别表示i和j像素点光谱特征和空间坐标。根据测量，选取节点v

根据前一步处理好的样本点的索引，来确定图中的训练、验证以及测试的点各是哪些。步骤3,模型构建

(1)归纳式学习

本发明采用的是归纳式的学习方法，利用提出的GraphSAGE进行实现。GraphSAGE是指图的采样与聚合。GraphSAGE不是试图学习一个图上所有节点的嵌入，而是学习为每一个节点产生嵌入的映射。该方法不是对每个顶点都训练一个单独的嵌入向量，而是训练了一组聚合函数，这些函数学习如何从一个顶点的局部邻居聚合特征信息。每个聚合函数从一个顶点的不同的搜索深度聚合信息。测试的时候，使用训练好的网络，通过学习到的聚合函数来对完全未见过的顶点生成嵌入。

GraphSAGE的运行流程可以分为三个步骤：

第一步：对图中每个顶点邻居顶点进行采样，因为每个节点的度是不一致的，为了计算高效，为每个节点采样固定数量的邻居；

第二步：根据聚合函数聚合邻居顶点蕴含的信息；

第三步：得到图中各顶点的向量表示供下游任务使用。

(2)聚合器

本发明中的graphSAGE聚合的思想类似于GCN的思想，所以称之为GCN聚合器。

GCN聚合将目标顶点的k-1层向量和相邻顶点的k-1层向量拼接在一起，然后对向量的每个维数求平均值，对得到的结果进行非线性变换，生成顶点的k层表示向量。使用下面的公式来表示：

(3)邻居的定义

邻居的定义是指如何选择目标节点的邻居以及选择多远的邻居。设置一个定值，每次选择邻居的时候就是从周围的直接邻居(一阶邻居)中均匀地采样固定个数的邻居。虽然在每次聚合时仅仅聚合了一跳邻居节点的信息，但目标节点的一跳邻居，也聚合了其邻居(二阶邻居)的信息。因此，随着迭代的进行，节点逐渐从图的较远处获取越来越多的信息。

步骤4，网络训练与测试

本发明中采用两层聚合的方式，第一层设置128个过滤器，第二层设置64个过滤器，采用Adam优化函数，使用交叉熵损失函数进行损失值的计算以及标签类别的预测。训练完毕之后进行测试。运用预测值与真实值进行比对，从而得到分类结果，计算出准确率。

步骤5，输出分类图像

实验以及分析

1.实验条件

本发明的硬件测试平台是：处理器Intel(R)Xeon(R)Gold 5118CPU，主频为2.30GHz，内存32GB，显卡为Quadro P4000；软件平台为Windows 10操作系统和PyCharm2018。编程语言是python，使用Pytorch深度学习框架来实现网络结构。

2.实验数据

本发明的性能评价主要用到3个公开数据集。印第安松树Indian Pines数据集、意大利的帕维亚城Pavia University数据集以及肯尼迪航天中心Kennedy Space Center数据集。

印第安松树Indian Pines数据集图像大小为145×145，图像包含220个光谱段和16类地表覆盖物。因为该数据集的像素点个数很不均匀，对于像素点个数较多的类别每类选取30个样本点作为训练样本，同时选取15个样本点作为验证集；像素点个数较少的类别每类选取10个样本点作为训练样本，同时选取5个样本点作为验证集；其余的样本点作为测试样本。表1是本发明对印第安松树Indian Pines数据集的训练、验证以及测试样本的选取。

表1

意大利的帕维亚城Pavia University数据集图像大小为610×340，图像包含103个波段和9类地表覆盖物。在这9个类别的ground-truth map中，对9个类别每一类选取30个标签像素进行训练，15个标签像素进行验证，剩余的标签像素进行测试。表2是本发明对意大利的帕维亚城Pavia University数据集的训练与测试样本的数量选取。

表2

肯尼迪航天中心Kennedy Space Center数据集大小为614×512。该数据集包含224个波段和13个类别。在这13个类别的ground-truth map中，对13个类别每一类选取30个标签像素进行训练，15个标签像素进行验证，剩余的标签像素进行测试。表2是本发明对肯尼迪航天中心Kennedy Space Center数据集的训练与测试样本的数量选取。

表3

3.性能比较

本发明用到的5个现有技术对比分类的方法如下：

(1)Cheng等人在"Multi-layer perceptron neural network based algorithmfor simultaneous retrieving temperature and emissivity from hyperspectralFTIR dataset"提出的多层感知机(MLP)分类方法；

(2)Gomez-Chova等人在“Semisupervised image classification withLaplacian support vector machines”中提出的基于RBF核的支持向量机(SVM)分类方法；

(3)Zhong等人在“Spectral–Spatial Residual Network for HyperspectralImage Classification:A 3-D Deep Learning Framework”中提出的基于3D卷积神经网络(3D-CNN)分类方法；

(4)Li等人在“Diverse Region-Based CNN for Hyperspectral ImageClassification”中提出的基于不同区域联合表示的方法(DR-CNN)；

(5)Kipf等人在“Semisupervised classification with graph convolutionnetworks”中提出的图卷积神经网络(GCN)。

在实验中，采用以下三个指标来评价本发明的性能：

第一个评价指标是总精度(OA),表示正确分类的样本占所有样本的比例，值越大，说明分类效果越好。

第二个评价指标是平均精度(AA)，表示每一类分类精度的平均值，值越大，说明分类效果越好。

第三个评价指标是卡方系数(Kappa)，表示混淆矩阵中不同的权值，值越大，说明分类效果越好。

表4是本发明对印第安松树Indian Pines高光谱图像分类的准确率以及对比。

表5是本发明对意大利的帕维亚城Pavia University高光谱图像分类的准确率以及对比。

表6是本发明对肯尼迪航天中心Kennedy Space Center高光谱图像分类的准确率以及对比。

表4

表5

表6

从表4、表5以及表6可以看出，对于同一个高光谱数据集，本发明提出的高光谱分类方法，其分类效果要优于其他方法。另外，因为GCN的分类方法无法对样本点较多的数据集进行分类，因此GCN分类不适用于意大利的帕维亚城Pavia University高光谱数据集。

另外图8、图9和图10展示了分类结果图，其可视化的分类结果与表4、表5以及表6列出的结果一致。从整个图像场景的地面覆盖图可以看出，与其他分类方法相比，本发明实现的分类图中很多区域的噪声明显较小。

综上所述，本发明提出的一种基于归纳表示学习网络的光谱和空间图高光谱图像分类方法，通过光谱与空间距离联合表示确定样本点之间的距离，实现图的建立。之后运用GraphSAGE这一归纳式学习方法，克服了图卷积网络无法对多样本点分类的缺陷，实现了高光谱数据的有效分类。实验结果表明，本发明比现有技术具有更高的分类精度。