一种基于多深度多尺度层级注意力融合机制的高光谱遥感影像分类方法

摘要

本发明公开了一种基于多深度多尺度层级注意力融合机制的高光谱遥感影像分类方法，包括：将高光谱图像数据进行预处理；将预处理后的高光谱图像数据进行数据集获取与划分，获取到训练样本集和测试样本集；构建基于梯度收缩多尺度特征提取的卷积神经网络；构建基于梯度收缩多尺度特征提取及层级注意力特征强化融合模型；初始化融合模型的权重参数；训练融合模型，得到高光谱图像分类模型；对测试样本集进行预测，得到分类结果。本发明有效提高了模型的特征利用率，解决了高光谱遥感影像分类在进行多尺度特征提取时提取效率较低的问题，在保证运行效率的同时，提升了分类准确率，实现了较优的分类效果。

说明书

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种基于多深度多尺度层级注意力融合机制的高光谱遥感影像分类方法。

背景技术

遥感图像处理技术以其灵活性高、再现性好等优点在生产、生活中发挥着日益重要的作用。高光谱图像处理技术是该领域的重要分支，在众多高光谱图像处理技术中，高光谱图像分类技术一直是研究重点和热点之一。利用高光谱图像分类技术，可获取农作物分布与生长情况，从而达到有效的、科学的农业管理；可对城市房屋、路面等进行准确识别与分类，从而为城市规划等方面提供帮助。

传统高光谱图像分类方法大致可分为依据地物光谱特性曲线的光谱匹配分类方法和基于数据统计特性分类方法，基于数据统计特性分类方法又可以根据其模型训练中是否需要有标记的样本分为监督分类、无监督分类。其中，无监督分类算法是指只有训练数据集，没有已标记分类结果的样本，只能靠计算机本身去分析数据特征。有监督分类算法是指训练数据集和已标记分类结果的样本一起输入模型，这样得到的分类精度也必然会高，但是需要大量已标记样本。

近些年来，深度学习方法的优异性能使其在众多领域得到了广泛的研究。特别地，并根据研究领域的不同出现了各种衍生的网络结构。例如，在监督学习方向，循环神经网络、卷积神经网络以及图卷积神经网络在自然语言处理、计算机视觉和不规则数据处理等领域取得了优异的成就。但是它们在处理高光谱图像分类时往往忽视了空间特征尺寸的多样性从而限制了分类精度的进一步的提高，尤其在小样本条件下。基于卷积神经网络的方法已经证明了其强大的特征提取能力。此外，多尺度特征以及多阶段特征的融合可以明显提高模型的特征提取效率，但是目前仍有一些缺陷需要进一步克服。第一，随着网络的不断变深，神经网络的提取的特征逐渐由具体的纹理边缘特征变为抽象的语义特征，因此在网络不同深度对这些特征尺度的敏感度是不同的，仅在模型输入端提取多尺度特征或者在全模型进行多尺度特征提取的设计会造成特征的丢失和冗余。第二，尽管深度神经网络提取的抽象语义信息对分类任务起到了很大的作用，但大量的卷积和池化会严重损害边缘信息。第三，拥有大量训练参数的模型能有效提高分类精度，但是会消耗大量的时间和存储资源。

发明内容

发明目的：为了克服现有技术中存在的不足，提供一种基于多深度多尺度层级注意力融合机制的高光谱遥感影像分类方法，其能够解决基于深度神经网络的高光谱遥感影像分类在进行多尺度特征提取时提取效率较低的问题，并且提高模型的运行效率。

技术方案：为实现上述目的，本发明提供一种基于多深度多尺度层级注意力融合机制的高光谱遥感影像分类方法，包括如下步骤：

S1：将高光谱图像数据进行预处理；

S2：将预处理后的高光谱图像数据进行数据集获取与划分，获取到训练样本集和测试样本集；

S3：构建基于梯度收缩多尺度特征提取的卷积神经网络；

S4：根据步骤S3的卷积神经网络，构建基于梯度收缩多尺度特征提取及层级注意力特征强化融合模型；

S5：初始化步骤S4构建的融合模型的权重参数；

S6：使用步骤S2中获取的训练样本集来训练融合模型，得到高光谱图像分类模型；

S7：通过高光谱图像分类模型对步骤S2中获取的测试样本集进行预测，得到分类结果。

进一步地，所述步骤S1中预处理包括归一化以及去冗余化处理，具体的处理方法如下：

A1：获取高光谱图像每个波段的数据B

A2：按照下式计算得到每个波段数据的归一化值N

N

A3：将步骤A1和步骤A2得到的所有归一化后的波段重新组合为归一化后的高光谱影像H；

A4：将步骤A3得到的高光谱遥感影像H通过PCA技术进行去冗余波段的处理得到预处理后的高光谱遥感影像

进一步地，所述步骤S2中训练样本集和测试样本集的获取方法为：

B1：将预处理后的高光谱数据以每个待分类像素点为中心，获取立方体邻域块；

B2：从获得的所有邻域块中每类选取设定量的邻域块及其中心像素点对应的类别标签作为训练样本集，其余的邻域块及其中心像素点对应的类别标签作为测试样本集。

进一步地，所述步骤S3中卷积神经网络的结构依次包括输入层、多深度多尺度特征提取模块A、多深度多尺度特征提取模块B、多深度多尺度特征提取模块C和多深度多尺度特征提取模块D。

通过四个不同的多深度多尺度特征提取模块构建特征提取网络，所构建的不同的多深度多尺度特征提取模块的结构由四个不同数量膨胀卷积叠加组成的多尺度特征提取支路并联形成。其中，四个不同的支路所包含的膨胀卷积的个数是有所不同的且每个之路上的膨胀卷积核的膨胀率是逐渐上升的，这就构成了局部多深度多尺度特征提取。此外，多深度多尺度特征提取模块A到多深度多尺度特征提取模块D的支路数量逐渐减少，由此构成了梯度收缩的多尺度特征提取网络。

进一步地，所述多深度多尺度特征提取模块A、多深度多尺度特征提取模块B、多深度多尺度特征提取模块C和多深度多尺度特征提取模块D的支路数量分别为4、3、2、1；

多深度多尺度特征提取模块A的4条支路结构为：特征输入X

多深度多尺度特征提取模块B的3条支路结构为：特征输入X

多深度多尺度特征提取模块C的2条支路结构为：特征输入X

多深度多尺度特征提取模块D的1条支路结构为：特征输入X

进一步地，所述步骤S4中融合模型的融合方式为：通过使用注意力机制将低水平纹理特征X

进一步地，所述低水平融合特征LF的获取过程为：

C1：X

C2：X

C3：将X′

C4：将初级融合特征X经过以下网络：X→GAP(Global average pooling)→全连接层→BatchNorm→Relu激活函数→全连接层→softmax层→得到特征权重矩阵M；

C5：将特征权重矩阵M与得到的降维特征图X′

C6：将特征图X″

进一步地，所述步骤S7中分类结果的获得方法为：

D1：将测试样本集输入到高光谱图像分类模型中，得到测试样本集的预测结果；

D2：将预测结果与测试样本集对应的类别标签通过准确计算公式得到分类结果准确率。

进一步地，所述步骤D2中分类结果准确率包括总体分类精准确度(OA)，平均分类精确度(AA)和KAPPA系数。

本发明中首先构建数个大小不同的多深度多尺度特征提取模块，将这些特征提取模块按照一定顺序构建出多深度多尺度特征提取网络，然后构建一个基于注意力机制的层级特征融合网络，将特征融合网络应用到多深度多尺度特征提取网络中以融合多阶段特征，最后将融合的特征用于softmax分类器实现分类。这种特征提取和特征融合的方法改善了深度卷积神经网络在高光谱分类任务中对多尺度特征的提取能力并提高了对网络提取特征的利用能力。

有益效果：本发明与现有技术相比，能够在扩大感受野和提取多尺度特征的同时，产生更少的训练参数以提高分类速度，浅层边缘特征和深层抽象语义特征分别融合后得到清晰的具体边缘信息和准确的抽象信息，最后，将两种不同程度的特征进行融合以提取得到更具辨别性的特征，从而有效提高了模型的特征利用率，解决了高光谱遥感影像分类在进行多尺度特征提取时提取效率较低的问题，在保证运行效率的同时，提升了分类准确率，实现了较优的分类效果。

附图说明

图1为本发明的方法流程示意图；

图2为本发明构建的多深度多尺度特征提取模块A示意图；

图3为本发明构建的多深度多尺度特征提取模块A示意图中前三个支路所得到的感受野大小；

图4为本发明仿真实验中Indian Pines高光谱遥感影像数据图；

图5为本发明仿真实验Indian Pines高光谱遥感影像数据的伪彩色标记图；

图6为本发明仿真实验的Indian Pines高光谱遥感影像数据的未层级注意力强化融合模型的分类结果图；

图7为本发明仿真实验的Indian Pines高光谱遥感影像数据的基于梯度收缩多尺度特征提取及层级注意力特征融合的高光谱遥感影像分类方法的分类结果图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明提供一种基于多深度多尺度层级注意力融合机制的高光谱遥感影像分类方法，包括如下步骤：

S1：将高光谱图像数据进行预处理；

S2：将预处理后的高光谱图像数据进行数据集获取与划分，获取到训练样本集和测试样本集；

S3：构建基于梯度收缩多尺度特征提取的卷积神经网络；

S4：根据步骤S3的卷积神经网络，构建基于梯度收缩多尺度特征提取及层级注意力特征强化融合模型；

S5：初始化步骤S4构建的融合模型的权重参数；

S6：使用步骤S2中获取的训练样本集来训练融合模型，得到高光谱图像分类模型；

S7：通过高光谱图像分类模型对步骤S2中获取的测试样本集进行预测，得到分类结果。

本实施例中步骤S1中预处理包括归一化以及去冗余化处理，具体的处理方法如下：

A1：获取高光谱图像每个波段的数据B

A2：按照下式计算得到每个波段数据的归一化值N

N

A3：将步骤A1和步骤A2得到的所有归一化后的波段重新组合为归一化后的高光谱影像H；

A4：将步骤A3得到的高光谱遥感影像H通过PCA技术进行去冗余波段的处理得到预处理后的高光谱遥感影像

本实施例中步骤S2中训练样本集和测试样本集的获取方法为：

B1：将预处理后的高光谱数据以每个待分类像素点为中心，获取大小为15×15×15个像素的立方体邻域块；

B2：从获得的所有邻域块中每类选取10％的邻域块及其中心像素点对应的类别标签作为训练样本集X_train，其余的邻域块及其中心像素点对应的类别标签作为测试样本集X_test。

本实施例步骤S3中卷积神经网络的结构依次包括输入层、多深度多尺度特征提取模块A、多深度多尺度特征提取模块B、多深度多尺度特征提取模块C和多深度多尺度特征提取模块D。多深度多尺度特征提取模块A到多深度多尺度特征提取模块D的支路数量逐渐减少，构成梯度收缩的多尺度特征提取网络。这里多深度多尺度特征提取模块A、多深度多尺度特征提取模块B、多深度多尺度特征提取模块C和多深度多尺度特征提取模块D的支路数量分别为4、3、2、1；

如图2所示，多深度多尺度特征提取模块A的4条支路结构为：特征输入X

参照图2，多深度多尺度特征提取模块B的3条支路结构为：特征输入X

参照图2，多深度多尺度特征提取模块C的2条支路结构为：特征输入X

参照图2，多深度多尺度特征提取模块D的1条支路结构为：特征输入X

图3为多深度多尺度特征提取模块A中前三个支路所得到的感受野大小，可见感受野在扩大。

本实施例步骤S4中构建一个双边注意力特征融合模块来实现特征的强化融合，融合模型的融合方式为：通过使用注意力机制将低水平纹理特征X

其中，低水平融合特征LF的获取过程为：

C1：X

C2：X

C3：将X′

C4：将初级融合特征X经过以下网络：X→GAP(Global average pooling)→全连接层→BatchNorm→Relu激活函数→全连接层→softmax层→得到特征权重矩阵M；

C5：将特征权重矩阵M与得到的降维特征图X′

C6：将特征图X″

高水平融合特征HF的获取方式和浅层低水平融合特征LF相同，这里不再进行说明。

本实施例步骤S7中分类结果的获得方法为：

D1：将测试样本集输入到高光谱图像分类模型中，得到测试样本集的预测结果；

D2：将预测结果与测试样本集对应的类别标签通过准确计算公式得到分类结果准确率，分类结果准确率包括总体分类精准确度(OA)，平均分类精确度(AA)和KAPPA系数。

基于上述方案，为了验证本发明方法的效果，本实施例进行了仿真实验，具体如下：

图4为实验中用到的Indian Pines高光谱遥感影像数据图，将图4应用到上述方法当中，分别得到图5所示的Indian Pines高光谱遥感影像数据的伪彩色标记图和图6所示的Indian Pines高光谱遥感影像数据的未层级注意力强化融合模型的分类结果图，最终获取到图7所示的Indian Pines高光谱遥感影像数据的基于梯度收缩多尺度特征提取及层级注意力特征融合的高光谱遥感影像分类方法的分类结果图。

表1给出了Indian Pines高光谱遥感影像，本发明方法与其他目前先进方法的分类精度对比情况。

表1

根据表1的数据可见，本发明的分类效果要优于其他模型，细分到总体分类精准确度(OA)，平均分类精确度(AA)和KAPPA系数也高于其他模型，从而验证了本发明方法的效果。